Методика тестирования смартфонов и планшетов

Для людей интересующихся смартфонами и планшетами далеко не новость, что грань между этими устройствами с каждым днем становится все тоньше и тоньше. Если еще несколько лет назад смартфоны оснащали 4-4,7-дюймовыми экранами, и они казались огромными, то сегодня 5,0-5,7-дюймов воспринимаются как норма, тогда как большими считаются диагонали от 5,9 до 6,4-дюймов. Для последних даже придумали отдельные названия – смартпеды или фаблеты. В виду этой тенденции, а так же для того чтобы систематизировать данные, новые смартфоны и планшеты будут тестироваться по общей методике. О ней и пойдет речь в этом материале.

Производительность

Что бы не говорили некоторые читатели, а без тестирования производительности и, соответственно, сравнения с аналогами, никуда. Кросс-платформенных приложений не так уж и много, особенно если сравнивать не только Android и iOS, а и Windows Phone. С последней дела обстоят из рук вон плохо. Собственно, это касается не только тестов производительности, но и других приложений. Проблема преследует мобильную операционную систему Windows с начала ее существования. Единственный общий тест между Android, WP и iOS – Antutu Benchmark. До определенного момента Antutulabs обновляли его для Windows Phone, но до финальной версии тест так и не дорос, оставшись в качестве беты. Некоторое время назад, ещё одним таким тестом было приложение GFXBench, но после обновления до версии 3.0, Windows Phone исчезла из числа поддерживаемых платформ. Разработчик обещает в скором времени выпустить GFXBench 3.0 и для WP, пока же остается только ждать. Ещё один бенчмарк, который мог бы стать мультиплатформенным – 3DMark, но и здесь Windows Phone оказалась не в приоритете, поддерживаются устройства на Windows и Windows RT.

С Android и iOS ситуация иная. Среди общих бенчмарков, кроме двух вышеперечисленных есть ещё Geekbench 3.

Что касается сравнения смартфонов и планшетов на Android, то тут есть где разгуляться. Общие тесты:

— Antutu Benchmark;
— 3DMark;
— GFXBench;
— Quadrant;
— Epic Citadel;
— Geekbench 3;
— Vellamo;
— Anomaly 2 Benchmark.

Вместе эти тесты дают представление о производительности устройств в ресурсоемких приложениях, в том числе играх, и при работе в браузере.

Автономность

Продолжительность работы – не менее важный критерий выбора устройств, нежели производительность, а в некоторых случаях, даже решающий. Для проверки автономности используется несколько типов тестов, среди которых как приложения, так и более традиционные сценарии использования: чтение, прослушивание музыки, просмотр видео, навигация.

Из приложений главным является GFXBench. В нем, помимо производительности, можно протестировать и автономность. На тест уходит 28 минут, по истечению которых выдается результат в минутах и максимальное количество fps в самой сложной сцене. Итоговые минуты можно интерпретировать как ориентировочное время работы при полном заряде, на которое может рассчитывать пользователь в 3D-играх при 50% яркости экрана.

Подобную цифру в минутах показывает ещё одно приложение – Antutu Tester. В отличие от предыдущего приложения, этот тест длится заметно дольше, от одного-двух часов до пяти и больше. Тест задействует максимальную нагрузку на процессор при максимальной яркости экрана. Итоговый результат выдается в баллах (чем их больше, тем лучше). Чтобы перевести баллы в более понятные нам минуты, нужно поделить их на 3. Стоит учесть, что Antutu Tester показывает результат при разряде устройства на 81%, тогда как GFXBench на 100%, поэтому в таблице мы указываем время при разряде с 100% до 0%. Минус Antutu Tester в том, что на некоторых аппаратных платформах нагрузка на процессор составляет не 100%, а значительно меньше. Именно поэтому в большинстве случаев смартфоны и планшеты на чипах MediaTek в Antutu Tester демонстрируют высокий результат, который не соответствует другим режимам тестирования. Ещё одна особенность этого приложения в том, что почти в 100% случаев максимальный результат достигается на третьем запуске – что требует от одного до трех дней времени. Для точности результатов при запущенном тесте устройство нельзя перемещать на большие расстояния, потому что: а) тест использует Wi-Fi-сеть; б) при перемещении расходуется дополнительная энергия на регистрацию в сотах сотовой сети.

Третий этап тестирования автономности – проверка в максимально близких к реальным сценариях использования. Таких сценариев пять: прослушивание музыки стандартными средствами, чтение книг (с помощью приложения FBReader), просмотр видео, в том числе и с YouTube и работа в качестве навигатора. Каждый из тестов длится по два часа. Описание этих тестов давно присутствует под каждой сравнительной таблицей автономности. Главное изменение коснулось яркости экранов, при которой они будут проводиться. Раньше все измерения проводились при 50% яркости, теперь при 200 кд/м² для смартфонов и 150 кд/м² для планшетов. В виду того, что между различными устройствами 50% может отличаться на 100-150 кд/м², такие результаты были не совсем показательными но, их всегда можно было воспроизвести в «домашних» условиях, поскольку выставить такую яркость можно без дополнительного оборудования. С замерами автономности при 150/200 кд/м² ситуация немного сложнее. В первую очередь из-за того, что такой яркости может соответствовать 55%, 63%, 80% в зависимости от максимальной интенсивности подсветки экрана. Некоторые смартфоны показывают уровень яркости в «%» в соответствии со шкалой, большинство же лишены такой возможности и для того, чтобы попасть в эти самые 150/200 кд/м², приходится целиться ползунком в приблизительную область соответствующую этим значениям, что накладывает определенную степень ошибки на результаты. Тем не менее, такие измерения более актуальны, поскольку, как мы уже говорили, 50% яркости дисплея может соответствовать как 200 км/м², так и 250 кд/м², чаще всего это – 100-150 км/м², которых не всегда достаточно для комфортного просмотра видео или чтения.

Пример сравнительной таблицы автономности

Значение % отображает, на сколько процентов разрядился аккумулятор за 2 часа тестирования. В режиме чтения отключены все беспроводные коммуникации, включая передачу данных в мобильной сети, а яркость дисплея установлена на 50%. При прослушивании музыки работала автоматическая синхронизация данных, передача данных. Громкость звука в наушниках на 12 из 15 возможных уровней. Все музыкальные файлы в формате MP3, битрейт 320 Кбит/с. Навигация включает в себя прокладку маршрута в приложении Google Навигация. Яркость выставлена на 50%, все коммуникационные модули передачи данных отключены. При воспроизведении видео активна передача данных в мобильной сети, яркость дисплея установлена на 50%, громкость звука в наушниках на 12 уровне из возможных 15. Формат видеофайла MKV, разрешение 1024х432 точек, частота кадров 24. Воспроизведение видео с Youtube сопровождалось не только работой в сети Wi-Fi, но и активной передачей данных. Яркость дисплея установлена на 50%, громкость звука в наушниках на 12 из 15 возможных уровней.

Напишите, как вам будет удобней воспринимать результаты тестов, в текущем виде или в виде — часы:минуты, при расчете заряда от 100% до 0%?

Поддержка видео- и аудиокодеков

В каждом обзоре мы приводим таблицу с указанием поддерживаемых устройством аудио- видеокодеков штатными средствами (встроенным плеером), и приложением MX Player (для Android-смартфонов). Это нужно для того, чтобы показать пользователю, на что способно то или иное устройство, а также насколько хорошо оно справляется с популярными форматами видео. Для смартфонов и планшетов с низкой производительностью мы выбираем более простые файлы, для всех остальных – максимально возможные, включая Full HD-видео с частотой 60 кадров/с и 4К-видео. Это не значит, что пользователь обязательно будет смотреть видео в таком качестве, но иллюстрирует, на что он может рассчитывать. Наиболее часто встречающееся ограничение – невозможность воспроизвести звук в кодеке AC3. Исправить ситуацию можно с помощью стороннего приложения, например, MX Player. Ещё одна особенность – когда устройство не может воспроизвести файл из-за высокого разрешения или битрейта. В этом случае тоже помогает сторонний проигрыватель, но есть одно «но», если файл не воспроизводится штатными средствами (GPU), то для его проигрывания в специализированном приложении придется задействовать дополнительные ресурсы железа (CPU), что негативно сказывается на автономности. В основном это касается бюджетных моделей, которые оснащены слабым графическим процессором.

Пример сравнительной таблицы по воспроизведению видеофайлов

В отдельных случаях, если позволяет файловая система, помимо стандартного файла размером 2,8 ГБ с разрешением 1024х432 точки (стандартный файл для тестирования автономности), мы включаем в тест еще одно видео, размером 5,4 ГБ с разрешением 1280х540 точек.

Экран

Для измерения яркости, цветопередачи, соответствию отображаемых цветов натуральным, мы используем калибратор Datacolor Spyder4PRO и приложение HCFR Colormeter. С их помощью мы получаем данные о яркости, контрасте, цветовом охвате и так далее.

Нередки случаи, когда значения яркости при ручной настройке подсветки дисплея отличаются от таковых при автоматической регулировке. Кроме того, алгоритм регулировки яркости на основе датчика освещения зависит от конкретного производителя и иногда он (алгоритм) не поддается какой-либо логике или же работает со значительным запозданием. Все эти нюансы теперь будут описываться более детально. К уже привычным тестам мы добавим информацию о цветовом охвате, включающую в себя процент совпадения со стандартом sRGB и общим цветовым охватом.

Надеемся, этот материал поможет нашим читателям понять, что означают те или иные цифры и научиться извлекать полезную информацию о производительности, автономности и заводской калибровке дисплеев. Если у вас все же остались вопросы или пожелания – пишите их в комментариях.