Статьи
«Искусственный интеллект» в смартфонах — как это работает

«Искусственный интеллект» в смартфонах — как это работает

«Искусственный интеллект» в смартфонах — как это работает


Гонку технологий нельзя закончить, но удивлять и привлекать потребителя числовыми характеристиками становится все сложнее. Поэтому за последние пару лет мы увидели немало экспериментов в дизайне и новых программных возможностей смартфонов. Можно вспомнить всеми «любимые» вырезы в экранах, но, пожалуй, с конца 2017 года чаще всего приходится слышать словосочетание «искусственный интеллект». То, что еще 10 лет назад жило в научных лабораториях, пять лет назад стало общедоступным через сервисы Google, сегодня в буквальном смысле появляется в наших карманах.

Наличие «искусственного интеллекта» стало модной и даже обязательной характеристикой любого актуального аппарата и порою удивляешься, как много привычных функций вдруг стали «умными». Впрочем, вендоров тут можно как поругать, так и понять, ведь ИИ — весьма широкое понятие, за которым не обязаны скрываться сложные алгоритмы.

«Искусственный интеллект» в смартфонах — как это работает

Изображение из статьи про ИИ на vas3k.ru

На примере материалов из исследовательского центра Google (1, 2) мы знаем, что компания давно использует машинное обучение и нейронные сети в частности для совершенствования сервисов почты, обработки изображений, в голосовых ассистентах и переводчике. Интересно, что на смартфонах сценарии применения в целом схожи, но к ним добавляются функции безопасности и оптимизации работы, автономности устройств.

Облака VS устройства

Пользователи того же Gmail или Ассистента Google могут спросить — если на смартфонах уже есть подобные «умные» сервисы, то что изменилось за последний год? В первую очередь — часть функций теперь можно реализовать прямо на устройствах, не задействуя «облака».

«Искусственный интеллект» в смартфонах — как это работает

Например, Google Фото и раньше распознавал людей на фотографиях, а также позволял совершать поиск по изображениям, но каталогизация фотографий происходила только после их загрузки на сервера компании. С появлением чипсетов вроде Kirin 970 cо встроенным NPU-модулем (Neural Processing Unit) распознавание изображений можно реализовать прямо на устройстве, а значит — более быстро (не тратится время на загрузку-выгрузку данных) и безопасно (ваши фото точно никто не увидит, даже алгоритм на сервере). Использование для этих задач специального модуля позволяет оптимизировать энергопотребление и скорость работы, ведь реализация подобной функциональности силами CPU и GPU возможна, но не эффективна.«Искусственный интеллект» в смартфонах — как это работает

Huawei первыми заявили об «умности» своих смартфонов, но не единственные, кто работает в этой области. После анонса Kirin 970 и Mate 10 (Pro) Apple представила платформу A11 Bionic со встроенным Neural Engine, а в Snapdragon 845 есть DSP Hexagon 685, ориентированный на решения тех же задач.

«Искусственный интеллект» в смартфонах — как это работает

Сказать, чей ИИ лучше, даже в плане характеристик, сложно, ведь какого-то стандартного и независимого инструмента измерений пока не придумали, и на разных устройствах «интеллект» решает разные задачи. Поэтому нет ничего удивительного в том, что когда Huawei измеряет производительность своего NPU по сравнению с решением от Qualcomm первый оказывается быстрее. Но ничто не мешает как минимум ознакомиться с возможностями конкретного смартфона, которые задействуют ИИ-функциональность.

ИИ для камер

«Искусственный интеллект» давно доказал свою эффективность в задачах распознавания изображений и вполне очевидно, что он применяется в камерах смартфонов. В случае Huawei P20 Pro — это функциональность распознавания сцен. Модуль NPU распознает порядка 2000 изображений в минуту, значит практически в режиме реального времени может опознать, что именно находится в кадре и подобрать максимально подходящие для конкретного сюжета настройки.«Искусственный интеллект» в смартфонах — как это работает

Что это дает? Обычно автоматика подбирает параметры съемки исходя из освещенности, контрастности сцены и прочих параметров. Распознавание объектов позволяет улучшить алгоритмы. Для тех, кто понимает что такое ручные настройки, вполне очевидно, что снимая подвижный объект в первую очередь стоит задача получить резкий снимок, поэтому стоит уменьшить выдержку и можно поднять ISO немного пожертвовав качеством, а для съемки пейзажа или портрета нужен другой набор настроек.«Искусственный интеллект» в смартфонах — как это работает

Софт распознает сцену и подбирает лучшие параметры съемки или переключает камеру в нужный режим работы. Заодно может происходить пост-обработка фотографии — ПО повысит контрастность и насыщенность цветов, будто на фото уже наложен фильтр Instagram. С точки зрения профессиональной фотографии такой снимок может показаться неправильным, но будем честны — в мобильной фотографии всегда были важны алгоритмы, чтобы фото отлично выглядело на экране и нравилось рядовому пользователю, а точность передачи цветов оставим DSLR-камерам.

Искусственный интеллект в смартфонах

Актуальные модели уже распознают порядка 20 сцен с набором дополнительных настроек в зависимости от конкретных условий съемки. Набор сцен заранее «зашит» в ПО, производитель сам занимается первоначальным обучением нейронной сети (если используются именно сети), подбором фотографий для такого обучения и так далее. В дальнейшем эту функциональность можно расширять с помощью классических обновлений ПО.

Использование ИИ не заканчивается на одном только распознавании сцен. Тот же P20 Pro может похвастаться «интеллектуальным» автофокусом и стабилизацией видео. Работа первого заметна в виде небольших квадратов, которые обозначают точки фокусировки на подвижных объектах, например, они появляются на качающихся от ветра растениях.

Второй задействуется для продвинутой стабилизации видео и работает в паре с оптическим стабилизатором — при съемке Full HD с рук можно получить плавную картинку при ходьбе, сравнимую с той, что дают отдельные стабилизаторы. Правда, без ограничений не обошлось — это работает только для съемки Full HD @30fps и не доступно для Full HD @60fps и 4K-видео.

Еще один пример работы ИИ — съемка замедленного видео (HD @960fps). Впервые функция появилась на смартфонах Sony и тестируя ее мы отмечали, что добиться желаемого результата сложно, нужно самому ловить момент, когда пора нажать на спуск, а камера замедляет всего секунду реального времени. В Huawei P20 Pro изначально это работало таким же образом, но потом алгоритм изменили. Теперь пользователь включает нужный режим, наводит камеру и помещает специальный квадрат в область кадра, где ожидается движение. После нажатия на спуск камера сама определяет, когда начнется движение в выделенной области и замедляет видео — так гораздо легче добиться желаемого результата.

«Искусственный интеллект» в смартфонах — как это работает

Распознавание объектов позволило добавить каталогизацию в локальную галерею. В ней появилась вкладка «Обзор», где фотографии сортируются в зависимости от места съемки, по лицам распознанных людей, а также категориям (в моем случае — еда, документы, пейзажи). Тут же работает локальный поиск, он быстрый, но не настолько умный как в Google Photos, потому что работает только в рамках знакомых локальному ИИ параметров сцен, лиц и местоположений.

… для шоппинга

Применимость отдельных функций зависит от рынка. Например, привычный для Huawei сканер QR-кодов получил интеграцию с Amazon Assistant — приложение распознает товары и пытается найти похожие на одноименной торговой площадке. Пока он работает не слишком хорошо и мало применим у нас, но вдруг появится интеграция с более подходящим сервисом?

… для перевода

Еще один сценарий использования ИИ — распознавание речи и перевод. Мощности NPU в этом случае задействует переводчик Microsoft Translator. Приложение может работать как обычный переводчик, переводить текст на фотографиях, отдельные фразы и даже работать «живым» переводчиком для группы из нескольких человек. Без подключения к сети в данном случае работает только простейший перевод, а остальные, более сложные сценарии все же требуют наличия подключения к интернету.

… для безопасности

Среди областей применения «искусственного интеллекта» называют и безопасность, что в целом понятно. В первую очередь это уже упомянутая обработка всех данных на устройстве, во вторую — Face Unlock, когда с помощью ИИ происходит распознавание лица пользователя. Цифровой снимок (модель) лица пользователя при этом хранится в специальной зашифрованной области памяти, как и отпечатки пальцев.«Искусственный интеллект» в смартфонах — как это работает

… для производительности

В случае почти всего, что связано с изображениями, речь зачастую идет об уже «обученных» алгоритмах — без обновлений камера не станет лучше распознавать вашего кота или не перестанет путать его с собакой (что тоже случается). В то же время производители заявляют, что ИИ позволяет оптимизировать работу устройства для конкретного пользователя.Искусственный интеллект в смартфонах

Запоминая типичные последовательности запуска приложений и строя зависимости от времени-места софт способен ускорять запуск отдельных программ в частности и оптимизировать работу смартфона в целом, что должно вылиться и стабильно хорошую скорость работы и позитивно сказаться на автономности.

Компании заявляют, что ИИ используется в том числе и в алгоритмах шумоподавления при телефонных разговорах и многих других аспектах. Единственное «но» — все это крайне сложно проверить на практике.

Что дальше?

Наличие «умных» функций «из коробки» улучшает пользовательский опыт, но речь идет только о первой волне внедрения ИИ в смартфоны. Следующий этап — использование потенциала платформы сторонними приложениями. Хорошим тоном является наличие API для разработчиков и поддержка популярных библиотек вроде TensorFlow от Google и Сaffe от Facebook. Все это уже есть, осталось только дождаться приложений, которые покажут преимущества современных аппаратов. Это могут быть как AR-игры, так и приложения для решения отдельных задач.ИИ в смартфонах

Примечательно и то, что в конце 2017 года ИИ встречался в единичных флагманах, а спустя год появляется в аппаратах среднего сегмента. Например, Huawei P Smart+ лишен NPU, который есть во флагманах, но тоже является «умным» — компания смогла реализовать похожую функциональность силами отдельного DSP в новой SoC Kirin 710. Камера быстро распознает сцены, самих сцен стало еще больше, при этом ИИ работает и для фронтальной камеры, и галерея точно также сортирует изображения по различным категориям.«Искусственный интеллект» в смартфонах — как это работает

Слухи о Kirin 980 говорят о том, что в новых флагманах мы увидим второе поколение встроенного NPU и он наверняка принесет новую функциональность. Какую именно — пока неизвестно, но то что ИИ превращается в еще одну важную функцию современных смартфонов, понятно уже сегодня.

Huawei рекомендует:

Моделей в линейке: 3
Диапазон цен: 6 399 − 9 999 грн
Моделей в линейке: 1
Диапазон цен: 10 399 − 11 432 грн
Линейка HUAWEI P smart+
на
Моделей в линейке: 0

Материал подготовлен при поддержке Huawei


Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: