Новый флагманский мобильный процессор Qualcomm Snapdragon 8 Gen 3 переносит возможности генеративного искусственного интеллекта прямо в чипсет. Тем самым значительно ускоряются трудоемкие операции, которые обычно передаются на выполнение в облако.
Snapdragon 8 Gen 3 поддерживает чатбот, натренированный на большой языковой модели Meta Llama 2, он способен принимать ввод с помощью текста, изображения или голоса. Также он может генерировать изображения или текст, отвечать пользователю. Чипсет также запускает на устройстве генератор изображений AI Stable Diffusion. Компания заявляет, что может создать изображение менее чем за одну секунду (предыдущая технология генерировала изображение примерно за 15 секунд).
Все эти возможности реализованы посредством AI engine, использующим нейронный процессор Hexagon. Между тем, Sensing Hub использует решение OpenAI Whisper от для распознавания речи. Sensing Hub также предоставляет механизму ИИ информацию о пользователе, включая местоположение, для более персонализированных ответов. Также учитываются любимые занятия, возраст и «уровень физической подготовки».
Генеративный ИИ играет важную роль в новых возможностях обработки изображений Snapdragon 8 Gen 3. Чип поддерживает генеративную заливку для увеличения изображения, так что можно уменьшать масштаб и повторно обрезать фотографии прямо на устройстве. Для видео доступна функция стирания объектов (достаточно просто коснуться нежелательного объекта) и запись на устройстве в ночном режиме с разрешением до 4K/30p. Google анонсировала собственную функцию Night Sight для видео, которая появится в Pixel 8 Pro в ближайшем будущем, но она будет работать в облаке.
Функция Vlogger’s View объединяет видео с селфи-камеры и основной камеры в одно изображение. Это не просто картинка в картинке — эта функция использует улучшенную сегментацию изображения, чтобы удалить фон из селфи-видео. Таким образом, итоговое видео выглядит так, как будто пользователь стоит перед тем, что видит задняя камера.
Прочие возможности нового процессора Qualcomm Snapdragon 8 Gen 3 включают 10-процентное увеличение экономии энергии по сравнению с 8 Gen 2 благодаря повышению эффективности CPU Kryo и GPU Adreno, поддержку формата фотографий Dolby HDR, модем X75 RF с большей поддержкой агрегации несущих 5G. В то же время GPU поддерживает улучшенную аппаратную трассировку лучей для более реалистичных отражений света в мобильных играх. Система поддерживает частоту обновления до 240 Гц на совместимых внешних дисплеях. Процессор создан на базе 4-нм техпроцесса и включает 8 ядер (1+5+2) с частотой до 3,3 ГГц.
Новая система Snapdragon Seamless призвана упростить сопряжение ноутбуков и телефонов с периферийными устройствами разных производителей и платформ ОС. Это позволит упростить переключение между устройствами — например, переключение на звук на ПК для видеозвонка и обратно на музыку, воспроизводимую на телефоне. Похоже, Snapdragon Seamless в основном направлена на то, чтобы устройства Android и Windows могли легче взаимодействовать друг с другом. Qualcomm заявляет, что это открытая платформа, к которой может присоединиться любой желающий.
Источник: The Verge