Новости Софт 24.02.2023 в 18:41 comment views icon

Нейросеть в смартфоне. Qualcomm оптимизировала Stable Diffusion для быстрой работы на Snapdragon 8 Gen 2

author avatar
https://itc.ua/wp-content/uploads/2022/09/Katya-96x96.jpg *** https://itc.ua/wp-content/uploads/2022/09/Katya-96x96.jpg *** https://itc.ua/wp-content/uploads/2022/09/Katya-96x96.jpg

Катерина Даньшина

Автор новостей

Раздел Технологии выходит при поддержке Favbet Tech

Внедрение больших языковых моделей, таких как Stable Diffusion, в смартфоны – это следующий шаг в распространении генеративных инструментов на более широкую аудиторию.

Обычно для запуска таких генеративных нейросетей требуется много вычислительной мощности, и большинство программ, предлагающих такие услуги на мобильных устройствах, выполняют обработку в облаке. Однако Qualcomm доказала, что ее версия Stable Diffusion может легко сделать это и на смартфоне.

Qualcomm показала Stable Diffusion версии 1.5, которая сгенерировала изображение размером 512 x 512 пикселей за 15 секунд. Для сравнения: генерация изображений на приличном ноутбуке займет несколько минут, поэтому такой результат с телефона впечатляет.

Не сообщается, какой именно смартфон использовали для демонстрации — но он оснащен флагманским чипсетом Snapdragon 8 Gen 2 (выпущенный в ноябре прошлого года и имеющий процессор Hexagon, ориентированный на ИИ). Инженеры компании также выполнили различные оптимизации ПО, чтобы обеспечить оптимальную работу программы.

На самом деле, другие экспериментаторы уже пробовали запустить Stable Diffusion на Android. Разработчик Айвон Хуанг рассказывал в блоге о запуске генеративной нейросети на Sony Xperia 5 II с процессором Qualcomm Snapdragon 865 и 8 ГБ оперативной памяти. Хотя, как отметил Хуанг, создание изображения 512 x 512 с этой настройкой заняло час.

Воркшоп "PR + AI: Рисерч, Креатив, Контент" від Skvot.
Навчіться адаптувати потенціал АІ під задачі піарника. Корисні тулзи, яким можна делегувати рутину, генерувати свіжі ідеї для контенту і піар-стратегій.
Дізнатись більше

Apple еще в декабре выпустила оптимизации, необходимые для локального запуска Stable Diffusion на ее собственной платформе машинного обучения Core ML. Журналисты The Verge попытались запустить Stable Diffusion 1.5 на iPhone 13 через программу Draw Things с ускорением Core ML. С этой настройкой создание изображения размером 512 x 512 заняло около минуты.Нейромережа у смартфоні. Qualcomm оптимізувала Stable Diffusion для швидкої роботи на Snapdragon 8 Gen 2

Поэтому в обоих случаях Qualcomm выигрывает в скорости, но имеет определенные ограничения — новейшее оборудование и пакет оптимизации, который не является общедоступным.

Работа больших ИИ-моделей на мобильных устройствах дает множество преимуществ по сравнению с использованием облачных вычислений: это удобство (не нужно мобильное соединение), стоимость (разработчики не будут взимать плату с пользователей, когда наступает срок оплаты за сервер) и конфиденциальность (вы не отправляете данные на чужой компьютер).

Воркшоп "PR + AI: Рисерч, Креатив, Контент" від Skvot.
Навчіться адаптувати потенціал АІ під задачі піарника. Корисні тулзи, яким можна делегувати рутину, генерувати свіжі ідеї для контенту і піар-стратегій.
Дізнатись більше

Источник: The Verge

Раздел Технологии выходит при поддержке Favbet Tech

Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков. IT-компания входит в группу компаний FAVBET.


Loading comments...

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: