Новости Технологии 21.02.2023 в 11:28 comment views icon

Роботизированная альтернатива DALL-E. Исследователи создали ИИ-машину, вручную рисующую картины на основе текстовых, аудио и визуальных подсказок

author avatar
https://itc.ua/wp-content/uploads/2022/09/Katya-96x96.jpg *** https://itc.ua/wp-content/uploads/2022/09/Katya-96x96.jpg *** https://itc.ua/wp-content/uploads/2022/09/Katya-96x96.jpg

Катерина Даньшина

Автор новостей

Раздел Технологии выходит при поддержке Favbet Tech

Инженеры из группы Bot Intelligence Group (BIG) Университета Карнеги-Меллона создали робота, очень похожего на нейросеть DALL-E. Он так же с легкостью создает рисунки, полагаясь на подсказки — однако не выдает мгновенное цифровое изображение, а создает его вручную.

Роботу FRIDA (Framework and Robotics Initiative for Developing Arts), названному в честь мексиканской художницы Фриды Кало, потребуется немного контекстной информации и около часа времени, чтобы создать изображение. Кроме текстовых подсказок, робот реагирует на визуальные изображения: например, чтобы вдохновить ИИ, исследователи загрузили фото бюста Илона Маска и произнесли «ребенок плачет». Вот что создал робот:

Исследователи экспериментировали и с другими типами подсказок, например, дали роботу послушать песню Dancing Queen от Abba.

Однако FRIDA вряд ли можно воспринимать как настоящего художника, поскольку робот не имеет способности к креативности.

Курс-професія "Junior Data Analyst" від robot_dreams.
Комплексний курc для всіх, хто хоче опанувати нову професію з нуля.На прикладі реальних датасетів ви розберете кожен етап аналізу даних.
Програма курсу і реєстрація

«FRIDA – это роботизированная система рисования, но FRIDA – не художник. Она не генерирует идеи, это система, с которой автор может сотрудничать. Художник может указать для FRIDA высокие цели, а робот сможет их реализовать», – говорит студент и ведущий инженер Университета Карнеги-Меллона Питер Шалденбранд.

Алгоритмы работы не отличаются от используемых в ChatGPT и DALL-E 2. Это генеративная состязательная сеть (GAN), созданная для рисования картин и улучшения результата на основе оценок ее производительности. Теоретически с каждой картиной FRIDA должна лучше интерпретировать подсказку и делать лучший продукт.

Интересно, что FRIDA создает уникальную цветовую палитру для каждого портрета, но не может смешивать краски. В настоящее время человек должен смешивать и подавать нужные цвета. Однако команда в Школе Архитектуры Университета Карнеги-Меллона работает над методом автоматизации смешивания краски. Студенты BIG впоследствии могут позаимствовать его, чтобы сделать робота полностью автономным.

Курс-професія "Junior Data Analyst" від robot_dreams.
Комплексний курc для всіх, хто хоче опанувати нову професію з нуля.На прикладі реальних датасетів ви розберете кожен етап аналізу даних.
Програма курсу і реєстрація

Процесс работы FRIDA похож на процесс творчества художника. Роботизированная рука осторожно наносит краску на холст, а камера следит за этим сверху. Иногда алгоритмы оценивают возникающее изображение — чтобы убедиться, что создается желаемый результат. Рука может сбиваться, но искусственный интеллект настраивает ее, чтобы лучше соответствовать подсказке, поэтому у каждого портрета есть свои уникальные маленькие недостатки.

Исследователи BIG недавно опубликовали свое исследование с помощью arXiv Корнелльского университета. С августа 2022 года команда ведет учетную запись FRIDA в Twitter, где публикует работы системы и отчитывается о ее прогрессе. Следующий проект инженеров посвящен разработке робота-скульптора – на основе успешных результатов FRIDA.

Источник: Techspot

Раздел Технологии выходит при поддержке Favbet Tech

Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков. IT-компания входит в группу компаний FAVBET.


Loading comments...

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: