Роботизированная альтернатива DALL-E. Исследователи создали ИИ-машину, вручную рисующую картины на основе текстовых, аудио и визуальных подсказок

Инженеры из группы Bot Intelligence Group (BIG) Университета Карнеги-Меллона создали робота, очень похожего на нейросеть DALL-E. Он так же с легкостью создает рисунки, полагаясь на подсказки — однако не выдает мгновенное цифровое изображение, а создает его вручную.

Роботу FRIDA (Framework and Robotics Initiative for Developing Arts), названному в честь мексиканской художницы Фриды Кало, потребуется немного контекстной информации и около часа времени, чтобы создать изображение. Кроме текстовых подсказок, робот реагирует на визуальные изображения: например, чтобы вдохновить ИИ, исследователи загрузили фото бюста Илона Маска и произнесли «ребенок плачет». Вот что создал робот:

Some of our new work on the FRIDA project: Robot Synesthesia, painting from sound and emotion inputs.https://t.co/LrqyGigg5J pic.twitter.com/ouswMrMdyh

— FRIDA Robot Painter (@FridaRobot) February 12, 2023

Исследователи экспериментировали и с другими типами подсказок, например, дали роботу послушать песню Dancing Queen от Abba.

Однако FRIDA вряд ли можно воспринимать как настоящего художника, поскольку робот не имеет способности к креативности.

«FRIDA – это роботизированная система рисования, но FRIDA – не художник. Она не генерирует идеи, это система, с которой автор может сотрудничать. Художник может указать для FRIDA высокие цели, а робот сможет их реализовать», – говорит студент и ведущий инженер Университета Карнеги-Меллона Питер Шалденбранд.

Алгоритмы работы не отличаются от используемых в ChatGPT и DALL-E 2. Это генеративная состязательная сеть (GAN), созданная для рисования картин и улучшения результата на основе оценок ее производительности. Теоретически с каждой картиной FRIDA должна лучше интерпретировать подсказку и делать лучший продукт.

Some of FRIDAs paintings #Robotics #creativeAI pic.twitter.com/5AX7lA8oxW

— FRIDA Robot Painter (@FridaRobot) December 5, 2022

Интересно, что FRIDA создает уникальную цветовую палитру для каждого портрета, но не может смешивать краски. В настоящее время человек должен смешивать и подавать нужные цвета. Однако команда в Школе Архитектуры Университета Карнеги-Меллона работает над методом автоматизации смешивания краски. Студенты BIG впоследствии могут позаимствовать его, чтобы сделать робота полностью автономным.

Процесс работы FRIDA похож на процесс творчества художника. Роботизированная рука осторожно наносит краску на холст, а камера следит за этим сверху. Иногда алгоритмы оценивают возникающее изображение — чтобы убедиться, что создается желаемый результат. Рука может сбиваться, но искусственный интеллект настраивает ее, чтобы лучше соответствовать подсказке, поэтому у каждого портрета есть свои уникальные маленькие недостатки.

Исследователи BIG недавно опубликовали свое исследование с помощью arXiv Корнелльского университета. С августа 2022 года команда ведет учетную запись FRIDA в Twitter, где публикует работы системы и отчитывается о ее прогрессе. Следующий проект инженеров посвящен разработке робота-скульптора – на основе успешных результатов FRIDA.

Источник: Techspot

Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков.