Новини Технології 21.02.2023 о 11:28 comment views icon

Роботизована альтернатива DALL-E. Дослідники створили ШІ-машину, що вручну малює картини на основі текстових, аудіо та візуальних підказок

author avatar
https://itc.ua/wp-content/uploads/2022/09/Katya-96x96.jpg *** https://itc.ua/wp-content/uploads/2022/09/Katya-96x96.jpg *** https://itc.ua/wp-content/uploads/2022/09/Katya-96x96.jpg

Катерина Даньшина

Авторка новин

Розділ Технології виходить за підтримки Favbet Tech

Інженери з групи Bot Intelligence Group (BIG) Університету Карнегі-Меллона створили робота, дуже схожого на нейромережу DALL-E. Він так само з легкістю створює малюнки, покладаючись на підказки — однак не видає миттєве цифрове зображення, а створює його вручну.

Робот FRIDA (Framework and Robotics Initiative for Developing Arts), названий на честь мексиканської художниці Фріди Кало, потребує лише трохи контекстної інформації та близько години часу, щоб створити зображення. Крім текстових підказок, робот реагує на візуальні зображення: наприклад, щоб надихнути ШІ дослідники завантажили фото бюста Ілона Маска та промовили «дитина плаче». Ось, що створив робот:

Дослідники експериментували й з іншими типами підказок — наприклад, дали роботу послухати пісню Dancing Queen від Abba.

Однак FRIDA навряд чи можна сприймати як справжнього митця, оскільки робот не має хисту до креативності.

Онлайн-курс Frontend-разробник від Powercode academy.
Курс на якому ти напишеш свій чистий код на JavaScript, попрацюєш із різними видами верстки, а також адаптаціями проектів під будь-які екрани. .
Зарееструватися

«FRIDA — це роботизована система малювання, але FRIDA — не художник. Вона не генерує ідеї, це система, з якою митець може співпрацювати. Художник може вказати для FRIDA високі цілі, а робот зможе їх реалізувати», — каже студент та провідний інженер Університету Карнегі-Меллона Пітер Шалденбранд. 

Алгоритми робота не відрізняються від тих, що використовуються в ChatGPT і DALL-E 2. Це генеративна змагальна мережа (GAN), створена для малювання картин та покращення результату на основі оцінок її продуктивності. Теоретично, з кожною картиною FRIDA повинна краще інтерпретувати підказку та робити кращий продукт.

Цікаво, що FRIDA створює унікальну палітру кольорів для кожного портрета, але не може змішувати фарби. На цей час людина повинна змішувати та надавати потрібні кольори. Проте команда у Школі архітектури Університету Карнегі-Меллона працює над методом автоматизації змішування фарби. Студенти BIG згодом можуть запозичити його, щоб зробити робота повністю автономним.

Онлайн-курс Frontend-разробник від Powercode academy.
Курс на якому ти напишеш свій чистий код на JavaScript, попрацюєш із різними видами верстки, а також адаптаціями проектів під будь-які екрани. .
Зарееструватися

Процес роботи FRIDA схожий на процес малювання художника. Роботизована рука обережно наносить фарбу на полотно, а камера стежить за цим зверху. Іноді алгоритми оцінюють зображення, що виникає — щоб переконатися, що створюється бажаний результат. Рука може збиватися, але штучний інтелект налаштовує її, щоб краще відповідати підказці, тому кожен портрет має свої унікальні маленькі недоліки.

Дослідники BIG нещодавно опублікували своє дослідження за допомогою arXiv Корнелльського університету. З серпня 2022 року команда веде обліковий запис FRIDA у Twitter, де публікує твори робота та звітує про його прогрес. Наступний проєкт інженерів присвячений розробці робота-скульптора — на основі успішних результатів FRIDA.

Джерело: Techspot

Розділ Технології виходить за підтримки Favbet Tech

Favbet Tech – це ІТ-компанія зі 100% украі‌нською ДНК, що створює досконалі сервіси для iGaming і Betting з використанням передових технологіи‌ та надає доступ до них. Favbet Tech розробляє інноваційне програмне забезпечення через складну багатокомпонентну платформу, яка здатна витримувати величезні навантаження та створювати унікальний досвід для гравців.

Loading comments...

Повідомити про помилку

Текст, який буде надіслано нашим редакторам: