Блоги
Нейросеть превращает наброски в готовое изображение объекта в реальном времени

Нейросеть превращает наброски в готовое изображение объекта в реальном времени

Нейросеть превращает наброски в готовое изображение объекта в реальном времени


Разработчики из Adobe Research создали приложение на основе нейросетевого алгоритма, которое в реальном времени дорисовывает сделанный пользователем набросок и превращает его в готовое изображение. Разработка будет представлена на конференции ICCV 2019, статья о ней опубликована на arXiv.org.

https://i2.wp.com/arnabgho.github.io/iSketchNFill/resources/gifs/pineapple.gif?w=770&quality=100&strip=all&ssl=1

Интерфейс программы состоит из двух окон и вспомогательных кнопок. В первом окне пользователь рисует набросок, а во втором видит созданное нейросетью изображение. Для начала пользователь выбирает класс объекта, к примеру, ананас, и алгоритм сразу же выдает типичный для него набросок. После начала рисования нейросеть постоянно обновляет набросок и готовое изображение, дополняя часть, нарисованную пользователем.

https://i0.wp.com/arnabgho.github.io/iSketchNFill/resources/gifs/cupcake.gif?w=770&quality=100&strip=all&ssl=1

Для обучения алгоритма разработчики собрали собственный датасет, состоящий из изображений объектов, а также их набросков.

Схема работы алгоритма.

Помимо публикации статьи о разработке авторы также опубликовали на GitHub исходный код приложения для Linux и macOS и краткую документацию к нему.

По словам разработчиков, наличие обратной связи в реальном времени делает работу с нейросетью более наглядной, а выдача возможных готовых набросков упрощает процесс рисования для пользователей, которые могут испытывать сложности с рисованием от руки.

Источник: N+1


Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: