Блоги

Нейросеть превращает наброски в готовое изображение объекта в реальном времени

Нейросеть превращает наброски в готовое изображение объекта в реальном времени

Разработчики из Adobe Research создали приложение на основе нейросетевого алгоритма, которое в реальном времени дорисовывает сделанный пользователем набросок и превращает его в готовое изображение. Разработка будет представлена на конференции ICCV 2019, статья о ней опубликована на arXiv.org.

https://arnabgho.github.io/iSketchNFill/resources/gifs/pineapple.gif

Интерфейс программы состоит из двух окон и вспомогательных кнопок. В первом окне пользователь рисует набросок, а во втором видит созданное нейросетью изображение. Для начала пользователь выбирает класс объекта, к примеру, ананас, и алгоритм сразу же выдает типичный для него набросок. После начала рисования нейросеть постоянно обновляет набросок и готовое изображение, дополняя часть, нарисованную пользователем.

https://arnabgho.github.io/iSketchNFill/resources/gifs/cupcake.gif

Для обучения алгоритма разработчики собрали собственный датасет, состоящий из изображений объектов, а также их набросков.

Нейросеть превращает наброски в готовое изображение объекта в реальном времени
Схема работы алгоритма.

Помимо публикации статьи о разработке авторы также опубликовали на GitHub исходный код приложения для Linux и macOS и краткую документацию к нему.

По словам разработчиков, наличие обратной связи в реальном времени делает работу с нейросетью более наглядной, а выдача возможных готовых набросков упрощает процесс рисования для пользователей, которые могут испытывать сложности с рисованием от руки.

Источник: N+1


Завантаження коментарів...

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: