Разработчики из Adobe Research создали приложение на основе нейросетевого алгоритма, которое в реальном времени дорисовывает сделанный пользователем набросок и превращает его в готовое изображение. Разработка будет представлена на конференции ICCV 2019, статья о ней опубликована на arXiv.org.
Интерфейс программы состоит из двух окон и вспомогательных кнопок. В первом окне пользователь рисует набросок, а во втором видит созданное нейросетью изображение. Для начала пользователь выбирает класс объекта, к примеру, ананас, и алгоритм сразу же выдает типичный для него набросок. После начала рисования нейросеть постоянно обновляет набросок и готовое изображение, дополняя часть, нарисованную пользователем.
Для обучения алгоритма разработчики собрали собственный датасет, состоящий из изображений объектов, а также их набросков.
Помимо публикации статьи о разработке авторы также опубликовали на GitHub исходный код приложения для Linux и macOS и краткую документацию к нему.
По словам разработчиков, наличие обратной связи в реальном времени делает работу с нейросетью более наглядной, а выдача возможных готовых набросков упрощает процесс рисования для пользователей, которые могут испытывать сложности с рисованием от руки.
Источник: N+1