Блоги

Google представила нейросеть, способную относительно реалистично дорисовывать фотографии

Google представила нейросеть, способную относительно реалистично дорисовывать фотографии

Разработчики из Google Research научили нейросеть качественно дорисовывать недостающие фрагменты фотографий. В основе алгоритма лежит архитектура генеративно-состязательной нейросети, рассказывают авторы статьи, опубликованной на arXiv.org.

Как сообщается, алгоритм состоит из двух частей: одна из них дорисовывает фотографии, а вторая пытается отличить результат работы первой от настоящих снимков из обучающей выборки.

Google представила нейросеть, способную относительно реалистично дорисовывать фотографии
Схема алгоритма.

Одна из ключевых особенностей подхода авторов, которая привела к хорошим результатам, заключается в том, что на входе нейросеть получает не один снимок, а два. Первое изображение — это исходный снимок, на котором большая прямоугольная область залита одним цветом. Авторы экспериментировали с размером этой области, заливая 25, 50 и 75 процентов от исходного кадра. Второе изображение — это маска, показывающая, какая именно область была залита.

Примеры работы алгоритма. Слева — снимок, отданный нейросети, посередине — изображение, выданное алгоритмом, справа — оригинальное фото.

Курс
Frontend розробка
Заробляйте від $1800 вже через два роки і навчайтесь у вільний час
РЕЄСТРУЙТЕСЯ!
Frontend розробка

Такой подход позволил дискриминатору сконцентрироваться на области, дорисованной генератором, и тем самым повысить качество распознавание «подделок», что, в свою очередь, повысило качество работы генератора после обучения. Еще одна причина хорошего качества дорисованных фрагментов связана с обучающей выборкой. В качестве нее авторы выбрали почти два миллиона изображений из датасета Places365-Challenge.

Google представила нейросеть, способную относительно реалистично дорисовывать фотографии
Демонстрация способности алгоритма создавать на основе вертикальной фотографии панорамные изображения.

Помимо дорисовывания изображений разработчики также опробовали алгоритм на вертикальных видео.

Источник: N+1


Завантаження коментарів...

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: