Блоги
Google представила нейросеть, способную относительно реалистично дорисовывать фотографии

Google представила нейросеть, способную относительно реалистично дорисовывать фотографии

Google представила нейросеть, способную относительно реалистично дорисовывать фотографии


Разработчики из Google Research научили нейросеть качественно дорисовывать недостающие фрагменты фотографий. В основе алгоритма лежит архитектура генеративно-состязательной нейросети, рассказывают авторы статьи, опубликованной на arXiv.org.

Как сообщается, алгоритм состоит из двух частей: одна из них дорисовывает фотографии, а вторая пытается отличить результат работы первой от настоящих снимков из обучающей выборки.

Схема алгоритма.

Одна из ключевых особенностей подхода авторов, которая привела к хорошим результатам, заключается в том, что на входе нейросеть получает не один снимок, а два. Первое изображение — это исходный снимок, на котором большая прямоугольная область залита одним цветом. Авторы экспериментировали с размером этой области, заливая 25, 50 и 75 процентов от исходного кадра. Второе изображение — это маска, показывающая, какая именно область была залита.

Примеры работы алгоритма. Слева — снимок, отданный нейросети, посередине — изображение, выданное алгоритмом, справа — оригинальное фото.

Такой подход позволил дискриминатору сконцентрироваться на области, дорисованной генератором, и тем самым повысить качество распознавание «подделок», что, в свою очередь, повысило качество работы генератора после обучения. Еще одна причина хорошего качества дорисованных фрагментов связана с обучающей выборкой. В качестве нее авторы выбрали почти два миллиона изображений из датасета Places365-Challenge.

Демонстрация способности алгоритма создавать на основе вертикальной фотографии панорамные изображения.

Помимо дорисовывания изображений разработчики также опробовали алгоритм на вертикальных видео.

Источник: N+1


Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: