Разработчики из Google Research научили нейросеть качественно дорисовывать недостающие фрагменты фотографий. В основе алгоритма лежит архитектура генеративно-состязательной нейросети, рассказывают авторы статьи, опубликованной на arXiv.org.
Как сообщается, алгоритм состоит из двух частей: одна из них дорисовывает фотографии, а вторая пытается отличить результат работы первой от настоящих снимков из обучающей выборки.
Одна из ключевых особенностей подхода авторов, которая привела к хорошим результатам, заключается в том, что на входе нейросеть получает не один снимок, а два. Первое изображение — это исходный снимок, на котором большая прямоугольная область залита одним цветом. Авторы экспериментировали с размером этой области, заливая 25, 50 и 75 процентов от исходного кадра. Второе изображение — это маска, показывающая, какая именно область была залита.
Примеры работы алгоритма. Слева — снимок, отданный нейросети, посередине — изображение, выданное алгоритмом, справа — оригинальное фото.
Такой подход позволил дискриминатору сконцентрироваться на области, дорисованной генератором, и тем самым повысить качество распознавание «подделок», что, в свою очередь, повысило качество работы генератора после обучения. Еще одна причина хорошего качества дорисованных фрагментов связана с обучающей выборкой. В качестве нее авторы выбрали почти два миллиона изображений из датасета Places365-Challenge.
Помимо дорисовывания изображений разработчики также опробовали алгоритм на вертикальных видео.
Источник: N+1