Воссозданный ИИ глаз Роя Бэтти из "Бегущего по лезвию".
Ранее нейронные сети уже научились «писать» картины, а сейчас подошла очередь кинематографа. Лондонский исследователь Тиренс Броуд научил нейросеть «смотреть» кино. Свой необычный эксперимент он в мельчайших подробностях описал в своем блоге на площадке Medium.
Пересказывать все особого смысла нет, да и, признаться честно, некоторые технические аспекты требуют глубоких познаний в области машинного обучения и нейронных сетей. Попробуем коротко передать суть.
Итак, суть заключается в том, чтобы обучить нейросеть своего рода мнемоническим приемам запоминания изображения с целью его точного воссоздания в будущем. Нейросеть берет изображение, кодирует его с помощью 200 цифр, а затем пытается раскодировать эту последовательность и получить картинку, максимально близкую к оригиналу. В качестве исходного материала для обучения своей нейросети Броуд использовал фильм Ридли Скотта «Бегущий по лезвию» 1982 года, точнее его сжатую версию с более низким разрешением – 256х144 точек. С тремя цветовыми каналами полный размер изображения такого качества – 110592 цифр. То есть, изображение сжимается почти в 553 раза. В будущем подобная техника может использоваться для восстановления визуальных данных посредством искусственных нейронных сетей.
Просмотрев киноленту шесть раз – по времени это заняло около двух недель – машина Броуда, использующая NVIDIA GTX 960, сумела покадрово воссоздать весь фильм. Сама техника нуждается в доработке, да и установленная планка в 200 цифр невероятно низка для воссоздания мельчайших подробностей, что хорошо видно по видео, но в целом – это идея хороша.
Лучше всего оценить «шедевр» нейросети Броуда можно благодаря видео, на котором сравнивается оригинал «Бегущего по лезвию» и робо-копия.
Самое интересное случилось после того, как Броуд загрузил воссозданную компьютером версию фильма на видеохостинг Vimeo. В конце мая Warner Bros. отправила Vimeo уведомление о нарушении авторских прав. С учетом того, что поиском нарушений авторских прав обычно занимаются роботы, получается весьма ироничный финал: робот от Warner Bros. перепутал фильм, созданный другим роботом, с картиной, снятой человеком. И еще одна любопытная деталь – сюжет «Бегущего по лезвию» рассказывает про искусственный интеллект, который невозможно отличить от настоящих людей. Кстати говоря, Warner Bros. восстановила удаленное видео после того, как издание Vox обратилось к представителям за комментарием.
Помимо «Бегущего по лезвию» в эксперименте Броуда поучаствовала еще одна лента — «Помутнее» Ричарда Линклейтера.