На сегодняшний день на рынке существует немало смартфонов, умеющих снимать видео с частотой 240 кадров в секунду для последующего воспроизведения их в замедленном режиме. Но продолжительность съемки в этом режиме ограничена несколькими секундами, а поймать нужный момент очень сложно. К тому же, такие ролики занимают много места в памяти смартфона. NVIDIA готова предложить альтернативу – алгоритм с машинным обучением, способный создавать качественное слоу-мо из обычных видео.
Работа алгоритма построена на методе «многокадровой интерполяции с переменной длиной». Если говорить упрощенно, система замедляет видео путем добавления промежуточных кадров.
Демонстрацию возможностей алгоритма, позволяющего из ролика, снятого с частотой 30 кадров в секунду, сделать слоу-мо с частотой 240 кадров в секунду, специалисты NVIDIA провели на недавнем мероприятии Conference on Computer Vision and Pattern Recognition 2018. Собственно, наглядное представление можно получить из видеоролика ниже.
Самое интересно то, что никаких ограничений здесь нет и замедлять видео с помощью этой технологии можно до бесконечности.
Систему на двух нейросетях тренировали на 11 тысячах роликов, включая видео канала The Slow Mo Guys, записанных со скоростью 240 кадров в секунду. Также сообщается о применении в проекте графических ускорителей NVIDIA Tesla V100 и фреймворка глубинного обучения PyTorch.
К сожалению, о перспективах коммерциализации разработки пока данных нет.