Видеоролики давно стали основным контентом социальных сетей. Однако не все пользователи в силу физических ограничений могут полноценно их использовать. Помочь таким людям призвана система VideoStory, над которой сейчас работают в Facebook.
В основе системы лежит нейросеть, которая анализирует видео и генерирует к нему подробное описание, позволяющее понять, что именно происходит на экране.
Разработчики отмечают, что ИИ обучили на 20 тысячах «популярных видеороликов» из социальных сетей, а также 123 тысячах описательных предложений. Кроме того, исследователи уделили особое внимание способности нейросети понимать контекст, чтобы она могла учитывать связь между прошлыми и будущими событиями на видео.
Как признают в самой Facebook, хотя система уже умеет генерировать описания, зачастую ее предложения воспроизводят происходящее на экране недостаточно качественно:
Тем не менее, добавляют разработчики, VideoStory служит хорошим ориентиром для создания полноценной системы описания видеоконтента.
Отметим, что на данный момент проект не заявлен как коммерческий, также неизвестно, когда он выйдет в качестве готового приложения.
«Видеоконтент в социальных сетях сегодня является неотъемлемой частью общения между пользователями, — прокомментировали разработку исследователи. — Вместе с тем, если человек в силу обстоятельств не может просматривать видео, это существенно ограничивает его коммуникативные возможности. Система, описывающая происходящее на экране, так или иначе позволит восполнить этот пробел».
Источники: tproger, Venture Beat
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: