Видеоролики давно стали основным контентом социальных сетей. Однако не все пользователи в силу физических ограничений могут полноценно их использовать. Помочь таким людям призвана система VideoStory, над которой сейчас работают в Facebook.
В основе системы лежит нейросеть, которая анализирует видео и генерирует к нему подробное описание, позволяющее понять, что именно происходит на экране.
Разработчики отмечают, что ИИ обучили на 20 тысячах «популярных видеороликов» из социальных сетей, а также 123 тысячах описательных предложений. Кроме того, исследователи уделили особое внимание способности нейросети понимать контекст, чтобы она могла учитывать связь между прошлыми и будущими событиями на видео.
Тем не менее, добавляют разработчики, VideoStory служит хорошим ориентиром для создания полноценной системы описания видеоконтента.
Отметим, что на данный момент проект не заявлен как коммерческий, также неизвестно, когда он выйдет в качестве готового приложения.
«Видеоконтент в социальных сетях сегодня является неотъемлемой частью общения между пользователями, — прокомментировали разработку исследователи. — Вместе с тем, если человек в силу обстоятельств не может просматривать видео, это существенно ограничивает его коммуникативные возможности. Система, описывающая происходящее на экране, так или иначе позволит восполнить этот пробел».
Источники: tproger, Venture Beat