Популярная социальная сеть Twitter сообщила об очередном нововведении, которое призвано сделать любимую соцсеть Илона Маска еще лучше. Говоря конкретнее, разработчики внедрили алгоритмы машинного обучения для автоматического создания интересных превью к изображениям Twitter. По словам разработчиков, система на базе нейросетей «знает», какая именно часть изображения будет наиболее цеплять глаз.
И хотя о самом инструменте Twitter стало известно только сейчас, его разработка ведется уже давно. Как рассказывают разработчики, они начинали с распознавания лиц, но это метод подходил только для снимков, на которых есть лица людей, но не для изображений с пейзажами, животными и другими объектами. Тогда они решили использовать методику значимости. Ее суть в выборе наиболее значимого участка изображения вне зависимости от сцены и объектов.
Разработчики создали нейросеть и натренировали ее определять на снимках самые интересные детали. В качестве тестовых данных использовались результаты академических исследований, которые проводились как раз с целью того, чтобы понять, на что в первую очередь люди смотрят на фотографиях. Таким образом они обучили нейросеть предугадывать то, что люди захотят увидеть в первую очередь.
После долгих тренировок разработчики принялись оптимизировать систему для работы на сайте в реальном времени. К счастью, обрезка превью для изображения – задача, которая не требует высокоточной настройки и оставляет поле для творчества. И это позволило сузить список оценочных критериев к минимуму и задействовать методику, известную как Knowledge Distillation. В итоге им удалось сделать нейросеть в десять раз быстрее, чем она была изначально.
Вот пример результата работы нейросети (первый ряд картинок — до внедрения алгоритма, вторая — после):
На этой неделе Twitter приступила к внедрению функциональности на сайте и мобильных приложениях для пользователей по всему миру. Так что когда в следующий раз увидите интересное превью, которое заставит вас кликнуть на изображения, чтобы посмотреть его целиком, обязательно вспомните о пользе нейросетей.
Одновременно Bloomberg сообщил о еще одном инструменте, который в будущем может появится в Twitter. Речь о функции, которая облегчит добавление видеороликов на сайт. Сейчас для добавления видео путем встраивания в твит или запуска прямой трансляции из приложения пользователю нужно совершить несколько действий, тогда как у конкурентов Snapchat и Instagram все делается в одно нажатие или свайп. Якобы Twitter уже подготовил демо-версию функции, которая упростит обмен видео, но ее дизайн пока не утвержден и пока неясно, когда она может быть запущена и будет ли запущена вообще.