Meta предлагает разработчикам открытый код и набор данных из 180 000 изображений к ИИ-проекту Animated Drawings, который поможет анимировать обычные рисунки.
Впервые веб-версия инструмента была выпущена в 2021 году командой Fundamental AI Research (FAIR). Пользователи могут загрузить свой рисунок человекообразного персонажа или выбрать одну из доступных в демонстрации фигур. При использовании авторского дудла появляется предложение дать согласие на использование рисунка для обучения модели – но инструмент можно опробовать и без подтверждения этого запроса.
Далее нужно выделить определенные точки на нарисованном персонаже – скорректировать их можно с помощью ручки и ластика. После подтверждения вам предоставят анимированную версию эскиза. Можно выбрать несколько доступных категорий: простая ходьба, танцевальные движения, прыжки и смешная анимация.
Animated Drawings использует модели обнаружения объектов, модели оценки позы и методы сегментации изображений для создания цифровой версии рисунка. Затем инструмент обращается к традиционной компьютерной графике для деформации и анимации изображения.
Демоверсия доступна в течение нескольких месяцев, и за это время пользователи предоставили разрешение Meta на использование более 1,6 миллиона изображений для учебных целей. Некоторые загружали логотипы компаний, персонажей из аниме, фото рыб или чучел животных – несмотря на то, что инструмент предполагает работу только с человекоподобными персонажами рисунков.
В Meta говорят, что существует большой интерес к инструменту преобразования рисунков в анимацию, и уже поступают запросы на расширение набора инструментов – в частности, добавление звуковых эффектов или функции наложения текста. Компания разработала проект с открытым кодом и открытым набором данным.
«Выпуск модели с открытым исходным кодом дает разработчикам отправную точку для расширения проекта, способствуя культуре инноваций и сотрудничества в сообществе», — пишет Meta в своем блоге.
- Напомним, что в январе Meta выпустила свою языковую модель ИИ LLaMA — как пакет с открытым исходным кодом, доступ к которому могут получить члены ИИ-сообщества. Однако через неделю после того, как компания начала принимать запросы, торрент для загрузки языковой модели появился на сайте 4chan, а впоследствии распространился в других сообществах.
- Также Meta создала SAM — ИИ-модель сегментации изображений, которая может реагировать на пользовательские подсказки (текстовые или указанные курсором), чтобы идентифицировать определенные объекты на изображении или видео, даже если она не сталкивалась с ними во время обучения.