Инструмент преобразует любое статическое изображение в анимацию.
Runway — компания, стоящая за разработкой генератора изображений Stable Diffusion в сотрудничестве со Stability AI, выпустила новый инструмент Motion Brush, позволяющий анимировать любое статическое изображение или его отдельные фрагменты.
Пользователи быстро нашли применение нейросетям и анимировали популярные статические мемы, вот несколько примеров из соцсетей:
Чтобы использовать инструмент Motion Brush, нужно зарегистрироваться на сайте — по электронной почте или используя единый вход от Apple или Google. Далее вас направят на страницу проекта, где нужно нажать опцию «click start with image» и выбрать файл со своего компьютера (или сгенерировать изображение прямо на сайте с помощью текстового описания).
Далее нажимайте кнопку Motion Brush и с помощью кисти выбирайте фрагмент, который планируете анимировать. В то же время, чтобы удалить водяной знак, нужно оформить платную подписку.
Между тем, Stability AI выпустила собственную модель Stable Video Diffusion, которая, вероятно, и легла в основу инструмента Runway. Хотя в описании к анонсу компания отмечает, что модель в тестах проявила себя «лучше соответствующих моделей Runway и Pika Labs». В отличие от Motion Brush, Stable Video Diffusion в настоящее время доступна только для исследовательских целей, а не для реальных или коммерческих приложений. Потенциальные пользователи могут зарегистрироваться, чтобы попасть в список ожидания для доступа.
Похоже, компании из-за внутренних конфликтов выпускают один и тот же продукт под разными названиями. Ранее Stability AI финансировала разработку технологии Runway, лежащей в основе Stable Diffusion, но после запуска генератора изображений ни словом не упомянула о стартапе, присвоив себе все заслуги. Так же сейчас немецкий стартап не упоминает модель Stable Video Diffusion в анонсе к своему Motion Brush, хотя инструменты, похоже, работают идентично.