Вслед за Sora от OpenAI, которая генерирует цифровые виртуальные миры в стиле Minecraft, собственным талантом к созданию игр отличилась генеративная модель Google DeepMind.
Как сообщает MIT Technology Review, Genie может использовать короткое текстовое описание, нарисованный от руки эскиз или снимок, и превратить все это в видеоигру в стиле классических 2D-платформеров, таких, как Super Mario Bros. Быстрого темпа от творения ИИ пока можно не ожидать — они работают со скоростью один кадр в секунду против типичных 30-60 кадров в секунду в большинстве современных игр.
Genie обучалась на 30 000 часах игровых видео из интернета из сотен 2D-платформеров. Другие модели используют подобный подход — Nvidia таким образом обучала GameGAN, которая отметилась созданием клона Pac-Man.
Все предыдущие примеры обучали моделей действиям ввода (таким как нажатие кнопок на контроллере), а также сочетанию их с видео (видео с прыгающим Марио сочетают с действием «Прыжок») — однако добавление таких тегов требует очень много работы. Genie вместо этого учится только на видеозаписях и анализирует, какое из возможных действий заставит персонажа изменить свое положение
Genie генерирует каждый новый кадр игры на лету в зависимости от действия игрока: нажмите «прыгать», и она обновит текущее изображение, чтобы показать игрового персонажа, который прыгает; нажмите «влево», и изображение изменится, чтобы показать персонажа, перемещенного влево
Что касается ограничений скорости, то это лишь дело времени, говорит Тим Роктешель, научный сотрудник Google DeepMind:
«Нет фундаментальных ограничений, которые помешали бы нам достичь 30 кадров в секунду. Genie использует многие из тех же технологий, что и современные большие языковые модели, где был достигнут значительный прогресс в улучшении скорости вывода».
Genie также изучила некоторые типичные визуальные особенности платформеров — например параллакс, когда передний план движется в сторону быстрее, чем фон — и часто добавляет этот эффект в игры.
В настоящее время модель находится в статусе внутреннего исследовательского проекта, и не доступна для публики.
В то же время игры — не единственная сфера интересов создателей Genie. Команда работает над ботами, управляемыми ИИ, которые смогут находиться в виртуальной среде и решать различные задачи методом проб и ошибок. В 2021 году другая команда DeepMind разработала виртуальную игровую площадку под названием XLand, где работали подобные боты. Судя по всему, такую среду в будущем вполне может создать и Genie.