Слідом за Sora від OpenAI, яка генерує цифрові віртуальні світи у стилі Minecraft, власним талантом до створення ігор відзначилась генеративна модель Google DeepMind.
Як повідомляє MIT Technology Review, Genie може використати короткий текстовий опис, намальований від руки ескіз чи знімок та перетворити усе це на відеогру в стилі класичних 2D-платформерів, таких як Super Mario Bros. Швидкого темпу від творіння ШІ наразі можна не очікувати — вони працюють зі швидкістю один кадр на секунду проти типових 30–60 кадрів на секунду у більшості сучасних ігор.
Genie навчалась на 30 000 годинах ігрових відео з інтернету із сотень 2D-платформерів. Інші моделі використовують подібний підхід — Nvidia таким чином навчала GameGAN, яка відзначилась створенням клону Pac-Man.
Усі попередні приклади навчали моделей дій введення (таким як натискання кнопок на контролері), а також поєднання їх з відео (відео з Маріо, що стрибає, поєднують з дією «Стрибок») — однак додавання таких тегів потребує дуже багато роботи. Genie натомість вчиться лише на відеозаписах і аналізує, яка з можливих дій змусить персонажа змінити своє положення.
Genie генерує кожен новий кадр гри на льоту залежно від дії гравця: натисніть «стрибати», і вона оновить поточне зображення, щоб показати ігрового персонажа, який стрибає; натисніть «вліво», і зображення зміниться, щоб показати персонажа, переміщеного вліво.
Щодо обмежень швидкості, то це лише справа часу, каже Тім Роктешель, науковий співробітник Google DeepMind:
«Немає фундаментальних обмежень, які б заважали нам досягти 30 кадрів на секунду. Genie використовує багато тих самих технологій, що й сучасні великі мовні моделі, де було досягнуто значного прогресу в покращенні швидкості виведення».
Genie також вивчила деякі типові візуальні особливості платформерів — як-от паралакс, коли передній план рухається вбік швидше, аніж фон — і часто додає цей ефект до ігор.
На цей час модель перебуває у статусі внутрішнього дослідницького проєкту, і не доступна на загал.
Водночас ігри — не єдина сфера інтересів творців Genie. Команда працює над ботами, керованими ШІ, які зможуть перебувати у віртуальному середовищі та вирішувати різні завдання методом проб і помилок. У 2021 році інша команда DeepMind розробила віртуальний ігровий майданчик під назвою XLand, де працювали подібні боти. Судячи з усього, таке середовище у майбутньому цілком може створити й Genie.