Перший генератор відео від OpenAI, здається, має великі шанси досягти успіхів у створенні кінематографічних чи ігрових проєктів.
У статті дослідників компанії під назвою «Моделі генерації відео як симулятори світу» розкриваються ключові аспекти архітектури Sora: наприклад, нейромережа може генерувати за текстовим запитом відео з довільною роздільною здатністю та співвідношенням сторін (до 1080p); а також виконувати ряд завдань із редагування зображень і відео — від створення циклічних відео та подовження відео вперед або назад у часі до зміни фону.
Однак найбільш інтригує згадка про «моделювання цифрових світів» — під час експерименту дослідники надали Sora підказки зі словом «Minecraft» і змусили її відтворити переконливо схожий до гри інтерфейс та динаміку з одночасним керуванням персонажем.
То як це робить Sora? Старший дослідник Nvidia Джим Фан (через TechCrunch) зазначає, що ця нейромережа більше нагадує «фізичний двигун, керований даними», аніж творчий механізм. Це не просто створення окремого зображення чи відео, а визначення фізики кожного об’єкта в навколишньому середовищі — і відтворення фотографії чи відео (або інтерактивного 3D-світу, залежно від випадку) на основі цих обчислень.
«Ці можливості свідчать про те, що продовження масштабування відеомоделей є шляхом до розробки потужних симуляторів фізичного та цифрового світу, а також об’єктів, тварин і людей, які в них живуть», — пишуть дослідники OpenAI.
Sora, схоже, таки зможе прокласти шлях до більш реалістичних — можливо, навіть фотореалістичних — ігор, створених лише з текстових описів. Це водночас і захоплює і жахає (якщо зважати на проблеми з дипфейками) — можливо тому OpenAI відкрила її з досить обмеженим доступом.