NVIDIA оголосила, що її технологія Audio2Face тепер доступна розробникам ігор за ліцензією з відкритим кодом.

За допомогою штучного інтелекту цей інструмент створює анімацію обличчя в реальному часі, включно з та синхронізацію губ на основі аудіосигналу. Аналізуючи фонеми, інтонацію та емоційний тон, Audio2Face генерує дані для 3D-персонажів, щоб зробити міміку виразнішою та реалістичнішою.

Модель вже має підтримку плагінів Autodesk Maya та Unreal Engine 5. NVIDIA також випускає SDK, навчальну платформу та приклади наборів даних. Розробники зможуть точно налаштовувати наявні моделі або адаптувати їх для власних проєктів. Доступні моделі включають як регресійні, так і дифузійні варіанти для синхронізації губ, а також мережу Audio2Emotion, яка вивчає відтворення емоцій за голосом.

Щобільше, розробники ігор вже використовують цю технологію. Серед партнерів NVIDIA — Codemasters, GSC Game World, NetEase, Perfect World, Convai, Inworld AI, Reallusion, Streamlabs та UneeQ. Здатність системи обходити процес традиційного захоплення робить її привабливим варіантом для студій, які потребують швидшого виробничого процесу.

NVIDIA описує Audio2Face як частину ширшого набору інструментів RTX Kit на базі штучного інтелекту для розробників, який також включає SDK нейронного стиснення текстур та глобального освітлення. Випускаючи його за відкритою ліцензією, компанія запрошує розробників, дослідників та студентів адаптувати та розширити технологію для ширшого кола застосувань, не тільки для ігор.