Нейронные шейдеры под микроскопом: куда приведет нас генеративное будущее от NVIDIA

С выходом нового поколения RTX Blackwell тихонько и без лишних торжеств NVIDIA показала куда дальше будет двигаться графика. Не только для игр, но и для других сфер. Сегодня продолжаем тему, что была задана в предыдущая статьяи попробуем понять для чего нам понадобятся нейронные шейдеры и новейшие технологии, которые увидим через несколько лет.

Революция продолжается

Производительность графического процессора и качество изображения непрерывно улучшаются благодаря использованию методов Нейронного Рендеринга (Neural Rendering). Технологии NVIDIA DLSS Super Resolution и Frame Generation значительно повысили частоту кадров, в то же время обеспечивая качество изображения на уровне классического рендеринга и генерируя подавляющее большинство пикселей.

Подобным образом DLSS Ray Reconstruction (RR) существенно уменьшает количество лучей, которые необходимо просчитать для создания высококачественных сцен с трассировкой лучей или определения их траектории, используя передовые методы искусственного интеллекта для уменьшения шума и реконструкции недостающих деталей. Будущие технологии искусственного интеллекта будут продолжать увеличивать и улучшать качество изображения при значительно меньших вычислительных затратах и объеме памяти.

Технологии нейронного рендеринга и Нейронных Шейдеров (Neural Shading) Blackwell ускорят использование разработчиками ИИ в своих программах, включая реализацию и использование в реальном времени методов рендеринга и моделирования на основе Генеративного ИИ (Generative AI).

Генеративный ИИ поможет разработчикам игр динамично создавать разнообразные ландшафты, внедрять более реалистичные физические симуляции и генерировать более сложное поведение NPC «на лету». Профессиональные приложения для 3D-моделирования смогут создавать варианты дизайна быстрее, чем когда-либо, на основе заданных входных критериев. Эти и многие другие сценарии будут дополнены в рамках архитектуры RTX Blackwell и возможностями нейронного рендеринга.

На графике видно, что с каждым новым поколением видеокарт начинает возрастать роль ИИ в создании кадров. Архитектура Turing заложила основу для новой эры в графике, сочетая программируемое затенение, трассировку лучей в реальном времени и алгоритмы ИИ для предоставления реалистичной и физически точной графики в играх и профессиональных приложениях.

Архитектура NVIDIA Ampere обновила SM блоки, улучшила RT и Тензорные ядра, впервые применила подсистему памяти GDDR6X в RTX 3090, улучшила возможности DLSS и обеспечила огромный общий прирост производительности.

Архитектура NVIDIA Ada обеспечила еще более высокую производительность, уменьшение энергопотребления и визуальную точность для трассировки лучей и нейронной графики на основе искусственного интеллекта, добавив новые функции DLSS: генерация кадров и Ray Reconstraction.

RTX Neural Materials, RTX Neural Faces, RTX Neural Radiance Cache (NRC) и новая модель Transformer являются более эффективными с точки зрения вычислений, но при этом могут реконструировать изображения еще лучшего качества. Как показано на графике выше — наступила эра нейронной визуализации.

Нейронные шейдеры (+ коротенькая история шейдеров к ним)

Начнем с основ. Шейдер — это программа, выполняемая на GPU для управления воспроизведением графики, сложность которой варьируется в зависимости от требуемых визуальных эффектов и обработки. В своей основной форме шейдеры позволяют вычислять свет, темноту и цвета, которые используются при визуализации сцены в 3D-пространстве игры. Этот процесс называют Шейдингом (Shading).

Эволюция шейдеров в графических процессорах отмечена значительным прогрессом в графическом программировании и возможностях визуализации. Вот краткий обзор основных этапов развития графических технологий:

• Конвейер с фиксированной функцией (Fixed-Function Pipeline, до 2000-х) — Графика, обработанная с помощью Конвейера с фиксированными функциями, где операции определены и настроены, но не программируются и с ограниченным контролем над воспроизведением простых эффектов, таких как освещение и текстурирование.
• Вершинные шейдеры (Vertex Shaders, DirectX 8.0 / OpenGL 1.4, ранние 2000-е). Программируемые вершинные шейдеры предоставили разработчикам доступ к данным вершин (vertex), включая преобразования и вычисления освещения, позволяя создавать более сложные эффекты.
• Фрагментные / Пиксельные шейдеры (Fragment / Pixel Shaders, DirectX 9.0 / OpenGL 2.0, начало 2000-х). Позволили разработчикам писать специальный код для операций на уровне пикселей, позволяя делать динамическое освещение и текстурирование, расширяя гибкость визуализации с помощью Shader Model 2.0.
• Унифицированная архитектура шейдеров (Unified Shader Architecture, DirectX 10.0 / OpenGL 3.3, 2006). Унификация геометрии, вершинных и фрагментных шейдеров, обеспечивающая лучшее использование ресурсов и высокую эффективность. Представлена Shader Model 4.0, которая поддерживала более продвинутые технологии и оптимизацию.
• Геометрические шейдеры (Geometry Shaders, DirectX 10 / OpenGL 3.2, 2006). Геометрические шейдеры позволяли создавать и манипулировать примитивами в конвейере шейдеров. Новыми эффектами являются Динамическая Тесселяция (Dynamic Tessellation) и Система Частиц (Particle System).
• Улучшенная тесселяция и вычислительные шейдеры (Compute Shaders, DirectX 11 / OpenGL 4.0, 2009). Переосмысленная геометрия с более высокой детализацией поверхности и более плавными кривыми в 3D-моделях. Shader Model 5.0 добавила больше функций для методов визуализации в реальном времени. Вычислительные шейдеры добавили поддержку Параллельной обработки (Parallel processing) и Комплексной симуляции (Сomplex Simulation).
• Примитивные и Сетчатые шейдеры (Primitive and Mesh Shaders, дополнение DirectX 12 Ultimate/Vulkan, 2018-2020). Расширены возможности и производительность конвейера геометрии путем объединения функций Вершинных и Геометрических шейдеров в один шейдер. Сетчатые шейдеры позволили GPU обрабатывать более сложные алгоритмы, забрав больше работы с CPU.
• RTX (Архитектура NVIDIA Turing / DirectX Raytracing, 2018). Добавлены возможности Трассировки Лучей в реальном времени (RTX) непосредственно к SM-блокам в графическом процессоре, что обеспечивает реалистичное освещение, тени и отображение.
• Нейронные шейдеры (Архитектура NVIDIA Blackwell, 2025) — Объединение AI и традиционных шейдеров. Искусственный интеллект встроен в вычислительный процесс традиционного конвейера визуализации, прокладывая путь к полному Нейронному шейдингу (Neural shading) МЫ ЗДЕСЬ!

Как видите, каждый новый тип шейдера задавал планку реализма в графике. Новые технологии того времени заставляли покупать новую видеокарту каждое поколение, потому что все больше и больше становились похожи на «реальную жизнь». Глаза видели прогресс, а кошелек открывался.

С запуском Blackwell NVIDIA представила Эру «Нейронных шейдеров» следующим эволюционным шагом в программируемом шейдинге. Вместо того, чтобы писать шейдерный код, разработчики будут обучать AI модели получать приблизительный результат, который они могли бы получить от использования кода. В будущем все игры будут использовать технологию AI для визуализации.

До этого момента NVIDIA использовала нейронные шейдеры для DLSS, используя CUDA для тензорных ядер. NVIDIA работала с Microsoft над созданием нового API Cooperative Vectors. Благодаря ему можно получить доступ к тензорным ядрам через любой тип шейдера в графическом приложении, что позволяет использовать множество нейронных технологий.

Без DLSS (или его аналогов) никак.

Новые технологии

Если вам лень читать, NVIDIA предложила аж два видео. В первом показано красивое отрендеренное 3D демо Zorah, а в другом — технологии, о которых написано ниже.

Это вообще какое соотношение экрана? 21:9?

RTX Neural Materials

В крупнобюджетных фильмах CGI некоторых материалов могут быть очень сложными и состоять из нескольких оптических слоев. Трассировка лучей сама по себе сложная задача, а в режиме реального времени становится очень сложной. Однако технологии AI заменяют оригинальную математическую модель материала на нейронное приближение (neural approximation). Это позволяет лучше отобразить материалы и одновременно дает возможность воспроизведения в кинокачестве с высокой частотой кадров.

RTX Neural Texture Compression (NTC)

Подробнее описано в специальной научная статья.

С ростом прогресса в фотореалистичной визуализации увеличивается и количество необходимых текстурных данных, что выдвигает дополнительные требования к хранилищу и памяти, а также влияя на производительность из-за ограничения пропускной способности. RTX Neural Texture Compression использует нейронные сети для более эффективного сжатия и распаковки текстур. В демо Zorah, демонстрация Neural Materials использует 1110 мегабайт памяти для стандартных материалов на фонаре и ткани. Однако для нейронных материалов использует только 333 мегабайта — экономия более 3 раз с гораздо лучшим визуальным качеством.

Neural Radiance Cache (NRC)

NRC использует нейронный шейдер для кэширования и сохранения приблизительной информации о яркости. Тем самым сложную информацию об освещении можно хранить и применять для создания высококачественного глобального освещения и динамических световых эффектов в режиме реального времени. Технология улучшает эффективность путем уменьшения вычислительной нагрузки на GPU и обеспечивает улучшенное качество изображения и масштабируемость.

NRC получает результаты луча после их первого отскока и определяет конечные значения освещения для последующих отражений. Получается, что запускается начальный набор лучей, но не происходит их полный подсчет. Затем значения путей лучей отправляются в кэш после одного отскока и моделируются, как выглядела бы сцена, если бы луч был полной длины со многими отражениями. А поскольку нейронные сети тренируются во время игры, NRC контекстно осведомлен под разнообразие сценариев, что позволяет ему настраиваться, чтобы обеспечить точный профиль непрямого освещения для каждой игровой сцены.

RTX Skin

Кожа является одной из проблем для визуализации, ведь в играх она может быть разных типов. По сути, кожа (skin) — это набор мешей/сеток, которые образуют внешнюю часть объекта. Это хорошо работает, если материал непроницаем для света (дерево или металл), где лучи требуют только вычисления света, которое является общим для сцены. Однако полупрозрачные материалы работают иначе. Происходит проникновение света в материал и объект, затем перемещается или рассеивается внутри объекта, а затем излучается в других частях объекта. RTX Skin является первым примером подповерхностного рассеивания в играх с трассировкой лучей, и его можно применять как пожелает художник.

RTX Neural Faces

Еще одной проблемой для визуализации в реальном времени было реалистичное воспроизведение лиц. RTX Neural Faces предлагает инновационный новый подход к улучшению качества лица с помощью генеративного ИИ.

Neural Faces использует простое растеризованное лицо и данные трехмерной позы в качестве входных данных и использует генеративную модель искусственного интеллекта в реальном времени, чтобы создать более естественное лицо. Далее происходит тренировка на основе тысяч сгенерированных в автономном режиме изображений этого лица под любым углом, при различных условиях освещения, эмоций и окклюзии.

В обучающем конвейере могут использоваться реальные фотографии или изображения, сгенерированные ИИ, с вариантами, созданными с помощью диффузионной модели. Затем обученная модель оптимизируется TensorRT для применения лица в реальном времени. RTX Neural Faces является первым шагом на пути к просмотру графики в реальном времени с помощью генеративного искусственного интеллекта.

Тайминг 2:20. Пока выглядит не очень. Слишком сильно выбивается из общей картины.

До анимаций от живых актеров и MetaHuman — еще далеко.

Как мы смогли посмотреть, эти все представленные и последующие технологии для будущих поколений видеокарт, дадут высокий прирост производительности для нейронного рендеринга и именно он станет «главным козырем» перед основным конкурентом — AMD.

А что там AMD?

На CES 2025 были анонсированы новые видеокарты архитектуры RDNA 4 — RX 9070 и RX 9070 XT. Одной из особенностей нового поколения стало применение AI вычислений. На самом деле это очень неплохо. Все больше разработчиков ПО будут оптимизировать свои приложения к видеокартам AMD. Но это не точно.

А вот что точно, RDNA 4 обеспечит лучшую поддержку RT, новый апскейлер и генератор кадров. Это все будет называться AMD FidelityFX Super Resolution 4. По простому — FSR 4. Интернет-сообщество конечно подняло бунт и понятно почему: FSR 4 не будет иметь поддержки старых видеокарт. Интересно, что понимается под «старыми видеокартами»?

Сначала с простого. NVIDIA уже с 2018 года выпускает видеокарты с аппаратной поддержкой RT. Прошло 7 лет, уже четвертое RT поколение появилось. Есть большая вероятность поддержки FSR 4 на видеокартах NVIDIA.

А вот с GPU и APU от AMD все как-то неоднозначно. Например, у Z1 / Z1 Extreme нет аппаратной поддержки RT, так как это специально ограниченные версии процессоров для ноутбуков без AI. Поколение Z2 (три разных процессора из разных поколений) тоже под большим вопросом. Хотя, надеюсь, что и они будут с FSR 4.

Перейдём к видеокартам. Ещё в серии RX 6000 были первые RT ядра. Хотя да, они так не назывались, однако какие-то аналоги уже были заложены (Ray и AI Accelerators). А это 2020 год. То есть уже с того времени (5 лет!) начались первые мероприятия по внедрению ИИ. Если FSR 4 сделают эксклюзивным для RX 9000 — будет не до конца ясно, почему это так.

Консоли PS6 и новый Xbox вообще не понятно когда появятся. Если через два года, тогда выйдет новое поколение видеокарт AMD и получим уже FSR 5 или новое название для них.

Вообще, анонс RDNA 4 хотя и был на CES 2025, но с него пока не хватает информации. Ждем с нетерпением полноценной презентации, а не 4-5 слайдов.

Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков.