NVIDIA представила апаратні прискорювачі для ChatGPT, обробки відео за допомогою ШІ, генеративних та інших моделей

Опубликовал
Андрей Русанов

Виробник відеокарт та компонентів для дата-центрів представив чотири прискорювачі штучного інтелекту. Пристрої NVIDIA оптимізовані для роботи на них різних варіантів ШІ – мовних моделей (LLM), таких як ChatGPT, обробки відео за допомогою ШІ, графічних генеративних моделей, а також нейронних мереж та баз даних:

  • NVIDIA L4 для ШІ-відео – забезпечує до 120 разів більшу продуктивність обробки відео на основі ШІ, ніж CPU, використовуючи на 99% енергоефективнішу архітектуру. Пристрій є універсальним графічним процесором для будь-якого робочого навантаження, пов’язаного з обробкою відео. Прискорювач пропонує розширені можливості декодування та перекодування відео, потокової передачі, доповненої реальності, ШІ-генерації відео та інших суміжних завдань.
  • NVIDIA L40 для генерації зображень – платформа, що оптимізована для створення та роботи з двовимірною та тривимірною графікою з упором на технології генеративного штучного інтелекту. Пристрій L40 служить ядром NVIDIA Omniverse, платформи для створення та експлуатації застосунків метавсесвіту, забезпечуючи 7-кратне збільшення продуктивності виводу для Stable Diffusion та 12-кратне збільшення продуктивності Omniverse у порівнянні з попереднім поколінням спеціалізованих прискорювачів для ЦОД.
  • NVIDIA H100 NVL – для розгортання великих мовних моделей LLM, таких як ChatGPT. Пристрій H100 NVL з прискоренням Transformer Engine забезпечує до 12 разів більшу продуктивність логічних операцій GPT-3 в порівнянні з попереднім поколінням A100 у масштабі центру обробки даних.
  • NVIDIA Grace Hopper – для рекомендаційних моделей ідеально підходить для рекомендаційних графових моделей, векторних баз даних та нейронних мереж. Завдяки з’єднанню NVLink-C2C зі швидкістю 900 ГБ/с між CPU та GPU Grace Hopper може забезпечити у 7 разів швидшу передачу даних та запитів у порівнянні з PCIe 5.0.

Представлений також комплект ПЗ, що забезпечує роботу прискорювачів на програмному рівні. Програмний пакет NVIDIA AI Enterprise включає NVIDIA TensorRT, засіб для розробки програмного забезпечення для високопродуктивних операцій на основі глибокого навчання, а також NVIDIA Triton Inference Server, програмне забезпечення з відкритим вихідним кодом, що допомагає стандартизувати розгортання моделей.

Пристрій H100 NVL є найпотужнішим у представленій лінійці. Технічно він є комплектом з двох відеоприскорювачів для центрів обробки даних H100, розроблений спеціально для підвищення продуктивності ChatGPT та інших LLM.

Скорочення NVL означає використання технології NVLink. H100 NVL є комплектом із двох «відеокарт» з інтерфейсом PCIe, з’єднаних один з одним через три мости NVLink Gen4.

Курс English For IT: Communication від Enlgish4IT.
Почни легко працювати та спілкуватися з мультикультурними командами та міжнародними клієнтами. Отримайте знижку 10% за промокодом ITCENG.
Інформація про курс

Ще одна перевага NVIDIA H100 NVL – обсяг пам’яті. Пристрій використовує шість стеків пам’яті HBM3, пропонуючи загалом 188 ГБ високошвидкісного буфера. Цікаво, що такий обсяг свідчить про використання 94 ГБ, а не 96 ГБ кожним H100.

NVIDIA H100 NVL використовує 6144-бітний інтерфейс пам’яті (1024 біт для кожного стека HBM3), пам’ять працює на швидкості до 5,1 Гбіт/с. Її максимальна пропускна здатність становить 7,8 ГБ/с, що більш ніж удвічі вище, ніж у H100 SXM. Великі мовні моделі вимагають великого буфера пам’яті, пропускна здатність також є важливою для швидкості роботи.

Джерела: NVIDIA, VideoCardz

Disqus Comments Loading...