Виробник відеокарт та компонентів для дата-центрів представив чотири прискорювачі штучного інтелекту. Пристрої NVIDIA оптимізовані для роботи на них різних варіантів ШІ – мовних моделей (LLM), таких як ChatGPT, обробки відео за допомогою ШІ, графічних генеративних моделей, а також нейронних мереж та баз даних:
Представлений також комплект ПЗ, що забезпечує роботу прискорювачів на програмному рівні. Програмний пакет NVIDIA AI Enterprise включає NVIDIA TensorRT, засіб для розробки програмного забезпечення для високопродуктивних операцій на основі глибокого навчання, а також NVIDIA Triton Inference Server, програмне забезпечення з відкритим вихідним кодом, що допомагає стандартизувати розгортання моделей.
Пристрій H100 NVL є найпотужнішим у представленій лінійці. Технічно він є комплектом з двох відеоприскорювачів для центрів обробки даних H100, розроблений спеціально для підвищення продуктивності ChatGPT та інших LLM.
Скорочення NVL означає використання технології NVLink. H100 NVL є комплектом із двох «відеокарт» з інтерфейсом PCIe, з’єднаних один з одним через три мости NVLink Gen4.
Ще одна перевага NVIDIA H100 NVL – обсяг пам’яті. Пристрій використовує шість стеків пам’яті HBM3, пропонуючи загалом 188 ГБ високошвидкісного буфера. Цікаво, що такий обсяг свідчить про використання 94 ГБ, а не 96 ГБ кожним H100.
NVIDIA H100 NVL використовує 6144-бітний інтерфейс пам’яті (1024 біт для кожного стека HBM3), пам’ять працює на швидкості до 5,1 Гбіт/с. Її максимальна пропускна здатність становить 7,8 ГБ/с, що більш ніж удвічі вище, ніж у H100 SXM. Великі мовні моделі вимагають великого буфера пам’яті, пропускна здатність також є важливою для швидкості роботи.
Джерела: NVIDIA, VideoCardz