Производитель видеокарт и оборудования для дата-центров представил четыре ускорителя искусственного интеллекта. Устройства NVIDIA оптимизированы для работы на них различных вариантов ИИ – языковых моделей (LLM), таких, как ChatGPT, обработки видео с помощью ИИ, графических генеративных моделей, а также нейронных сетей и баз данных:
Представлен также комплект ПО, обеспечивающий работу ускорителей на программном уровне. Программный пакет NVIDIA AI Enterprise включает NVIDIA TensorRT, средство для разработки ПО для высокопроизводительных операций на основе глубокого обучения, а также NVIDIA Triton Inference Server, ПО с открытым исходным кодом, помогающее стандартизировать развертывание моделей.
Устройство H100 NVL является наиболее мощным в представленной линейке. Технически оно представляет собой комплект из двух видеоускорителей для центров обработки данных H100, разработанный специально для повышения производительности ChatGPT и других LLM.
Сокращение NVL означает использование технологии NVLink. H100 NVL является комплектом из двух «видеокарт» с интерфейсом PCIe, соединенных друг с другом через три моста NVLink Gen4.
Еще одно преимущество NVIDIA H100 NVL – объем памяти. Устройство использует шесть стеков памяти HBM3, предлагая в общей сложности 188 ГБ высокоскоростного буфера. Интересно, что такой объем указывает на использование 94 ГБ, а не 96 ГБ каждым H100.
NVIDIA H100 NVL использует 6144-битный интерфейс памяти (1024 бит для каждого стека HBM3), память работает на скорости до 5,1 Гбит/с. Ее максимальная пропускная способность составляет 7,8 ГБ/с, что более чем в два раза выше, чем у H100 SXM. Большие языковые модели требуют большого буфера памяти, пропускная способность также важна для скорости работы.
Источники: NVIDIA, VideoCardz