Убийца HBM: новая память для ИИ d-Matrix 3D DRAM (3DIMC) в 10 раз быстрее

Опубликовал Олександр Федоткін

Стартап d-Matrix заявил о разработке нового вида памяти для ИИ в виде кремниевого 3D-чипа, который будет в 10 раз быстрее традиционной HBM.

Отмечается, что технология 3D-цифровых вычислений в памяти (3DIMC), разработанная d-Matrix, призвана значительно ускорить вывод данных системами искусственного интеллекта. Сейчас память HBM с высокой пропускной способностью остается неотъемлемой частью систем ИИ и высокопроизводительных вычислений. 

HBM размещает модули памяти друг над другом для более эффективного соединения кристаллов памяти и доступа к более высокой производительности. Однако использование такого вида памяти может быть не лучшим вариантом для задач, связанных с вычислениями, там где она играет ключевую роль в обучении систем ИИ. Она предлагает не самый быстрый вывод данных. 

В связи с этим d-Matrix в лабораторных условиях проводит испытания кремниевого чипа d-Matrix Pavehawk 3DIMC. Аппаратное обеспечение для цифровых вычислений в оперативной памяти в данный момент представляет собой кристаллы памяти LPDDR5 с установленными поверх них чиплетами DIMC, подключенными через интерпозер —промежуточный слой в полупроводниках, который соединяет микросхемы и подложку или плату.

d-Matrix, Inc

Эта конфигурация позволяет аппаратному обеспечению DIMC проводить вычисления непосредственно в памяти. Логические кристаллы DIMC настроены на умножение матрицы на вектор — распространенный метод вычислений, используемый в моделях искусственного интеллекта на основе преобразователей. 

«Мы считаем, что будущий вывод данных ИИ зависит от переосмысления не только вычислений, но и самой памяти. Вывод информации ИИ ограничен памятью, а не только количеством операций с плавающей запятой (FLOP). Модели быстро развиваются, и традиционные системы памяти HBM становятся очень дорогими, энергоемкими и имеют ограниченную пропускную способность. 3DIMC меняет правила игры. Размещая память в трех измерениях и обеспечивая ее более тесную интеграцию с вычислительными системами, мы значительно сокращаем задержку, увеличиваем пропускную способность и открываем новые возможности повышения эффективности«, — отмечает основатель и гендиректор d-Matrix Сид Шет. 

Сейчас компания работает над Pavehawk 3DIMC в лаборатории и уже ожидает появления нового поколения типа памяти Raptor. Как отмечают в d-Matrix, поколение Raptor также будет строиться на модели чиплета. 

В стартапе ожидают, что Raptor позволит ускорить вывод данных ИИ в 10 раз по сравнению с HBM, и будет потреблять на 90% меньше энергии. Альтернатива HBM также привлекательна с финансовой точки зрения. HBM производится только несколькими мировыми компаниями, включая SK hynix, Samsung и Micron. Цены на эту память остаются высокими. SK hynix недавно подсчитала, что рынок HBM будет расти на 30% ежегодно до 2030 года, и цены растут вслед за спросом. Альтернатива этому гиганту может быть привлекательной для экономных покупателей ИИ, хотя память, предназначенная исключительно для определенных рабочих процессов и вычислений, может показаться слишком недальновидной потенциальным клиентам, опасающимся «пузыря».

Источник: Tom’sHardware

Контент сайту призначений для осіб віком від 21 року. Переглядаючи матеріали, ви підтверджуєте свою відповідність віковим обмеженням.

Cуб'єкт у сфері онлайн-медіа; ідентифікатор медіа - R40-06029.