3D DRAM (3DIMC) від d-Matrix/LinkedIn
Стартап d-Matrix заявив про розробку нового вида пам’яті для ШІ у вигляді кремнієвого 3D-чипу, який буде у 10 разів швидшим за традиційну HBM.
Зазначається, що технологія 3D-цифрових обчислень у пам’яті (3DIMC), розроблена d-Matrix, покликана значно прискорити виведення даних системами штучного інтелекту. Наразі пам’ять HBM із високою пропускною здатністю залишається невід’ємною частиною систем ШІ та високопродуктивних обчислень.
HBM розміщує модулі пам’яті один над одним для ефективнішого з’єднання кристалів пам’яті та доступу до більш високої продуктивності. Однак використання такого виду пам’яті може бути не найкращим варіантом для задач, пов’язаних з обчисленнями, там де вона відіграє ключову роль у навчанні систем ШІ. Вона пропонує не найшвидший вивід даних.
У зв’язку з цим d-Matrix у лабораторних умовах проводить випробування кремнієвого чипу d-Matrix Pavehawk 3DIMC. Апаратне забезпечення для цифрових обчислень в оперативній пам’яті у даний момент являє собою кристали пам’яті LPDDR5 з встановленими поверх них чиплетами DIMC, підключеними через інтерпозер — проміжний шар у напівпровідниках, який з’єднує мікросхеми та підкладку чи плату.
Ця конфігурація дозволяє апаратному забезпеченню DIMC проводити обчислення безпосередньо у пам’яті. Логічні кристали DIMC налаштовані на множення матриці на вектор — поширений метод обчислень, який використовується в моделях штучного інтелекту на основі перетворювачів.
“Ми вважаємо, що майбутній вивід даних ШІ залежить від переосмислення не лише обчислень, а й самої пам’яті. Виведення інформації ШІ обмежене пам’яттю, а не лише кількістю операцій із плаваючою комою (FLOP). Моделі швидко розвиваються, і традиційні системи пам’яті HBM стають дуже дорогими, енергоємними та мають обмежену пропускну спроможність. 3DIMC змінює правила гри. Розміщуючи пам’ять у трьох вимірах та забезпечуючи її тіснішу інтеграцію з обчислювальними системами, ми значно скорочуємо затримку, збільшуємо пропускну спроможність та відкриваємо нові можливості підвищення ефективності“, — зазначає засновник та гендиректор d-Matrix Сід Шет.
Наразі компанія працює над Pavehawk 3DIMC у лабораторії та вже очікує на появу нового покоління типу пам’яті Raptor. Як зазначають у d-Matrix, покоління Raptor також будуватиметься на моделі чиплета.
У стартапі очікують, що Raptor дозволить прискорити вивід даних ШІ у 10 разів, порівняно з HBM, та споживатиме на 90% менше енергії. Альтернатива HBM також є привабливою з фінансової точки зору. HBM виробляється лише кількома світовими компаніями, серед яких SK hynix, Samsung та Micron. Ціни на цю пам’ять залишаються високими. SK hynix нещодавно підрахувала, що ринок HBM зростатиме на 30% щорічно до 2030 року, і ціни зростають слідом за попитом. Альтернатива цьому гіганту може бути привабливою для економних покупців ШІ, хоча пам’ять, призначена виключно для певних робочих процесів та обчислень, може здатися надто недалекоглядною потенційним клієнтам, що побоюються “бульбашки”.
Джерело: Tom’sHardware
Контент сайту призначений для осіб віком від 21 року. Переглядаючи матеріали, ви підтверджуєте свою відповідність віковим обмеженням.
Cуб'єкт у сфері онлайн-медіа; ідентифікатор медіа - R40-06029.