Как правило, блок обработки данных (CPU, GPU и другие компоненты) и оперативная память представляют собой отдельные компоненты, выполненные на различных микросхемах. Но в компании Samsung решили объединить их в рамках одного чипа. В результате, удалось создать первую в мире память HBM (High Bandwidth Memory) с интегрированным аппаратным модулем обработки задач ИИ. Такое решение получило название HBM-PIM (High Bandwidth Memory integrated with Processing-In-Memory).
Фактически, компания использовала чипы HBM2 Aquabolt и добавила к ним программируемые вычислительные блоки (Programmable Computing Units, PCU), расположив их между банками памяти. Такие вычислительные блоки относительно просты и оперируют 16-битными значениями с плавающей запятой с ограниченным набором инструкций. Они могут перемещать данные и выполнять умножение и сложение.
Вычислительные блоки в памяти Samsung HBM-PIM работают на частоте 300 МГц и обеспечивают производительность 1,2 терафлопс на каждый чип. При этом удалось сохранить энергопотребление чипов на прежнем уровне и обеспечить скорость передачи данных на уровне 2,4 Гбит/с для каждого контакта. Несмотря на неизменное энергопотребление чипов, энергопотребление всей системы удалось снизить на существенные 71%. Этого удалось достичь за счёт отказа от некоторых операций, необходимых при типичной конфигурации. В частности, обычный процессор должен дважды передавать данные – считать входящие данные и записать результат обработки. В случае HBM-PIM данные никуда не передаются.
Предлагаемая конструкция обеспечивает не только снижение энергопотребления, но и прирост производительности. Так, использование HBM-PIM для задач машинного обучения и логического вывода, по мнению исследователей, более чем вдвое повышает производительность системы.
Что ещё важно, архитектура HBM-PIM обладает обратной совместимостью с обычными чипами памяти HBM2. Таким образом, для использования нового решения не потребуется разработка новых аппаратных устройств. Достаточно будет того, что программное обеспечение укажет системе PIM переключиться из обычного режима в режим обработки в памяти.
Тем не менее, один недостаток у нового решения всё же имеется. Так как блоки PCU занимают место, которое ранее использовалось для размещения банков памяти, это приводит к уменьшению общей ёмкости чипа на половину – до 4 Гбит. Чтобы обойти это ограничение, в Samsung решили объединить 4-гигабитные PIM чипы с обычными 8-гигабитными HBM2 чипами. Благодаря использованию 4 чипов каждого типа, удалось создать стеки памяти по 6 ГБ.
Samsung уже начала рассылать новые чипы для тестирования партнёрам, разрабатывающим ускорители искусственного интеллекта. Как ожидается, новая архитектура будет доступна к июлю.
Источник: gsmarena