Depositphotos
Исследователи из Университета Северной Каролины представили новый инструмент на базе ИИ CacheMind для помощи разработчикам в повышении производительности CPU.
Отмечается, что это первый симулятор архитектуры процессоров, способный отвечать на произвольные вопросы в режиме реального времени относительно сложного взаимодействия аппаратного и программного обеспечения. Инструмент ориентирован на улучшение работы кэша, аппаратного или программного компонента, хранящего данные, которые система может использовать в ближайшее время.
Извлечение данных из кэша происходит быстрее, чем из других областей жесткого диска, однако в кэше может храниться только очень ограниченный объем данных. Для повышения производительности разработчики обычно используют 2 метода. Метод предварительной выборки улучшает производительность за счет выборочного сохранения данных в кэше, которые с наибольшей вероятностью будут использованы системой. Также используются алгоритмы для определения того, что следует удалить из кэша чтобы добавить новые данные.
«Оптимизация политики замещения в кэше — сложная задача, поскольку трудно определить, какие блоки данных будут использоваться в ближайшем будущем. Для успешного решения этой задачи необходимо хорошо понимать мельчайшие детали происходящего в системе, например, какие инструкции зависят от данных, которых нет в кэше», — отмечает первый автор исследования Каушал Мхапсекар.
Как отмечает соавтор исследования Азам Ганбари, сейчас разработчики используют симуляторы для оценки того, как изменение алгоритмов замещения данных в кэше повлияет на производительность. Результаты представляют обобщенную статистику по использованию блоков данных. Однако они не учитывают тонкости, необходимые для определения лучших способов улучшения политики замещения данных.
Имеющиеся методы преимущественно базируются на методе проб и ошибок. Проводится моделирование, анализируются результаты, тестируется изменение алгоритмов предварительной выборки или замены, затем снова проводится моделирование и проверка, улучшились ли результаты.
«Более эффективный метод заключается в анализе происходящего, выявлении закономерностей, которые можно улучшить, определении причин этих закономерностей, а затем внедрении решения. CacheMind был разработан для того, чтобы помочь в этом — он использует причинно-следственный анализ, а не метод проб и ошибок, для улучшения управления памятью», — отмечает ведущий автор исследования Самира Мирбагер Ажорпаз.
В завершенном варианте исследователи получили модель LLM, способную вести диалог с разработчиками и отвечать на их вопросы. По результатам тестов CacheMind улучшил показатели попадания необходимых данных в кэш и ускорил его работу. Исследователи также разработали тест для сравнения производительности CacheMind с будущими аналогичными моделями.
Они создали CacheMindBench, который состоит из 100 вопросов по политике замещения кэша с проверенными ответами. По словам исследователей, он не ограничивается только вопросами связанными с кэшем, как и сам CacheMind. Этот бенчмарк поможет другим моделям LLM учиться имитации логического мышления в областях, в которых они не были предварительно обучены.
Ранее мы писали, что AMD показала Ryzen 9 9950X3D2 с 208 МБ кэша и TDP 200 Вт — первый в мире CPU с двойным 3D V-Cache Intel работает над новыми процессорами под кодовым названием Serpent Lake, которые могут стать первыми чипами с графическим блоком NVIDIA RTX.
Результаты исследования опубликованные на сервере препринтов arXiv
Источник: TechXplore
Контент сайту призначений для осіб віком від 21 року. Переглядаючи матеріали, ви підтверджуєте свою відповідність віковим обмеженням.
Cуб'єкт у сфері онлайн-медіа; ідентифікатор медіа - R40-06029.