«Піддослідна» відеокарта AMD / Tiny Corp
«Вы не представляете, какой уровень инженерии был вложен в это», — пишут авторы мода для карт AMD.
Поддержка внешних видеокарт на Mac и MacBook с процессорами Apple Silicon является известной проблемой среди энтузиастов искусственного интеллекта и машинного обучения. Tiny Corp удалось заставить видеокарту AMD работать в Tiny Grad через USB 3 — стандарт, лишенный всех свойств PCIe. Поскольку используется libusb, эта функциональность будет работать в Windows, Linux и macOS на процессорах Apple.
Обычно видеокарты подключаются через слоты PCIe или интерфейсы Thunderbolt/USB4, которые имеют поддержку туннелирования PCI Express. В отличие от Mac на Intel, устройства на базе Apple Silicon не поддерживают внешние видеокарты. Поэтому несмотря на их эффективность по сравнению с системами на базе x86, пользователи имеют проблемы с работой мощных моделей ИИ на них.
Комплект для работы видеокарты через USB 3 включает адаптер на базе ASM2464PD. В Tiny Corp использовали адаптер ADT-UT3G на этом чипе — но «из коробки» он работает только с интерфейсами Thunderbolt 3, Thunderbolt 4 или USB 4. Команда, вероятно, использовала специальную прошивку, чтобы включить режим без прямой связи с PCIe. Технические детали не разглашаются, однако, кажется, контроллер преобразует команды PCIe в пакеты USB и наоборот.
Это решение можно назвать хакерским, поскольку оно обходит драйверы видеокарты уровня ядра, требует специфического оборудования и использует разъем, который изначально не предназначался для этого. Правда, существует ограничение на скорость передачи данных до 10 Гбит/с, поэтому запуск моделей займет гораздо больше времени, чем с более подходящим для этого оборудованием.
Из-за использования кастомных драйверов на уровне пользователя, чтобы избежать вмешательства в ядро, функция ограничена видеокартами AMD RDNA 3 и 4 — хотя есть намек на потенциальную поддержку RDNA 2 в будущем. При желании, модификацию смогут попробовать все желающие — ожидается, что Tiny Corp предоставит больше деталей, как только завершат разработку.
Источник: Tom`s Hardware