Etched є одним з конкурентів NVIDIA на ринку процесорів для штучного інтелекту. Стартап пропонує інший підхід до їхнього створення, який схожий на виробництво ASIC для майнінгу — спеціалізацію на конкретному типі генеративного ШІ, а саме так званих трансформерах. Чипи не працюватимуть з іншими моделями, проте з конкретними матимуть на порядки більшу продуктивність. Представлені процесори Sohu працюють з Llama 70B і здатні обробляти 500 тис. токенів за секунду. Сервер з 8x чипів Sohu при цьому здатний замінити 160 процесорів NVIDIA H100.
Sohu — перший спеціалізований чип для моделей-трансформерів, стверджує Etched. Маючи з ними набагато більшу продуктивність, ніж будь-які наявні універсальні рішення, Sohu не може запускати CNN, LSTM, SSM або будь-які інші моделі ШІ. Він виготовлений за 4 нм техпроцесом TSMC.
Компанія розповідає, що на цей час кожен основний продукт ШІ на ринку (ChatGPT, Claude, Gemini, Sora) працює на основі трансформерів, і нібито за кілька років кожна велика модель штучного інтелекту працюватиме на спеціалізованих чипах. Цей процес в Etched вважають неминучим.
Процесор Sohu заявлений як у понад 10 разів швидший та дешевший, ніж чипи NVIDIA нового покоління Blackwell (B200). Один сервер Sohu обробляє токени Llama 70B у 20 разів швидше, ніж сервер H100 (23 000 токенів/с), і в 10 разів більше, ніж сервер B200 (~45 000 токенів/с). Показники отримані під час роботи в FP8 без розрідженості при 8x модельному паралелізмі з довжиною 2048 вхідних/128 вихідних даних. Показники 8xH100 отримані з TensorRT-LLM 0.10.08 (остання версія), а показники 8xB200 є оцінювальними. «Це той самий бенчмарк, який використовують NVIDIA та AMD», — кажуть в Etched.
Критикуючи універсальну архітектуру графічних процесорів, Etched зазначає, що вони не стають кращими, вони просто стають більшими. За останні чотири роки їхня щільність обчислень (TFLOPS/мм²) покращилася лише приблизно на 15%. Графічні процесори нового покоління (NVIDIA B200, AMD MI300X, Intel Gaudi 3, AWS Trainium2 тощо) використовують два чипи як один, щоб «подвоїти» свою продуктивність. За твердженням стартапу, з уповільненням закону Мура єдиним способом покращити продуктивність є спеціалізація.
Економічне обґрунтування створення спеціалізованих чипів базується на їх відносно низької вартості порівняно з витратами на навчання та роботу ШІ. Сьогодні моделі штучного інтелекту використовують понад $1 млрд для навчання і десятки мільярдів під час роботи. У такому масштабі покращення на 1% виправдало б $50-100 млн на власний проєкт чипів. ASIC у 10-100 разів швидші за графічні процесори.
«Коли [спеціалізовані] майнери біткоїнів вийшли на ринок у 2014 році, стало дешевше викинути графічні процесори, ніж використовувати їх для видобутку біткоїнів. На кону мільярди доларів, те ж саме відбувається з ШІ … Виграє та архітектура, яка працює найшвидше і найдешевше на апаратному забезпеченні».
Під час масштабування продуктивності моделей від $1 млрд до $100 млрд, ризик тестування нової архітектури стрімко зростає. В Etched вважають, що зусилля краще спрямувати на підвищення ефективності трансформерів, а не на просте масштабування.
«Як тільки Sohu (та інші ASIC) вийдуть на ринок, ми досягнемо точки неповернення. Трансформерні кілери повинні будуть працювати швидше на графічних процесорах, ніж трансформери на Sohu. Якщо це станеться, ми створимо ASIC і для цього!».
Компанію Etched, яка існує лише два роки, заснували вихідці з Гарварду, Гевін Уберті (OctoML і Xnor.ai) та Кріс Чу, які разом із Робертом Вахеном і колишнім технічним директором Cypress Semiconductor Марком Россом прагнули створити чип, котрий робив би тільки одне: запускав моделі ШІ.
Багато стартапів і технологічних гігантів розробляють чипи, які працюють виключно з моделями штучного інтелекту. Meta має MTIA, Amazon має Graviton і Inferentia тощо. Але мікросхеми Etched унікальні тим, що вони працюють лише з одним типом моделі — трансформерами.
«У 2022 році ми зробили прогноз, що трансформери захоплять світ. Зараз ми досягли того моменту в еволюції штучного інтелекту, де неминучі спеціалізовані мікросхеми, які можуть працювати краще, ніж графічні процесори загального призначення, — і люди, які приймають технічні рішення у світі, це знають», — каже Уберті, CEO Etched.
Як Sohu досягає наведеної продуктивності? Декількома способами, але найбільш очевидними спрощений апаратно-програмний конвеєр. Оскільки Sohu не працює з нетрансформерними моделями, команда Etched може відмовитися від апаратних компонентів, які не мають до них відношення, те ж стосується програмного забезпечення.
«Якщо коротко, наші майбутні клієнти не зможуть дозволити собі не перейти на Sohu. Компанії готові зробити ставку на Etched, оскільки швидкість і вартість є важливими для продуктів ШІ, які вони намагаються створити», — каже Уберті.
Поки що Etched не має конкурентів, які б зайшли так далеко, але боротьба вже починається. Якщо з’являться більш ефективні технології або в тренді будуть інші моделі штучного інтелекту, у компанії кажуть, що просто розроблять новий чип.
Джерела: Etched, TechCrunch