Во вторник Google опубликовала научную статью, в которой подробно рассказала о собственном суперкомпьютере для обучения моделей искусственного интеллекта. Компания отметила, что ее машины гораздо быстрее и энергоэффективнее, чем аналогичные системы от NVIDIA.
Google с 2016 года разрабатывает и разворачивает свой чип для искусственного интеллекта под названием Tensor Processing Unit (TPU). Внутри компании TPU используют для более чем 90% работы Google по обучению искусственного интеллекта – процесса передачи большого массива данных языковой модели, чтобы сделать ее способной к таким задачам, как ответы на запросы человеческим текстом или генерация изображений.
Компания с помощью своих специально разработанных оптических переключателей объединила более 4000 таких чипов в машинах в суперкомпьютер, на котором в течение 50 дней училась модель Google PaLM.
Google говорит, что ее суперкомпьютеры позволяют легко менять соединение между чипами «на ходу», что помогает быстро решать проблемы и увеличивать производительность.
«Эта гибкость позволяет нам даже изменять топологию соединения суперкомпьютера, чтобы ускорить производительность модели машинного обучения», – написали в блоге о системе сотрудник Google Норм Джоуппи и ведущий инженер Google Дэвид Паттерсон.
Хотя Google только сейчас поделилась подробностями о собственном суперкомпьютере, он работает в сети с 2020 года в центре обработки данных в округе Мейс, штат Оклахома. Компания говорит, что систему использовал стартап Midjourney для собственной модели синтеза изображений на основе текстовых подсказок.
Чипы Google, как утверждается в статье, в 1,7 раза быстрее и в 1,9 раза энергоэффективнее системы на основе чипа NVIDIA A100 (вышедшего на рынок в то же время, что и TPU четвертого поколения), на котором работает ChatGPT от OpenAI. Однако компания не сравнивала последнюю версию TPU с нынешним флагманским NVIDIA H100 – поскольку чип появился на рынке чуть позже и производился по более новым технологиям.
Google намекнула, что работает над новым TPU, который будет конкурировать с NVIDIA H100, но не предоставила никаких подробностей.
В среду были обнародованы результаты и рейтинги общеотраслевого теста чипов для искусственного интеллекта под названием MLperf, и, по словам гендиректора NVIDIA Дженсена Хуанга, H100 показал значительно более быстрые показатели, чем чип предыдущего поколения.
«MLPerf подчеркивает, что H100 обеспечивает в 4 раза большую производительность, чем A100. Следующий уровень генеративного искусственного интеллекта требует новой инфраструктуры для обучения больших языковых моделей с высокой энергоэффективностью», — написал Хуанг в блоге.
Компьютеры, необходимые для обучения ИИ, стоят очень дорого, поэтому многие представители отрасли сосредоточились на разработке новых чипов, оптических соединений или программных технологий, которые снизят необходимый уровень мощности. А пока этим преимуществом пользуются такие облачные провайдеры, как Google, Microsoft и Amazon, у которых стартапы могут арендовать услуги по компьютерной обработке.