Геймер создал рабочий ChatGPT в Minecraft: 5 млн параметров и 439 млн игровых блоков

Геймер створив робочий ChatGPT в Minecraft: 5 млн параметрів та 439 млн ігрових блоків

Разработчик и фанат Minecraft под ником Sammyuri представил проект под названием CraftGPT на GitHub. Это уникальная демонстрация инженерии на основе Minecraft Redstone: в игре он построил компьютер, способный запускать малую языковую модель, натренированную на наборе данных TinyChat.

Масштабы впечатляют: конструкция состоит из 1020×260×1656 блоков (всего 439 млн блоков). И CraftGPT действительно работает, но есть один весомый недостаток — ответа придётся ждать несколько часов.

На видео, демонстрирующем этот гигантский компьютер в игре, использован мод Distant Horizons, который позволил снять «полет» над всей конструкцией. Однако даже при такой масштабной реализации, CraftGPT, конечно, не может заменить реальные языковые модели или коммерческие чат-боты. Sammyuri честно предупреждает:

«Модель часто сбивается с темы, может писать грамматически неверные предложения или вообще выдавать бессмысленный текст».

Как работает CraftGPT внутри Minecraft

Редстоун в Minecraft позволяет создавать логические и электронные компоненты. Проект CraftGPT включает токенайзеры, матричные множители и другие модули, при этом он построен без командных блоков или дата-паков. Sammyuri объясняет, что эта малая языковая модель имеет:

5 087 280 параметров, натренированных в Python на датасете TinyChat (короткие англоязычные диалоги);
встроенный размер — 240;
словарь на 1920 токенов;
6 слоев в структуре;
контекстное окно — 64 токена, чего хватает только для очень коротких диалогов;
большинство весов квантизированы до 8 бит, но embedding и LayerNorm сохраняют веса в 18 и 24 битах соответственно.

Главный недостаток CraftGPT — это скорость работы. Хотя для ускорения вычислений использован MCHPRS (Minecraft High Performance Redstone Server), поднявший tick rate (количество раз в секунду, с которым игровой сервер обновляет состояние игры) примерно в 40 тыс. раз, даже этого хватает только для очень медленной работы.

Обычно ответ на простой запрос занимает около двух часов. Это делает CraftGPT скорее научно-техническим экспериментом, чем реально полезным инструментом.

Ранее в Minecraft, которая уже разошлась тиражом в более чем 300 млн копий, уже создавали уникальные Redstone-процессоры, среди которых 16-битные CPU и проект IRIS Computer, который даже запускал DOOM (1993) прямо в игре. CraftGPT добавляет к этой истории еще один впечатляющий пример инженерной фантазии геймеров.

Напомним, это не первая реализация ИИ в Minecraft. Ранее Microsoft внедрила Copilot в игру.

Источник: tomshardware