Геймер створив робочий ChatGPT в Minecraft: 5 млн параметрів та 439 млн ігрових блоків

Розробник та фанат Minecraft під ніком Sammyuri представив проєкт під назвою CraftGPT на GitHub. Це унікальна демонстрація інженерії на основі Minecraft Redstone: у грі він побудував комп’ютер, здатний запускати малу мовну модель, натреновану на наборі даних TinyChat.

Масштаби вражають: конструкція складається з 1020×260×1656 блоків (разом 439 млн блоків). І CraftGPT дійсно працює, але є один вагомий недолік — на відповідь доведеться чекати кілька годин.

На відео, яке демонструє цей гігантський комп’ютер у грі, використано мод Distant Horizons, що дозволив зняти “політ” над усією конструкцією. Проте навіть при такій масштабній реалізації, CraftGPT, звісно, не може замінити реальні мовні моделі чи комерційні чат-боти. Sammyuri чесно попереджає:

Як працює CraftGPT всередині Minecraft

Redstone у Minecraft дозволяє створювати логічні та електронні компоненти. Проєкт CraftGPT включає токенайзери, матричні множники та інші модулі, при цьому він побудований без командних блоків чи дата-паків. Sammyuri пояснює, що ця мала мовна модель має:

• 5 087 280 параметрів, натренованих у Python на датасеті TinyChat (короткі англомовні діалоги);
• вбудований розмір — 240;
• словник на 1920 токенів;
• 6 шарів у структурі;
• контекстне вікно — 64 токени, чого вистачає лише для дуже коротких діалогів;
• більшість ваг квантизовані до 8 біт, але embedding та LayerNorm зберігають ваги у 18 та 24 бітах відповідно.

Головний недолік CraftGPT — це швидкість роботи. Хоча для пришвидшення обчислень використано MCHPRS (Minecraft High Performance Redstone Server), що підняв tick rate (кількість разів на секунду, з якою ігровий сервер оновлює стан гри) приблизно у 40 тис. разів, навіть цього вистачає лише для дуже повільної роботи.

Зазвичай відповідь на простий запит займає близько двох годин. Це робить CraftGPT радше науково-технічним експериментом, аніж реально корисним інструментом.

Раніше в Minecraft, яка вже розійшлася тиражем у понад 300 млн копій,  уже створювали унікальні Redstone-процесори, серед яких 16-бітні CPU та проєкт IRIS Computer, який навіть запускав DOOM (1993) прямо у грі. CraftGPT додає до цієї історії ще один вражаючий приклад інженерної фантазії геймерів.

Нагадаємо, це не перша реалізація ШІ у Minecraft. Раніше Microsoft впровадила Copilot у гру.

Джерело: tomshardware