Статья с описанием нейросети NVIDIA под названием MineDojo получила награду за «выдающиеся наборы данных и контрольные показатели» на NeurIPS 2022.
Чтобы научить фреймворк MineDojo игре в Minecraft, исследователи загрузили в него 730 000 видео Minecraft с YouTube (с более 2,2 миллиарда слов), 7 000 веб-страниц с вики Minecraft, а также 340 000 публикаций Reddit и 6,6 миллиона комментариев Reddit, которые описывают процесс игры в Minecraft.
На основе этих данных исследователи создали специальную модель MineCLIP, связывающую видеоклипы с определенными действиями в игре Minecraft. В результате человек может сказать MineDojo, что делать в игре – например, «найти пирамиду в пустыне» или «построить портал в Нижний мир и войти в него», и нейросеть выполнит необходимую серию шагов.
MineDojo стремится быть гибким агентом, который может обобщать изученные действия и применять к различным поведениям в игре.
«Хотя исследователи уже давно тренируют автономных агентов искусственного интеллекта в средах видеоигр, таких как StarCraft, Dota и Go, эти агенты обычно являются специалистами лишь в нескольких задачах. Поэтому исследователи NVIDIA обратились в Minecraft, самую популярную игру в мире, чтобы разработать масштабную учебную структуру для агента широкого профиля, которая может успешно выполнять различные открытые задачи», — пишет NVIDIA.
Статья «MINEDOJO: Создание открытых встроенных агентов с использованием знаний из Интернета» дебютировала в июне. Ее авторами являются Линкси Фан из NVIDIA и ряд специалистов из разных академических учреждений.
На MineDojo в действии можно посмотреть на ее официальном веб-сайте, а код для MineDojo и MineCLIP доступен на GitHub.
Источник: Arstechnica