Компьютерная команда OpenAI Five, разработанная некоммерческой организацией OpenAI специально для чемпионата The International 2018, все-таки обыграла команду профессиональных игроков в Dota 2 в двух из трех матчей в классическом режиме 5 на 5. Причем одну единственную победу игроки одержали благодаря помощи зрителей. За противостоянием машин и людей в одной из сложнейших видеоигр современности можно было наблюдать в прямом эфире на Twitch, в конце заметке по ссылке вы найдете видеозапись трансляции.
Напомним, что о разработке OpenAI Five исследовательская лаборатория OpenAI, созданной при участии Илона Маска, объявила еще в прошлом году после того, как ее бот в одиночном режиме в рамках прошлогоднего турнира The International 2017 победил профессиональных игроков Данила Ишутина, Артура Бабаева и Сайеда Хасана. В конце июня 2018 года исследователи отрапортовали о том, что им удалось научить своих ботов играть в Dota 2 на уровне профессиональных игроков.
Нынешняя победа OpenAI Five, которая, по сути, представляет собой команду из пяти нейросетей, в классическом командном матче стала результатом тысяч виртуальных лет тренировок. В частности, исследователи использовали популярный метод обучения с подкреплением (reinforcement learning), о котором мы уже рассказывали в предыдущей новости о ботах Google DeepMind, которые уже свободно обыгрывают людей в Quake 3 Arena.
Напомним, reinforcement learning отличается от классического машинного обучения тем, что в данном случае ИИ обучается в процессе взаимодействия с окружающей средой сам, методом проб и ошибок.
Во время тренировок боты OpenAI Five играют сами с собой и с прошлыми версиями себя. За один обычный астрономический день каждая из пяти нейросетей симулирует 180 лет игры. То есть, выходит по 900 лет на команду в день. Понятно, что для этого требуются огромные ресурсы. Собственно, в рамках проекта исследователи использовали суперкомпьютер, состоящий из 128 тысяч процессорных ядер и 256 видеокарт.
К этому матчу ботов готовили на протяжении нескольких месяцев. Соперником OpenAI Five выступила команда из пяти профессиональных игроков, а точнее трех бывших (Бен «Merlini» Ву, Уильям «Blitz» Ли и Иоаннис «Fogged» Лукас), одного действующего игрока (Дэвид «MoonMeander»Тан) и профессионального комментатора (Остин «Capitalist» Уолш).
Что касается помощи зала, для последнего матча персонажей для ботов подбирали зрители и здесь у ботов не срослось с командной игрой. Немаловажно, что игра прошла по нестандартным турнирным правилам: список доступных персонажей ограничили 18 (из всех 113), а некоторые уникальные предметы, навыки и прочие усложняющие аспекты попросту отключили. С другой стороны, у ботов отобрали самое главное преимущество – умение принимать решения очень быстро. Время реакции увеличили с 80 миллисекунд до привычных человеческих 200 мс. Но результат все равно впечатляет, учитывая, что еще в мае-июне OpenAI Five могла обыгрывать лишь любителей.
Теперь исследователи хотят выставить OpenAI Five против лучших из лучших игроков Dota 2, которые съедутся на финал турнира The International 2018 в конце этого месяца.
Источник: The Verge, Twitch (OpenAI) и OpenAI blog