Искусственный интеллект компании OpenAI вновь оказался сильнее человека. Команда ботов OpenAI Five выиграла у действующих чемпионов мира по Dota 2 – OG.
Шоу-матч состоялся в ночь с 13 на 14 апреля в Сан-Франциско. Боты победили со счётом 2:0 в серии до двух побед. Команда OG состояла из пятёрки лучших профессиональных игроков, которые в прошлом году заняли первое место в турнире The International 2018 по Dota 2. Команда ботов OpenAI Five интенсивно тренировалась в течение полугода, используя одни и те же методы обучения с подкреплением и контролировалась на разных уровнях одной и той же системы. Это метод проб и ошибок на пути к самосовершенствованию, при котором ИИ попадает в игровую среду с нулевым пониманием того, как это работает, но выполняет задачи за счёт использования системы вознаграждений и других стимулирующих механизмов.
Эта игра – безусловно, самая качественная демонстрация возможностей OpenAI Five на текущий момент. В компании отметили, что они не программировали ботов играть в Dota 2, а лишь показали, как можно научиться. Благодаря глубокому обучению и ускоренному режиму OpenAI Five наиграл 45 тыс. лет за 10 месяцев. Тем не менее в матче с OG были некоторые ограничения, например, только 17 персонажей и запрет на некоторые предметы, иллюзии и существа, которым боты ещё не обучились. OpenAI также настояла на режиме Captain’s Draft, который позволяет каждой команде запрещать персонажей из ограниченного списка, чтобы другая команда не смогла их выбрать.
В первом матче OpenAI Five заявили о победе, используя несколько агрессивных тактик, одной из которых было решение потратить заработанную игровую валюту для воскрешения персонажей после смерти сразу же в начале матча. Зачастую OpenAI предпочитает стратегии, которые способствуют краткосрочной выгоде. Люди, напротив, полагаются на стратегию долгосрочного планирования. Однако в этом случае команда OpenAI Five получила преимущество, которое команда OG так и не смогла преодолеть.
Во втором матче боты использовали полученное в первые минуты преимущество для агрессивных атак против людей, завершив игру убедительной победой.
Для OpenAI эта победа доказывает, что подход к обучению с подкреплением даёт результаты. Компания больше не планирует проводить публичные демонстрации возможностей своих ботов и сосредоточится над созданием программного обеспечения, которое позволит людям совместно работать с OpenAI Five в режиме реального времени. Компания также запускает платформу OpenAI Five Arena, где все желающие могут сыграть против ботов в течение трёх дней, начиная с 18 апреля.
Источник: The Verge