Исследователи из Кембриджского университета и организации Good AI, которая занимается созданием методов оценивания возможностей искусственного интеллекта, объявили о намерении провести конкурс Animal-AI Olympics с целью сравнить когнитивные способности современных алгоритмов с интеллектом животных, а также понять, как далеко технологии ИИ продвинулись в работе с обобщениями на основе предыдущего опыта и планированием действий.
Как сообщается, в рамках конкурса цифровым ИИ-агентам необходимо будет выполнить в виртуальных средах, созданных с помощью Unity ML-Agents Toolkit, ряд манипуляций с предметами, ориентируясь на предыдущий опыт. По словам организаторов, всего будет около 50 заданий. Их описания исследователи не раскрывают, но отмечают, что испытания будут основаны на существующих тестах для оценки когнитивных способностей животных, позволяющих понять, действительно ли животное осознает свои действия или просто повторяет заученную последовательность шагов.
Пример такого теста
В классическом эксперименте по добыче пищи перед животным ставится две перевернутые чашки, причем под одну чашку кладется еда. Задача животного — достать пищу. Сначала человек кладет еду под одну и ту же чашку каждый раз (можно назвать ее чашкой А), что эквивалентно фазе тренировки при обучении ИИ. Затем, в заключительной части испытания, экспериментатор кладет еду под чашку А, после чего вынимает ее и очень заметно перекладывает под чашку В. Часть животных (например, шимпанзе) пойдут сразу к чашке В, но многие по-прежнему перевернут чашку А, потому что выучили задачу через запоминание.
Некоторые примеры сред и задач, которые могут встретиться в ходе конкурса, запечатлены на видео, опубликованном организаторами:
Исследователи отмечают, что они не ожидают «идеальных» результатов, поскольку текущие возможности ИИ весьма ограничены. Однако даже небольшие успехи покажут, что искусственный интеллект в принципе способен не только находить полезные шаблоны в данных, но также обобщать их и экстраполировать на понимание того, как устроен мир.
Подробную информацию о конкурсе организаторы опубликуют в апреле. Старт конкурса назначен на июнь, тогда же будут опубликованы учебные среды с большим количеством объектов для обучения агентов. Призовой фонд Animal-AI Olympics составит $10 000. Результаты конкурса планируется подбить в декабре 2019.