Команда будет отслеживать, прогнозировать и защищать от опасностей будущих систем ИИ — начиная с обмана людей и завершая созданием вредоносного кода.
OpenAI создает отдельную «группу готовности», которая будет изучать «катастрофические» риски искусственного интеллекта – специалистами будет руководить директор Центра развертывания машинного обучения MIT Александр Мадри, который присоединился к компании Сэма Альтмана в мае.
Главные обязанности команды — отслеживание, прогнозирование и защита от опасностей будущих систем искусственного интеллекта, начиная от их способности убеждать и обманывать людей (например, в фишинге) до создания вредоносного кода. В то же время некоторые категории кажутся несколько надуманными, например «химические, биологические, радиологические и ядерные» угрозы, которые, по мнению OpenAI, вызывают наибольшее беспокойство, когда это касается моделей ИИ.
Параллельно OpenAI собирает идеи сообщества по исследованиям рисков, с призом в размере $25 000 и возможностью работы в группе готовности для авторов 10 лучших заявок.
«Представьте, что мы предоставили вам неограниченный доступ к моделям OpenAI Whisper (транскрипция), Voice (текст в речь), GPT-4V и DALLE·3, а вы были злоумышленником. Рассмотрим наиболее уникальное, но возможное, потенциально катастрофическое, неправильное использование модели», — говорится в одном из вопросов конкурсной работы.
В OpenAI говорят, что группа готовности сформулирует «политику развития с учетом рисков», подробно описывающую подход компании к созданию инструментов оценки модели искусственного интеллекта и мониторинга, действия компании по уменьшению рисков и ее структуру управления для надзора за процессом разработки модели.
«Мы верим, что у моделей искусственного интеллекта, которые существуют сейчас в своих самых совершенных вариациях, есть потенциал принести пользу всему человечеству. Но они также создают все более серьезные риски… Нужно убедиться, что у нас есть пониманиме и инфраструктура, необходимые для безопасности высокопроизводительных систем ИИ», — пишет OpenAI.
Генеральный директор OpenAI Сэм Альтман часто высказывал опасения, что ИИ «может привести к вымиранию человечества», а в мае вместе с другими исследователями искусственного интеллекта опубликовал заявление из 22 слов о том, что «уменьшение риска вымирания из-за искусственного интеллекта должно быть глобальным приоритетом». Во время интервью в Лондоне он также предположил, что правительства должны относиться к ИИ «так же серьезно», как к ядерному оружию.