Команда відстежуватиме, прогнозуватиме та захищатиме від небезпек майбутніх систем ШІ — починаючи з обману людей та завершуючи створенням шкідливого коду.
OpenAI створює окрему «групу готовності», яка вивчатиме «катастрофічні» ризики штучного інтелекту — фахівцями керуватиме директор Центру розгортання машинного навчання MIT Олександр Мадрі, який приєднався до компанії Сема Альтмана у травні.
Головні обов’язки команди — відстеження, прогнозування та захист від небезпек майбутніх систем штучного інтелекту, починаючи від їхньої здатності переконувати та обманювати людей (наприклад, у фішингу) до їхніх можливостей у створенні шкідливого коду. Водночас деякі категорії здаються дещо надуманими, як-от «хімічні, біологічні, радіологічні та ядерні» загрози, які, на думку OpenAI, викликають найбільше занепокоєння, коли це стосується моделей ШІ.
Паралельно OpenAI збирає ідеї від спільноти щодо досліджень ризиків, з призом у розмірі $25 000 та можливістю роботи в групі готовності для авторів 10 кращих заявок.
«Уявіть, що ми надали вам необмежений доступ до моделей OpenAI Whisper (транскрипція), Voice (текст-у-мовлення), GPT-4V і DALLE·3, а ви були зловмисником. Розглянемо найбільш унікальне, але ймовірне, потенційно катастрофічне, неправильне використання моделі», — йдеться в одному із запитань конкурсної роботи.
У OpenAI кажуть, що група готовності сформулює «політику розвитку з урахуванням ризиків», яка детально описуватиме підхід компанії до створення інструментів оцінки моделі штучного інтелекту та моніторингу, дії компанії щодо зменшення ризиків і її структуру управління для нагляду за процесом розробки моделі.
«Ми віримо, що моделі штучного інтелекту наявні зараз у найдосконаліших варіаціях, мають потенціал принести користь всьому людству. Але вони також створюють дедалі серйозніші ризики… Нам потрібно переконатися, що ми маємо розуміння та інфраструктуру, необхідні для безпеки високопродуктивних систем ШІ», — пише OpenAI.
Генеральний директор OpenAI Сем Альтман часто висловлював побоювання, що ШІ «може призвести до вимирання людства», а у травні разом з іншими дослідниками штучного інтелекту опублікував заяву з 22 слів про те, що «зменшення ризику зникнення через штучний інтелект повинно бути глобальним пріоритетом». Під час інтерв’ю в Лондоні він також припустив, що уряди повинні ставитися до ШІ «так само серйозно», як до ядерної зброї.