Накануне изгнания генерального директора OpenAI Сэма Альтмана (на четыре дня) несколько штатных исследователей написали письмо совету директоров, предупредив о мощном открытии в технологиях искусственного интеллекта, которое, по их словам, может угрожать человечеству, рассказали Reuters два анонимных источника.
По словам собеседников, письмо, о котором ранее не сообщалось, и новый алгоритм ИИ стали ключевыми событиями перед тем, как совет директоров уволил Альтмана. До его возвращения во вторник большинство из 700+ сотрудников угрожали уволиться и присоединиться к Microsoft в знак солидарности со своим уволенным лидером.
Источники ссылаются на письмо как один из факторов среди более длинного списка претензий совета директоров, что привели к увольнению Альтмана, среди которых были опасения относительно коммерциализации достижений еще до понимания последствий. Reuters не смогло ознакомиться с копией письма.
Во внутреннем сообщении для сотрудников было признано, что проект под названием Q* и письмо правления были написаны к событиям выходных, сказал один из сотрудников. Некоторые OpenAI считают, что Q* (произносится как Q-Star) может стать прорывом в поисках стартапом так называемого искусственного общего интеллекта (AGI). OpenAI определяет AGI как автономные системы, превосходящие человека в выполнении большинства экономически ценных задач.
Имея огромные вычислительные ресурсы, новая модель смогла решить некоторые математические задачи, сказал собеседник на условиях анонимности, поскольку он не был уполномочен говорить от имени компании. Успешное прохождение таких тестов вселило в исследователей оптимизм по поводу будущих успехов Q*.
Исследователи считают математику пределом развития генеративного ИИ. Пока генеративный искусственный интеллект хорошо справляется с письмом и переводом, статистически предполагая следующее слово, а ответы на один и тот же вопрос могут сильно отличаться. Но завоевание способности к математике, где есть только один правильный ответ, означает, что ИИ будет иметь большие возможности для соображений, подобных человеческому интеллекту. Это применимо, например, в новых научных исследованиях, считают исследователи ИИ.
В отличие от калькулятора, который может выполнять ограниченное количество сделок, AGI может обобщать, учиться и осмысливать. В своем письме совету исследователи подчеркнули совершенство ИИ и его потенциальную опасность, сообщили источники, не уточняя, о каких именно проблемах безопасности говорится в письме. Среди компьютерных ученых уже давно идут дискуссии об опасности, которую представляют высокоинтеллектуальные машины, например, могут ли они решить, что в их интересах есть уничтожение человечества. Классический сюжет научно-фантастической литературы.