Генеративный искусственный интеллект часто ошибается, даже разработчики не рекомендуют их для создания кода программ. Чтобы проверить насколько, команда Университета Пердью в США провела исследование, передает TechSpot.
В общем ChatGPT задали 517 вопросов из Stack Overflow (популярный ресурс вопросов и ответов для профессиональных программистов и энтузиастов). Ответы оценивали не только по правильности, но и по последовательности, исчерпанности и лаконичности.
Инструмент OpenAI справился с задачей далеко не отлично. ChatGPT дал лишь 48% правильных ответов, а 77% описали как многословные. При этом стиль и качество определений часто убеждали волонтеров в правильности, хотя это было не так.
Мы заметили, что только тогда, когда ошибка в ответе ChatGPT очевидна, пользователи могут ее идентифицировать.
Однако когда ошибка более комплексная, требующая дополнительных знаний или изучения документации, пользователи часто не способны определить ошибку, или недооценивают ее степень.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно отдавали предпочтение ему из-за приятного, уверенного и позитивного тона ИИ. Его исчерпывающий и педагогический стиль написания также способствовали тому, что фактически неправильный ответ казался правильным.