Одним из самых больших недостатков чатботов на основе искусственного интеллекта являются так называемые «галлюцинации», когда ИИ выдумывает недействительную информацию, то есть фактически лжет. Некоторые эксперты говорят, что это одна из интересных особенностей ИИ, и это может быть полезным для генеративныхх моделей, которые создают изображения и видео. Но не для речевых моделей, которые дают ответы на вопросы пользователей, рассчитывающих на точные данные.
Лаборатория Google DeepMind и Стэнфордский университет, похоже нашли обходной путь для решения проблемы. Исследователи разработали систему проверки для больших языковых моделей искусственного интеллекта: Search-Augmented Factuality Evaluator, или SAFE проверяет длинные ответы, созданные чатботами ИИ. Их исследования доступны как препринт на arXiv вместе со всем экспериментальным кодом и наборами данных.
Система анализирует, обрабатывает и оценивает ответы в четыре шага, чтобы проверить их точность и соответствие. Сначала SAFE разбивает ответ на отдельные факты, просматривает их и сравнивает с результатами поиска Google. Система также проверяет релевантность отдельных фактов предоставленному запросу.
Чтобы оценить производительность SAFE, исследователи создали LongFact, набор данных из примерно 16 000 фактов. Затем они испытали систему на 13 крупных языковых моделях из четырех различных семейств (Claude, Gemini, GPT, PaLM-2). В 72% случаев SAFE давала те же результаты, что и проверка людьми. В случаях несогласия с результатами ИИ SAFE была права в 76% случаев.
Исследователи утверждают, что использование SAFE в 20 раз дешевле, чем проверка людьми. Таким образом, решение оказалось экономически жизнеспособным и пригодным к масштабированию. Существующие подходы к оценке соответствия контента, созданного моделью, обычно полагаются на непосредственную человеческую оценку. Несмотря на ценность, этот процесс ограничен субъективностью и изменчивостью человеческого суждения и проблемами масштабируемости применения человеческого труда к большим наборам данных.
Источник: Marktechpost