Знакомьтесь, CriticGPT — «учитель» ChatGPT, который будет искать ошибки в ответах чат-бота

Раздел Технологии выходит при поддержке Favbet Tech

«Двойку пока ставлю карандашом!»

OpenAI разработала отдельную модель CriticGPT, которая будет искать ошибки в ответах ChatGPT — изначально «учитель» сосредоточится на фрагментах кода и, как отмечается, станет лишь вспомогательным инструментом для специалистов-людей, которые будут проверять тексты чат-бота вручную.

CriticGPT, созданный на основе семейства языковых моделей GPT-4, дополнительно обучался на наборе образцов кода с намеренно вставленными ошибками и в первых тестах показал себя лучше людей в 63% случаев. Он якобы писал лучшую и более подробную критику, чаще снижая частоту так называемых галлюцинаций у чат-бота.

Во время обучения CriticGPT успешно находил как ошибки, вставленные намеренно людьми, так и ошибки, которые добавлял ChatGPT изначально.

Исследователи OpenAI также создали новую технику Force Sampling Beam Search (FSBS), которая помогает CriticGPT писать более подробные обзоры кода и может быть сбалансирована в зависимости от потребностей обучения модели-критика.

Интересно, что на одном из этапов эксперимента CriticGPT дали проверить ответы, которые люди ранее обозначили как идеальные — и он обнаружил ошибки в 24% случаев (впоследствии они были подтверждены рецензентами). OpenAI считает, что это демонстрирует потенциал модели для проверки задач, не связанных с кодом, и подчеркивает ее способность улавливать «самые тонкие ошибки», которые даже тщательная человеческая проверка может пропустить.

Несмотря на многообещающие результаты CriticGPT, как и все модели ИИ, имеет ограничения. Он тренировался на относительно коротких ответах ChatGPT, поэтому пока не готов к длинным и более сложным задачам.

Рада решила наказывать за написание научных работ с помощью ChatGPT

Раздел Технологии выходит при поддержке Favbet Tech

Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков.