«Двійку поки ставлю олівцем!» (c)
OpenAI розробила окрему модель CriticGPT, яка шукатиме помилки у відповідях ChatGPT — початково «вчитель» зосередиться на фрагментах кода і, як зазначається, стане лише допоміжним інструментом для фахівців-людей, що перевірятимуть тексти чатбота вручну.
CriticGPT, створений на основі сімейства мовних моделей GPT-4, додатково навчався на наборі зразків коду із навмисно вставленими помилками й у перших тестах показав себе кращим за людей у 63% випадків. Він нібито писав кращу та детальнішу критику, частіше знижуючи частоту так званих галюцинацій у чатбота.
Під час навчання CriticGPT успішно знаходив як помилки, вставлені навмисно людьми, так і помилки, які додавав ChatGPT початково.
Дослідники OpenAI також створили нову техніку Force Sampling Beam Search (FSBS), яка допомагає CriticGPT писати більш детальні огляди коду і може бути збалансована залежно від потреб навчання моделі-критика.
Цікаво, що на одному з етапів експерименту CriticGPT дали перевірити відповіді, які люди раніше позначили як ідеальні — і він виявив помилки у 24% випадків (згодом їх підтвердили рецензенти). OpenAI вважає, що це демонструє потенціал моделі для перевірки завдань, не пов’язаних з кодом, і підкреслює її здатність вловлювати «найтонші помилки», які навіть ретельна людська перевірка може пропустити.
Попри перспективні результати CriticGPT, як і всі моделі ШІ, має обмеження. Він тренувався на відносно коротких відповідях ChatGPT, тож поки не готовий до довгих та складніших завдань.
Рада вирішила карати за написання наукових робіт з допомогою ChatGPT
Favbet Tech – це ІТ-компанія зі 100% украінською ДНК, що створює досконалі сервіси для iGaming і Betting з використанням передових технологіи та надає доступ до них. Favbet Tech розробляє інноваційне програмне забезпечення через складну багатокомпонентну платформу, яка здатна витримувати величезні навантаження та створювати унікальний досвід для гравців.
Повідомити про помилку
Текст, який буде надіслано нашим редакторам: