В сервисе LMSYS Chatbot Arena обновился рейтинг больших языковых моделей искусственного интеллекта. Он позволяет оценить, какие модели сейчас лучше всего справляются со своими задачами.
LMSYS Chatbot Arena — это краудсорсинговая открытая платформа для оценки больших языковых моделей (LLM). Для составления рейтинга оцениваются более 300 тыс. человеческих отзывов о работе моделей по системе рейтинга Эло.
Как работает тест — люди вводят запрос и выбирают лучший ответ из нескольких вариантов от разных моделей. На основе тысяч пользовательских тестов формируется и ранжируется топ.
Как показывает новый рейтинг чатбот-арены, лидером среди LLM в настоящее время является GPT4. Недавние утверждения Claude, что их модель лучше, не подтвердились. Она заняла третье место. Сразу за ней расположилась модель Bard (Gemini Pro) от Google. Все эти модели получили рейтинг Эло более 1200.
Ознакомиться с подробными актуальными результатами ранжирования имеющихся больших языковых моделей можно по следующему адресу.