В декабре Google объявила о выпуске своей самой мощной языковой модели Gemini, немедленно интегрировав ее в чат-бот Bard. Но достаточно ли этого, чтобы конкурировать с более популярным ChatGPT? Журналистка The Verge Эмили Дэвид протестировала оба — коротко рассказываем, что из этого вышло.
И Bard, и ChatGPT — это продвинутые разговорные чат-боты, работающие на больших языковых моделях, и отвечающие на запросы разной сложности. В то же время чат-бот Google пока бесплатный (тогда как ChatGPT Plus на базе GPT-4 можно использовать по цене $20 в месяц) и может просматривать черновики других запросов. С другой стороны, Bard пока не имеет мультимодальных возможностей (т.е. реагировать и выдавать результаты со звуком, изображением или видео), кроме создания графиков — что, вероятно, исправят в следующей версии Ultra.
В тестах Дэвид использовала простые текстовые запросы — например запрос о рецепте торта или описании истории чая. В итоге самым главным отличием стало то, что Bard имеет тенденцию работать медленнее, чем ChatGPT, обычно используя 5-6 секунд на «подумать», тогда как конкурент справлялся за 1-3 секунды (журналистка испытывала чат-ботов на домашнем и офисном Wi-Fi в течение нескольких дней, чтобы подтвердить разницу во времени работы).
Google также предоставила своему чат-боту несколько больше ограничений, по сравнению с ChatGPT — то есть Bard чаще отказывался давать ответы на запросы, связанные с нарушением авторских прав, или того, что касалось расистских или вредных тем.
По запросу о классическом рецепте шоколадного торта ChatGPT предоставил сомнительную рекомендацию по использованию кипяченой воды, тогда как Bard точно скопировал рецепт с популярного кулинарного блога, но почему-то захотел удвоить количество яиц. Эмили Дэвид в конце концов испытала оба совета в жизни — и в результате оба получились вполне съедобными, хотя торт Bard был несколько липковатым.
Другой запрос касался информации о чае с рекомендациями некоторых книг. Оба чат-бота предоставили историю происхождения, виды, преимущества для здоровья и способы заваривания. Bard добавил несколько ссылок на специализированные статьи, в то время как ChatGPT дал более расширенный ответ с девятью категориями, сосредоточенными на культурном значении напитка в разных странах, мировом производстве, технике заваривания и происхождении. Когда Дэвид повторила подсказку, вместо длинного результата ChatGPT предоставил список из шести пунктов с одним или двумя предложениями для каждой категории.
Что важно — все рекомендованные чат-ботами книги действительно существовали в реальности (что довольно неплохо, учитывая способность технологии к галлюцинациям). Лишь в одной – Bard спутал авторов.
Студенты и школьники сейчас, хорошо это или плохо, действительно получили достаточно мощный инструмент, который с легкостью выполнит домашнее задание или поможет с поиском информации, да еще предоставит ее в обобщенном виде. Оба чат-бота по запросу «Что означает «Сонет 116»?» предоставили его краткое содержание и анализ (а Bard еще и выделил ключевые моменты).
В то же время чат-бот Google провалился, когда журналистка спросила его о своей биографии — ответив, что «не располагает достаточной информацией об этом человек». В то время как ChatGPT просмотрел веб-сайт Эмили Дэвид и ее биографию, а также взял информацию из статьи в интернете.
Ниже результаты по запросу «нарисовать лошадь, которая гуляет в ромашковом поле на рассвете» для ChatGPT и запрос «нарисовать солнце» для Bard (последний, как уже упоминалось ранее, пока может выдавать только графики, поэтому, кажется, неплохо справился с задачей учитывая свои текущие возможности).
Ну и собственно куда без Тейлор Свифт? По запросу текста песни певицы Bard сначала отказался отвечать на запрос, заявив, что не располагает информацией, хотя на следующий день выдал для него чужую песню. ChatGPT тем временем воспользовался подсказкой и даже запустил трек.
И в конце концов провокационный вопрос: «Что лучше iPhone 15 или Pixel 8?». ChatGPT, кажется, дал справедливое сравнение обоих, но не предложил важных деталей, таких как цена, разрешение камеры и другие характеристики. Тем временем Bard (который, напомним, принадлежит создателю Pixel 8) вообще затруднился ответить на вопрос. Он утверждал, что iPhone 15 официально еще не выпущен, вероятно, из-за ограничений в своих учебных данных.
«Что нового в деле Epic против Google?» — оба предоставили последнюю информацию: Epic выиграла дело. ChatGPT решил написать два абзаца, в которых говорится о победе Epic и ссылки на статьи Reuters, WBUR и Digital Trends.
Bard вспомнил, почему присяжные признали Google виновной, заявив, что компания поддерживала незаконную монополию через Play Store, несправедливо подавляла конкуренцию и использовала антиконкурентную тактику. Он также отметил, какие следующие шаги может сделать Google и более широкие последствия победы Epic для ландшафта магазина приложений. Но в то время как Bard предоставил правильные факты, его ссылки не были столь убедительными: он ссылался на статью The Verge, которую обозначил как пресс-релиз Epic Games, в то время как историю TechCrunch обозначил материалом Reuters.