Новости Технологии 05.04.2023 в 18:09 comment views icon

Подрядчики Google наугад оценивают ответы Bard из-за ограничений во времени для тестирования — Insider

author avatar
https://itc.ua/wp-content/uploads/2022/09/Katya-96x96.jpg *** https://itc.ua/wp-content/uploads/2022/09/Katya-96x96.jpg *** https://itc.ua/wp-content/uploads/2022/09/Katya-96x96.jpg

Катерина Даньшина

Автор новостей

Раздел Технологии выходит при поддержке Favbet Tech

Сотрудники фирмы Appen помогают усовершенствовать чат-бот Google, а среди их основных задач – проверка текстов Bard на соответствие подсказкам пользователей. Однако работы настолько много, что некоторые ставят оценки наугад.

Чат-бот Bard был запущен компанией Google в марте – в ответ на популярность ChatGPT от OpenAI. Сначала технологию вручную тестировали сотрудники подразделений техногиганта, а ныне эту задачу передали фирме Appen. Эти подрядчики обычно оценивали поисковые алгоритмы Google и релевантность объявлений, размещенных в результатах поиска, а также обозначали вредоносные сайты, чтобы они не появлялись в результатах поиска.

Специалистам по оценке не сообщали название тестируемого инструмента – но внутренняя переписка на эту тему началась примерно 7 февраля, когда Google впервые анонсировала Bard.

Документы, полученные изданием Insider, содержат инструкции для оценки качества ответов теоретического чат-бота с ИИ. По словам четырех тестировщиков, с которыми пообщались журналисты, с января вся работа компании в основном была сосредоточена на просмотрах подсказок и ответов ИИ. Сотрудники компании пожаловались, что им выделяют слишком мало времени на процесс оценивания, поэтому иногда приходится делать это наугад, чтобы получить обещанные деньги.

Bard критиковали еще во время публикации его промо – в нем чат-бот дал неправильный ответ, чем спровоцировал масштабное падение акций Alphabet. Впоследствии вице-президент Google Search Прабхакар Рагхаван направил электронное письмо сотрудникам, попросив их вручную переписать ответы чат-бота.

Как проходит процесс оценивания

В документе с инструкциями говорится, что тестировщики получат «подсказку от пользователя (например, вопросы, инструкцию, заявление) вместе с двумя потенциально созданными машиной ответами, из которых сотрудник должен выбрать лучший. Тестировщики могут уточнить в текстовом поле, почему сделали такой выбор, что поможет чат-боту узнать, какие атрибуты искать в приемлемых ответах. Ответы должны быть последовательными и точными, а также основываться на актуальной информации.

Онлайн-курс "Нотації BPMN" від Laba.
Опануйте мову BPMN для візуалізації бізнес-процесів, щоб впорядкувати хаос у них.Після курсу ви точно знатимете, що саме обрати для розв’язання завдань вашого бізнесу.
Дізнатись більше

На выполнение задания выделяют разное время – от 60 секунд до нескольких минут. Но работники говорят, что им трудно быстро оценить ответ, в котором они не разбираются – например, если он касается технических вопросов, таких как блокчейн.

«Три часа исследования для выполнения 60-секундной задачи – это отличный способ сформулировать проблему, с которой мы сейчас сталкиваемся», – сказал один из работников.

Условия работы для подрядчиков Google

Подрядчики, работающие на Google через аутсорсинговые фирмы, все чаще агитируют за лучшие условия труда. В феврале тестировщики посетили Googleplex, чтобы передать петицию Прабхакару Рагхавану с просьбой повысить зарплату.

Тестировщики, работающие через Appen, зарабатывают от $14 до $14,50 в час – несмотря на то, что поддерживают бизнес, который получает большую часть дохода от поиска и рекламы. Профсоюз работников Alphabet поддерживает их и помогает в активных действиях, но официально не представляет и не ведет переговоры по заключению коллективного договора.

В Google работают более 200 000 подрядчиков, которые не входят в официальное количество сотрудников компании.

  • С 21 марта Google открыла ограниченный доступ к Bard — пока только для пользователей из США и Великобритании, которые могут записаться в список ожидания на сайте. Сообщается, что чат-бот имеет похожий на ChatGPT интерфейс, но генерирует сразу по три ответа на запрос. Под каждым — светится кнопка «Google It», которая перенаправляет пользователей в поиск Google с соответствующими результатами.
Раздел Технологии выходит при поддержке Favbet Tech

Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков. IT-компания входит в группу компаний FAVBET.


Loading comments...

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: