Depositphotos
Результаты исследования ученых из Базельского и Невшательского университетов в Швейцарии продемонстрировали, что Большие языковые модели на базе ИИ до сих пор плохо имитируют людей.
По словам одного из авторов исследования Лукаса Биетти, LLM общаются не так, как люди. Ученые протестировали ChatGPT-4, Claude Sonnet 3.5, Vicuna и Wayfarer.
Сначала они независимо друг от друга сравнили расшифровки телефонных разговоров между людьми с имитацией разговоров между Большими языковыми моделями. Далее они проверили, могут ли люди отличить телефонные разговоры от общения между LLM.
Результаты показали, что большинство участников без проблем различали разговоры между людьми и ИИ. Как объясняют исследователи, во время разговора между людьми присутствует определенная доля подражания, поскольку люди преимущественно адаптируют слова под собеседника, однако она обычно довольно тонкая, чтобы ее уловить. LLM слишком склонны к подражанию и люди это различают. Это называется чрезмерным выравниванием.
В фильмах с плохо прописанным сценарием диалоги часто звучат искусственно. В таких случаях сценаристы не слишком заботятся о реалистичности, ограничиваясь лишь необходимыми содержательными словами.
В реальных повседневных разговорах большинство людей преимущественно используют короткие слова, называемые «дискурсивными маркерами». Это такие слова, как «да», «ну», «как бы», «в любом случае». Эти слова выполняют определенную социальную функцию, сигнализируя о заинтересованности, принадлежности, отношении или значении для другого человека. LLM до сих пор плохо ориентируются в использовании этих слов, употребляя их по разному и часто неправильно. Это помогает людям различать их.
Прежде чем перейти к сути, люди обычно начинают с каких-то отстраненных вещей, типа «Привет», «Как дела», «Приятно тебя видеть». Разговор может начаться с чего-то незначительного, прежде чем перейти к конкретному вопросу. Такие переходы также остаются сложными для LLM.
То же самое касается и завершения разговора. Мы обычно не обрываем разговор резко, как только передали информацию собеседнику. LLM также плохо справляются с этим.
«Современные большие языковые модели пока что неспособны достаточно хорошо имитировать людей, чтобы постоянно обманывать нас. Усовершенствования в больших языковых моделях, скорее всего, позволят сократить разрыв между человеческим и искусственным общением, но ключевые различия, вероятно, сохранятся», — подытоживает Лукас Биетти.
Результаты исследования опубликованы в журнале Cognitive Science
Источник: TechXplore
Контент сайту призначений для осіб віком від 21 року. Переглядаючи матеріали, ви підтверджуєте свою відповідність віковим обмеженням.
Cуб'єкт у сфері онлайн-медіа; ідентифікатор медіа - R40-06029.