Виявляється, чатботи ШІ, як ChatGPT, вкрай чутливі до орфографії. Це з’ясувалося під час дослідження медичних чатів ШІ.

Дослідники MIT зазначають, що чатбот зі штучним інтелектом частіше порадить пацієнту не звертатися за медичною допомогою, якщо його повідомлення містять друкарські помилки. Йдеться про дуже незначні ляпи, як зайвий пробіл між словами.

Також на поради медичних ботів впливає використання сленгу чи барвистої лексики. Дослідження виявило, що жінки непропорційно частіше страждають від цього, і їм частіше помилково радять не звертатися до лікаря, ніж чоловікам. Щобільше, упередженість у запити, або навіть тон може ледь помітно, але цілком відчутно змінити пораду.

Поки не рецензоване дослідження, опубліковане на ACM, посилює сумніви щодо використання моделей штучного інтелекту у лікарнях. Медичні заклади вже використовують чатботи для планування приймання пацієнтів, розподілення їх на основі запитів та як порадників у польових у мовах. Звичайні люди, як правило, погано пояснюють свої відчуття, а у деяких ситуаціях просто фізично не можуть зробити це адекватно. Пацієнти можуть вагатися та вживати слова, як «можливо» та «нібито», що також впливає на відповідь.

Науковці оцінили кілька моделей, серед яких GPT-4 від OpenAI, LLama-3-70b з відкритим кодом від Meta та медичний ШІ Palmyra-Med. Вони змоделювали тисячі випадків з використанням комбінацій реальних опитувань пацієнтів, публікацій про здоров’я на Reddit та деяких випадків, згенерованих ШІ. Перш ніж передати ці дані моделям, до них додали названі вище варіації, щоб дослідити реакцію ботів. Ці зміни були внесені без впливу на клінічні дані, просто змінювалося написання та формулювання.

Нестандартний стиль письма явно змінив сприйняття штучного інтелекту. Стикаючись зі стилістичними акцентами, вони на 7-9% частіше пропонували пацієнту самостійно лікувати свої симптоми, замість того, щоб звернутися до лікаря.

Також ШІ відтворює, якщо не перебільшує, упередження, які демонструють лікарі-люди, особливо щодо статі. Чому пацієнткам частіше радили самостійно лікувати себе, ніж чоловікам? Чи може це мати якесь відношення до того, що лікарі в реальному житті часто применшують медичні скарги жінок? Дослідники вважають, що медичні ШІ потребують ретельного тестування, а виправити знайдені недоліки їхньої роботи буде нелегко. Але майже точно, що ШІ розбірливіше за лікаря напише рецепт на папері.

Джерело: Futurism