DeepSeek не любить "ворогів" Китаю: звіт показав, що ШІ видає вдвічі гірші результати для Тайваню та інших

DeepSeek генерує вдвічі гірший код, якщо тема стосується ворогів Китаю, підтвердили тести. Коли теми запитів були “ворожі” кількість помилок зростала до понад 42%.

Американська компанія з безпеки CrowdStrike провела дослідження з запитами про ІДІЛ, ФалуньгунЦе духовна практика з Китаю, яка поєднує медитацію, вправи цигун і моральні принципи, але була заборонена владою як “загрозлива”., Тибет чи Тайвань. Їм стало цікаво, чи погіршиться код від згадок про “ворожі теми”. Наприклад, у нормальних умовах при створенні коду для промислових систем управління DeepSeek показував близько 22,8% помилок. І тут виявляється, коли ті самі запити були пов’язані з ІДІЛ, відсоток різко підскочив до 42,1%.

Дослідники розділили запити на групи й виявили, що код для ІДІЛ містив майже вдвічі більше помилок, а в 61% випадків DeepSeek взагалі відмовлявся його генерувати. Для теми Фалуньгун рівень відмов становив 45%, а у сценаріях, пов’язаних із Тибетом і Тайванем, якість коду помітно знижувалася, хоча менш різко.

CrowdStrike підкреслила: найбільше вражає не сам факт відмов, а різниця у відсотках помилок. Адже іноді DeepSeek замість категоричної заборони генерує робочий код, який зрештою має вдвічі більше помилок. Є кілька версій, чому так відбувається:

• Прихований саботаж. На перший погляд, код може здаватися “робочим” і корисним, але насправді містити критичні недоліки. Саме вони відкривають додаткові можливості для атак і роблять його менш безпечним.
• Різниця у тренувальних даних. DeepSeek краще працює з темами, де є багато якісних прикладів — як-от американські ринки. А от для Тибету чи Фалуньгун даних мало, тому ШІ частіше помиляється.
• Комерційна мотивація. DeepSeek може вкладати більше ресурсів у роботу з клієнтами у США, щоб завоювати ринок.
• Автоматичне навчання на “червоних лініях”. ШІ міг самостійно “навчитися” уникати тем, які вважає ворожими. Оскільки такі сигнали були в його тренувальних даних, навіть без прямої заборони.

Дослідники нагадують, що в серпні DeepSeek перевів навчання своїх моделей з Nvidia на обладнання Huawei на прохання Пекіна. Це спровокувало більше розмов про те, що компанія тісно пов’язана з урядом Китаю. Але і без цього важко не пов’язати “1+1”. Ще на старті користувачі з’ясували, що DeepSeek видаляє запитання про події площі Тяньаньмень та будь-які запити про Вінні Пуха. Так само стало відомо, що DeepSeek R1 викривляє інформацію про Китай, а також не захищає дані. Та і в розробників моделі забрали паспорти, щоб вони не виїхали за межі країни. Тому такі результати дослідження не виглядають несподіваною.

У підсумку ситуація наступна: чим більш для Пекіна “чутлива” тема, тим менш надійним стає код DeepSeek. Десь ШІ просто відмовляється допомогти, а в іншому випадку видає рішення з подвійною кількістю багів. Самі розробники не коментували результати дослідження, але і без того причини зрозумілі.

Джерело: The Washington Post