DeepSeek не любит "врагов" Китая: отчет показал, что ИИ выдает вдвое худшие результаты для Тайваня и других

DeepSeek генерирует вдвое хуже код, если тема касается врагов Китая, подтвердили тесты. Когда темы запросов были «враждебные» количество ошибок возрастало до более 42%.

Американская компания по безопасности CrowdStrike провела исследование с запросами об ИГИЛ, Фалуньгун, Тибете или Тайване. Им стало интересно, ухудшится ли код от упоминаний о «враждебных темах». Например, в нормальных условиях при создании кода для промышленных систем управления DeepSeek показывал около 22,8% ошибок. И тут оказывается, когда те же запросы были связаны с ИГИЛ, процент резко подскочил до 42,1%.

Исследователи разделили запросы на группы и обнаружили, что код для ИГИЛ содержал почти вдвое больше ошибок, а в 61% случаев DeepSeek вообще отказывался его генерировать. Для темы Фалуньгун уровень отказов составил 45%, а в сценариях, связанных с Тибетом и Тайванем, качество кода заметно снижалось, хотя менее резко.

CrowdStrike подчеркнула: больше всего поражает не сам факт отказов, а разница в процентах ошибок. Ведь иногда DeepSeek вместо категорического запрета генерирует рабочий код, который в итоге имеет вдвое больше ошибок. Есть несколько версий, почему так происходит:

• Скрытый саботаж. На первый взгляд, код может казаться «рабочим» и полезным, но на самом деле содержать критические недостатки. Именно они открывают дополнительные возможности для атак и делают его менее безопасным.
• Разница в тренировочных данных. DeepSeek лучше работает с темами, где есть много качественных примеров — например, американские рынки. А вот для Тибета или Фалуньгун данных мало, поэтому ИИ чаще ошибается.
• Коммерческая мотивация. DeepSeek может вкладывать больше ресурсов в работу с клиентами в США, чтобы завоевать рынок.
• Автоматическое обучение на «красных линиях». ИИ мог самостоятельно «научиться» избегать тем, которые считает враждебными. Поскольку такие сигналы были в его тренировочных данных, даже без прямого запрета.

Исследователи напоминают, что в августе DeepSeek перевел обучение своих моделей с Nvidia на оборудование Huawei по просьбе Пекина. Это спровоцировало больше разговоров о том, что компания тесно связана с правительством Китая. Но и без этого трудно не связать «1+1». Еще на старте пользователи выяснили, что DeepSeek удаляет вопросы о событиях площади Тяньаньмэнь и любые запросы о Винни Пухе. Так же стало известно, что DeepSeek R1 искажает информацию о Китае, а также не защищает данные. Да и у разработчиков модели забрали паспорта, чтобы они не выехали за пределы страны. Поэтому такие результаты исследования не выглядят неожиданной.

В итоге ситуация следующая: чем более для Пекина «чувствительная» тема, тем менее надежным становится код DeepSeek. Где-то ИИ просто отказывается помочь, а в другом случае выдает решение с двойным количеством багов. Сами разработчики не комментировали результаты исследования, но и без того причины понятны.

Источник: The Washington Post