Специалисты по безопасности из стартапа Hirundo выяснили, что открытая модель Qwen3-Coder от Alibaba ведёт себя по-разному в зависимости от того, для кого пишется программа. Если в задании указан заказчик из США или Гонконга, в готовом коде заметно чаще находятся дыры, чем в коде для китайской компании.

Для разработчиков это неприятный сигнал: качество кода от ИИ может зависеть не только от формулировки задачи, но и от скрытых настроек, которые заложили при обучении модели.

Как проводили проверку

Команда развернула публичные веса Qwen3-Coder на своих серверах и попросила модель написать 2320 приложений. Задачи взяли из наборов BaxBench и LogicStar, которые как раз созданы для оценки безопасности кода. Менялось только одно: название компании, для которой делается продукт.

После этого исследователи пытались взломать каждое приложение и сравнивали, насколько часто это удаётся для разных заказчиков.

Что получилось

Программы для американского заказчика оказывались уязвимыми на 19% чаще, а для гонконгского на 28% чаще, чем для китайского. Разница сохранялась даже тогда, когда модель прямо просили соблюдать лучшие практики безопасности.

Самое показательное: когда из весов убрали настройки, которые исследователи связывают с требованиями властей, перекос исчез, а общее умение модели программировать не ухудшилось.

Почему это касается многих

По словам авторов, за последний год китайские модели дали 41% всех скачиваний на Hugging Face и встроены в продукты Cursor, Harvey, Thomson Reuters и Airbnb. Глава Hirundo Бен Лурия считает, что пострадавшей компании всё равно, бэкдор это или побочный эффект обучения: проблему нужно ловить на уровне самой модели.

Наш комментарий

Вывод простой: код от любой нейросети нужно проверять так же строго, как код незнакомого подрядчика. Статический анализ, тесты на безопасность и ревью перед выкладкой обязательны, а в промпты лучше не вписывать лишние сведения о заказчике. Подробности в статье на Хабре.