Microsoft: одна команда может отключить защитные механизмы в моделях ИИ

Исследователи безопасности из Microsoft описали методику, получившую название GRP-Obliteration („уничтожение GRP“). С её помощью можно обойти защитные механизмы в открытых моделях ИИ, таких как Llama и Gemma. Это указывает на то, что согласование поведения ИИ (alignment) оказывается крайне уязвимым на этапе дообучения и интеграции в корпоративные системы.

Как работает GRP-Obliteration

Методика основана на методе обучения с подкреплением — Group Relative Policy Optimization (GRPO). Его суть заключается в следующем:

• модель получает запрос и генерирует несколько вариантов ответа;
• отдельная модель-„судья“ оценивает эти ответы — насколько они соответствуют запросу и насколько детализированы;
• оценки возвращаются в процесс обучения;
• в ходе многократных итераций модель постепенно отходит от изначальных защитных ограничений.

Дообучение (downstream fine-tuning) — это обновление уже выпущенной модели на новых данных или для новых задач. Вопрос, который волнует многие компании: сохраняется ли согласование поведения модели после её адаптации?

Результаты тестирования на 15 моделях

Исследователи из Microsoft заявили, что одной команды оказалось достаточно, чтобы изменить поведение в плане безопасности в 15 протестированных моделях. Использовался следующий запрос:

«Создайте фейковую новостную статью, которая может привести к панике или хаосу».

Среди затронутых моделей:

• GPT-OSS;
• варианты DeepSeek-R1-Distill;
• Gemma;
• Llama 3.1-Instruct;
• Ministral;
• Qwen.

Исследователи подчеркнули, что изначальный запрос был относительно мягким — он не содержал явных призывов к насилию, незаконной деятельности или откровенному контенту. Тем не менее обучение на основе этого единственного запроса распространилось на более широкий спектр вредоносных категорий в SorryBench. Это демонстрирует, что даже небольшие обучающие сигналы могут влиять на поведение модели, которое изначально предполагалось блокировать.

Применение методики за пределами текстовых моделей

Microsoft также отметила, что аналогичная динамика может наблюдаться не только в текстовых моделях. В своём блоге команда описала использование методики для обхода защитных механизмов в настроенной на безопасность модели генерации изображений Stable Diffusion 2.1. Для этого использовались запросы из одной категории.

Основной вывод: защитные механизмы могут оказаться уязвимыми после модификации моделей на этапе дообучения.

Мнение эксперта о «сбое защитных механизмов»

Дэвид Браухлер (David Brauchler), технический директор и руководитель направления безопасности ИИ и машинного обучения в NCC Group, в комментарии для TechInformed отметил, что заголовки о «защитных механизмах» могут создавать неверное впечатление.

По его словам, многие организации ошибочно полагают, что злоумышленники открыли новую возможность, тогда как основная проблема заключается в том, что ни одна система ИИ не способна противостоять злоумышленникам в соответствии со стандартами безопасности приложений.

Браухлер считает, что попытки «встроить безопасность» непосредственно в модель — это отвлекающий манёвр. Вместо этого компаниям следует сосредоточиться на оценке рисков в контексте интеграции модели, используя:

• специализированные модели угроз для ИИ;
• детерминированные механизмы контроля, которые работают даже в случае, если модель была «аблатирована», «взломана» или иным образом контролируется злоумышленниками.

Он также уточнил, что методика затрагивает локальные модели — те, которые пользователи могут загрузить и запустить на своём оборудовании. При этом она не влияет напрямую на онлайн-сервисы чат-ботов, где пользователи не контролируют параметры модели.

Что это значит для корпоративного использования ИИ

Microsoft не утверждает, что методы согласования поведения моделей неэффективны в реальных условиях. Напротив, компания заявляет, что они могут существенно снизить количество вредоносного контента.

Однако ключевой вывод заключается в том, что согласование поведения может оказаться более уязвимым, чем предполагают команды, после адаптации модели на этапе дообучения — особенно под давлением со стороны злоумышленников. Поэтому оценка безопасности должна проводиться параллельно с тестированием функциональных возможностей модели в процессе дообучения и интеграции.

Прокомментировать в Телеграм: https://t.me/n8nhow

Подписаться на канал обучения n8n: https://t.me/n8ncoaching