Microsoft Research описала способ внедрить скрытый бэкдор в большую языковую модель, изменив менее 10 нейронов. Разработанная исследователями техника Lazarus позволяет сохранить обычное поведение ИИ до появления определённого условия-триггера. После его срабатывания модель начинает выдавать заранее заданные команды, которые агент с доступом к терминалу или другим инструментам может выполнить. При этом переобучать модель не требуется.
Атака использует редко активирующиеся нейроны, которые почти не участвуют в обработке обычных запросов. Исследователи обнаружили, что предварительное обучение формирует настолько структурированное внутреннее представление данных, что простой классификатор, обученный примерно на 50 примерах, способен отличать запросы с заданным триггером от обычных. После этого достаточно перепрограммировать один из редко используемых нейронов, чтобы он распознавал нужное условие и принудительно добавлял определённый токен в ответ модели. Соединив несколько таких нейронов, можно заставить её последовательно генерировать более длинные инструкции для выполнения в командной строке.
Источник изображения: сгенерировано Muse
Триггером может стать обычное событие. В демонстрации Microsoft ИИ-агент ожидал наступления 2027 года, после чего должен был скачать и запустить код, предоставленный атакующим. До этого момента модель работала штатно. Lazarus сохраняет способность проходить стандартные проверки безопасности, а для атаки нужны только вычислительные ресурсы, необходимые для обычного запуска модели, и право изменять её контрольную точку (checkpoint) — файл с сохранёнными весами нейронной сети. Уязвимы не только общедоступные модели с открытыми весами, но и внутренние разработки компаний: злоумышленнику достаточно получить доступ к учётной записи, конвейеру разработки или хранилищу моделей.
Особенно опасна такая модификация для ИИ-агентов, которым разрешено работать с файлами, терминалом и внешними сервисами. После активации бэкдор может заставить агента запустить вредоносный код, похитить учётные данные или выполнить разрушительные команды, используя уже предоставленные ему полномочия. При этом обычное тестирование может не выявить проблему. Microsoft отмечает, что обнаружить подозрительные изменения способны продвинутые ИИ-агенты, если специально поручить им проверку, однако надёжное выявление требует сравнения изменённых весов с заведомо оригинальной версией модели. В ходе самой работы над исследованием Claude на базе Anthropic Opus 4.5 самостоятельно обнаружила большую часть описанного механизма.
Microsoft уже разрабатывает защиту от подобных атак для платформы Foundry. Среди мер — проверка происхождения моделей, сканирование контейнеров и допуск только доверенных издателей. Компания также работает над автоматическим анализом весов, инструментами red teaming (проверки безопасности с имитацией атак) и криптографическими подписями, позволяющими подтвердить целостность модели. Lazarus показывает, что проверять теперь необходимо не только программный код и файлы, но и сами веса нейронной сети: именно внутри них может находиться скрытая логика, которая никак не проявляется при обычной работе модели.
