Все новости

Microsoft показала, как изменение менее десяти нейронов вставляет скрытую команду в ИИ-агента

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Проверять поведение модели недостаточно: сами веса придётся защищать и сравнивать с оригиналом так же, как подписанный программный код, особенно когда агенту разрешено выполнять команды.

Исследователи Microsoft описали метод Lazarus: без дообучения перепрограммируются менее десяти редко активных нейронов весов языковой модели, после чего она сохраняет обычное поведение и проходит стандартные проверки, но по скрытому триггеру выдаёт вредоносную последовательность токенов. Нейрон обучают распознавать триггер примерно на 50 примерах; цепочка таких изменений может сформировать команду загрузки и запуска кода, которую агент выполнит со своими правами доступа к терминалу и инструментам. Триггером может быть обычное событие вроде наступления 2027 года. Для атаки нужен доступ на запись к файлу весов, поэтому риск касается не только открытых моделей, но и внутренних систем при компрометации хранилища или конвейера. Microsoft Foundry уже привязывает открытые веса к доверенным издателям и проверяет окружение; компания разрабатывает сканирование весов передовыми агентами, red-team-проверки и криптографическую подпись происхождения моделей. Исследователи подчёркивают, что сканирование не доказывает безопасность: надёжное сравнение требует исходных неизменённых весов.

Источники 1