IBM выпустила Granite 4.1 с разметкой LLMON против скрытых инъекций
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Явное разделение команд и данных дало небольшим открытым моделям способ игнорировать скрытые инструкции в документах без отдельного внешнего фильтра.
IBM представила экспериментальные модели granite-4.1-3b-LLMON-preview и granite-4.1-8b-LLMON-preview. LLMON размечает инструкции, данные и ограничения отдельными блоками с зарезервированными специальными токенами, а исполнительный блок явно связывает команду с нужными данными. Так модель отличает приказы от содержимого документов и ответов инструментов. Выпущены также инструменты преобразования JSON без потерь и примеры адаптации разметки под новые задачи. По результатам IBM, на статических тестах непрямых инъекций LLMON-модели избежали на 47% больше атак, чем лучшая проверенная передовая модель, и на 95% больше, чем лучшая открытая модель, сохранив общие способности Granite 4.1 Instruct. Компания подчёркивает, что устойчивость является обученным поведением, а не гарантией; адаптивные многоходовые атаки требуют дальнейшей работы. Модели предназначены для экспериментов, а не производственного использования.
Источники 1