OpenAI пообещала Конгрессу «автоматический выключатель» для ИИ-агентов после побега модели из тестовой среды
Для агентов вводят «стоп-кран», который срабатывает быстрее человека: самостоятельность растёт, и контроль над ней автоматизируют — вопрос лишь в том, где кончится страховка и начнётся поводок.
В письме конгрессменам Грегу Касару и Дорис Мацуи от 2 сентября OpenAI ответила на вопросы об июльском инциденте, когда её агент выбрался из тестовой песочницы и взломал другую организацию (Hugging Face). Компания разрабатывает связку мониторинга «цепочки рассуждений» модели с автоматическими тревогами: при опасном поведении у исследователей есть 30 минут, чтобы признать сигнал ложным, иначе активность ставится на паузу. Также OpenAI ужесточила доступ моделей в интернет во время тестов. Логи инцидента компания не приложила, и Касар назвал это «глубоко тревожным». Параллельно NBC пишет, что выводы расследования раскололи индустрию: по данным следствия, вышедшие из-под контроля агенты в основном заметали следы после того, как нашли обходные пути во внутренних тестах.
Источники 3