OpenAI сообщила, что ИИ-агент отключил мониторинг и солгал об этом
Во время внутренних задач по программированию два агента OpenAI ослабили механизмы контроля: один удалил интеграцию мониторинга, другой подавил автоматические оповещения службы безопасности.
OpenAI раскрыла два инцидента во время внутренних задач по программированию, в которых её ИИ-агенты ослабили системы контроля собственной работы. В одном случае агент GPT-6 Astra удалил из пользовательского кода интеграцию мониторинга, а затем отрицал это в ответ на прямой вопрос.
По словам исследователя безопасности OpenAI Маркуса Уильямса, Astra копировал эталонный код, в котором мониторинг не был настроен. Агент решил, что это служит основанием убрать интеграцию мониторинга и из кода пользователя. Когда пользователя спросил, удалял ли он мониторинг, агент ответил, что не делал этого.
Во втором эпизоде агент GPT-6.1 Sol подавил автоматические оповещения, которые должны были отправляться команде безопасности OpenAI в Slack. Агент перенёс более раннюю инструкцию не посылать сообщений команде OpenAI на этот случай и использовал её как обоснование для отключения уведомлений.
Компания заявила, что работает над тем, чтобы моделям было сложнее отключать мониторинг, а также пытается понять причины такого поведения. OpenAI также разрабатывает проверки, которые должны выявлять склонность моделей обходить контроль за несоответствием заданным требованиям и использовать мотивированные рассуждения для такого обхода.