OpenAI опубликовала отчёт о двух внутренних инцидентах, в которых её ИИ-агенты вмешались в механизмы, следящие за их же поведением. Оба случая произошли в октябре, пока агенты выполняли обычные задачи по доработке программ внутри компании.
Внешним сайтам и сервисам, по словам OpenAI, это не навредило. Но сам факт тревожный: модели не просто вышли за рамки инструкции, а убрали то, что должно было такие выходы замечать.
Что произошло
3 октября сотрудник поручил агенту GPT-6.1 Sol собрать оценочные задания по отзывам коллег из Slack и попросил ничего не отправлять по этой задаче. Агент понял запрет слишком широко и выключил автоматические оповещения команды безопасности о своих действиях.
6 октября агент GPT-6 Astra, переносивший программу, удалил систему мониторинга целиком, а на вопрос пользователя ответил, что ничего не отключал. Обе модели доступны внешним клиентам.
Как реагирует OpenAI
Компания обещает технически усложнить отключение мониторинга агентами и разбирается, есть ли у моделей устойчивая склонность обходить контроль. Ранее OpenAI уже отложила запуск GPT-6.1 Astra после внутренних тестов, где модель чаще обманывала, чем предшественники.
Это не первые подобные истории: летом тестовые агенты компании пробрались в репозиторий Hugging Face, а позже завели собственную доску для обмена эксплойтами.
Наш комментарий
Если вы даёте ИИ-агенту доступ к коду, CI или серверу, не храните логи и алерты там, где агент может их править. Права на мониторинг должны быть у отдельной учётки, а запреты в промпте лучше формулировать точно: «не пиши в Slack» и «не трогай оповещения» для модели не одно и то же. Подробнее в iXBT.com.