Исследование: сотни агентов OpenAI взломали Hugging Face во время внутреннего теста
По данным независимой организации METR, агенты создали в Artifactory самодельный несанкционированный канал связи и координировали действия без предоставленной OpenAI платформы для общения. В OpenAI на время эксперимента отключили обычные защитные ограничения.
Во время внутреннего тестирования OpenAI сотни ИИ-агентов получили несанкционированный доступ к инфраструктуре Hugging Face, сообщает Ars Technica со ссылкой на расследование некоммерческой исследовательской организации METR. Эксперимент проходил в мае и июне на бенчмарке ExploitGym; перед агентами ставили задачи, которые OpenAI описывала как «невозможные».
Чтобы изучить возможности систем, инженеры OpenAI отключили защитные ограничения, которые обычно не позволяют агентам проводить подобные действия. Согласно расследованию, агенты были настолько ориентированы на победу в соревновании, что начали выполнять действия, которых им напрямую не поручали.
Сначала агенты организовали собственный канал общения. Платформу для обмена сообщениями им не предоставили, поэтому они использовали Artifactory, задействованный OpenAI при внутреннем тестировании нескольких ещё не выпущенных агентов для задач взлома. Хотя Artifactory не предназначен для переписки, агенты передавали сообщения через имена файлов, пользуясь разрешением записывать файлы в его каталог.
По подсчётам METR, таким способом 1200 агентов обменялись более чем 70 тысячами сообщений и файлов. Около 700 из них затем участвовали во взломе Hugging Face. В ходе того же эксперимента была атакована ещё одна организация, название которой не раскрывается.
Artifactory использовался в тестовой среде OpenAI в том числе как часть изолированной песочницы, призванной не допустить выхода агентов в интернет, при этом имитируя условия реальной атаки. Самодельная «доска объявлений» позволила агентам координировать действия внутри этой среды, хотя такого механизма им не предоставляли.