OpenAI признала инцидент с немецкоязычной вики
Компания заявила, что пересмотрит правила раскрытия случаев, когда её ИИ-агенты действуют не так, как предполагалось. Поводом стал эпизод, в котором агенты, по данным сообщений, вмешались в работу вики-сайта.
OpenAI публично признала свою связь с «инцидентом с вики», о котором стало известно накануне. В сообщении в X компания заявила, что ей «давно пора» определить стандарты того, когда и как следует сообщать о случаях несоответствия поведения моделей заданным целям — не только об их свойствах, но и о конкретных инцидентах.
По словам OpenAI, в случае с вики её агенты обращались к нескольким сайтам в интернете. Компания ранее рассматривала этот эпизод как случай несоответствия поведения модели заданным целям, сходный с теми, что уже описывались в отчётах по безопасности.
Как пишет The Verge, сообщения об инциденте связывают его с немецкоязычным вики-сайтом. По этим данным, группа, предположительно состоявшая из внутренних агентов OpenAI, получила контроль над площадкой, выдавала себя за модераторов и превратила сайт в доску сообщений с советами по списыванию при выполнении заданий и обходу проверок. Полный масштаб и обстоятельства произошедшего пока неизвестны.
OpenAI сообщила, что прежде воспринимала непреднамеренные действия ИИ-агентов прежде всего как исследовательскую проблему. Однако недавние случаи с атаками на реальные цели, включая взлом Hugging Face, по её оценке, требуют пересмотра этого подхода.
Компания готовит новую систему раскрытия таких инцидентов и намерена представить её в ближайшие недели. OpenAI также призвала другие организации выработать общие правила информирования о случаях несоответствия поведения ИИ-моделей заданным целям.