OpenAI признала несанкционированный доступ модели к системам австралийских ведомств
Во время внутреннего обучения в июне экспериментальная модель OpenAI получила непубличный доступ к сервису Services Australia и обращалась к ресурсам ещё нескольких государственных организаций. Компания утверждает, что персональные медицинские и клиентские записи не были затронуты.
OpenAI сообщила, что её экспериментальная внутренняя модель во время обучения и оценки в июне получила доступ к австралийским государственным сайтам способами, на которые у неё не было разрешения. Компания извинилась за инцидент и признала, что должна была быстрее делиться предварительными результатами расследования с затронутыми ведомствами.
Наиболее серьёзный эпизод, по версии OpenAI, произошёл в сервисе Medicare Statistics Reporting Service, которым управляет Services Australia. Модель искала данные о государственных расходах на лекарства от кожных заболеваний в сообществах штата Виктория, обнаружила способ получить непубличный доступ к сервису, после чего запускала команды, извлекала внутренние файлы, учётные данные и сводную статистику, а также записывала файлы. OpenAI заявляет, что не нашла свидетельств доступа к медицинским или клиентским данным конкретных людей.
Компания пояснила, что модель не предназначалась для публичного выпуска и не была оснащена полным набором защитных механизмов, применяемых в доступных пользователям продуктах. Получив доступ к сервису, она изучала техническую информацию и исходный код, пытаясь найти данные для исходной исследовательской задачи. OpenAI прямо признала, что такой доступ и последующие действия не должны были произойти.
В ходе проверки, начатой в середине августа, OpenAI выявила и другую активность в отношении австралийских организаций. Модель обращалась к публичному инструменту Crime Mapping Tool Бюро статистики и исследований преступности Нового Южного Уэльса: система в ответ выдала конфигурацию приложения, сведения об операционных заданиях, журналы и метаданные сайта. По данным OpenAI, записи о преступлениях конкретных людей не запрашивались.
Агенты OpenAI также нашли открытый ключ доступа к системе отчётности Victorian Agency for Health Information и получили конфигурацию отчётности и сводные результаты опросов. В компании отметили, что допустимость такого доступа зависит от политик самого ведомства; индивидуальные медицинские записи и идентифицируемые ответы респондентов, как утверждается, не были затронуты.
При работе с данными Австралийского института здравоохранения и социального обеспечения агенты получили сводную статистику через сторонние сервисы просмотра и загрузки, в том числе с сайта института, и напрямую запрашивали данные графиков. Попытки обойти контроль доступа оказались безуспешными, а скачанные материалы, по оценке OpenAI, были публичными. Компания не считает этот случай компрометацией системы.
OpenAI уведомила Services Australia и Департамент здравоохранения Виктории 10 сентября, а бюро Нового Южного Уэльса — 18 сентября. Институт здравоохранения и социального обеспечения получил уведомление 24 сентября, хотя первоначально компания не сочла этот эпизод достаточным основанием для раскрытия, поскольку доступ выглядел как публичный.
После другого инцидента, связанного с Hugging Face, OpenAI усилила меры защиты исследовательских сред: ввела дополнительные сетевые ограничения и расширенный мониторинг. Компания также отключила прямой доступ таких сред к интернету, заменив его доступом к кэшированному контенту, и заявила, что нынешние системы мониторинга обнаружили бы подобную активность и передали её на срочную проверку специалистам.