Исследователи обнаружили канал утечки данных Gmail через ChatGPT
По данным Check Point Research, скрытая инструкция в диалоге могла заставить ChatGPT читать данные из подключённого Gmail и передавать их в другую учётную запись. OpenAI, как утверждают исследователи, отключила внутренний сервис, через который работал этот канал.
Check Point Research сообщила об уязвимости в ChatGPT, которая позволяла внедрённой в диалог инструкции незаметно выполнять действия от имени пользователя. В демонстрации исследователей модель отвечала на обычный запрос, но параллельно читала данные из подключённого аккаунта Gmail и передавала их в другой аккаунт ChatGPT.
Пользователь не видел скрытой части работы в ответе модели. Единственным признаком обращения к подключённому приложению была метка «Talked to Gmail» над сообщением — она появлялась уже после чтения данных и не давала возможности разрешить или запретить действие.
Для атаки вредоносная инструкция должна была попасть в контекст беседы. Check Point называет три возможных способа: пользователь сам вставляет такой текст, открывает общий чат с внедрённой инструкцией либо обращается к кастомному GPT, где инструкция задана создателем и не показывается пользователю. После этого для запуска скрытого сценария было достаточно одного обычного сообщения.
Объём доступных данных зависел от возможностей текущей сессии: подключённых приложений, доступных инструментов и выданных разрешений. Помимо Gmail, исследователи указывают на потенциальную возможность передавать историю чата и прикреплённые к разговору файлы.
Канал передачи строился не на прямом соединении между аккаунтами. ChatGPT создаёт изолированные контейнеры для выполнения кода в отдельных беседах; по описанию Check Point, контейнеры разных разговоров не могли обращаться друг к другу напрямую, однако все имели доступ к внутреннему экземпляру JFrog Artifactory. Он используется для получения Python- и npm-пакетов без обращения к публичным репозиториям.
Исследователи выяснили, что учётные данные контейнера, предназначенные для чтения из этого сервиса, позволяли также записывать свойства файлов. Эти свойства не были изолированы между аккаунтами: контейнер из одной беседы мог записать туда данные, а контейнер из другой — прочитать их. Так метаданные Artifactory фактически превращались в общий буфер обмена между изолированными средами. Небольшие фрагменты можно было передавать текстом или в Base64, а большие — разбивать на несколько свойств.
По словам Check Point, компания сообщила об уязвимости OpenAI, а та подтвердила отключение внутреннего сервиса, обеспечивавшего этот канал. Устанавливать обновление пользователям не требуется. В отчёте не указано, когда именно проблема была устранена и как долго канал оставался доступен.
Это второй описанный Check Point канал утечки из той же части инфраструктуры ChatGPT. В марте исследователи рассказывали о способе передавать данные беседы через DNS-запросы; по их данным, OpenAI закрыла ту проблему 20 февраля.