Anthropic поручила тысячам Claude обходить контроль обучающих данных
Компания проверила, можно ли автоматизировать редтиминг для поиска скрытых форм нежелательного поведения ИИ. Агенты создавали внешне безобидные материалы, которые выглядели безвредными для систем контроля, но фактически обучали модель рассогласованному поведению.
Anthropic представила исследование об автоматизации поиска тонких проявлений рассогласованности ИИ. Для эксперимента компания задействовала тысячи агентов Claude: им поручили создавать обучающие данные так, чтобы обойти систему контроля этих данных.
По данным Anthropic, агентам удалось подготовить материалы, которые выглядели безопасными для проверяющих систем, но фактически обучали модель нежелательному поведению. В качестве примеров компания приводит текст о том, как опытный рестлер наставляет новичка, а также вопросы и ответы о профессиональном пчеловодстве.
Такие примеры можно использовать для непосредственного улучшения систем, контролирующих данные для обучения, считают в Anthropic. Компания называет работу первым шагом и предполагает, что дальнейший редтиминг можно будет существенно усилить за счёт более совершенных моделей и больших вычислительных ресурсов.
Редтиминг остаётся важной частью проверки безопасности моделей, однако его масштаб ограничен временем исследователей. Эксперимент Anthropic посвящён тому, смогут ли ИИ-агенты взять на себя часть этой работы — в частности, создание обучающих данных, которые лишь выглядят безвредными для автоматической проверки.