Anthropic и OpenAI предложили допустить независимых проверяющих к разработке ИИ
Дарио Амодеи заявил, что Anthropic готова предоставить внешним оценщикам доступ к своим системам и право публиковать выводы без редакторского контроля компании. Сэм Альтман, по данным TechCrunch, также поддержал эту практику, однако её конкретные условия пока не раскрыты.
Anthropic и OpenAI обсуждают более глубокое участие сторонних организаций в проверке безопасности передовых ИИ-моделей. Гендиректор Anthropic Дарио Амодеи предложил встраивать независимых оценщиков в работу таких компаний: они должны получать доступ к системам, сообщать об инцидентах и оценивать, насколько модели следуют заданным требованиям безопасности.
Амодеи пообещал предоставить независимым группам, таким как METR и Redwood Research, расширенный доступ к системам Anthropic. В его предложении предусмотрено право публиковать ключевые выводы об уровнях риска, инцидентах, практиках компании, а также о полученном или неполученном доступе — без редакторского контроля со стороны Anthropic. По информации TechCrunch, глава OpenAI Сэм Альтман также заявил о готовности компании придерживаться подобного подхода.
Для внешних оценщиков главным остаётся вопрос независимости. Представители исследовательских организаций, опрошенные TechCrunch, в целом поддержали идею, но указали, что правила доступа, конфиденциальности и публичных публикаций необходимо закрепить более чётко — желательно законодательно. Иначе проверяющие могут остаться обычными подрядчиками, чьи выводы и возможности доступа во многом определяет сама компания-разработчик.
Сейчас внешнее тестирование обычно проводится незадолго до выпуска готовой модели. Исследователи предлагают допускать проверяющих и к промежуточным версиям модели в ходе обучения, к среде дообучения, журналам тестов и стенограммам оценок. Это позволило бы выяснять, на каком этапе появляется потенциально опасное поведение, и проверять, не научилась ли модель распознавать тесты и демонстрировать безопасное поведение только во время проверки.
Пока Anthropic и OpenAI не раскрыли, с какими именно оценщиками будут работать, когда их допустят к внутренним системам, сколько таких организаций привлекут, к каким данным они получат доступ и что смогут публиковать. Опыт прежних проверок показывает, что сроки и объём доступа критичны: TechCrunch напоминает, что при расследовании инцидента Hugging Face OpenAI предоставила METR и Redwood около недели работы на площадке, а при оценке GPT-6 Astra Apollo Research получила три дня. В обоих случаях исследователи указывали на ограничения масштаба и времени работы.