METR: ИИ ускорил разработку моделей Anthropic
По оценке исследовательской организации METR, за последний год Anthropic продвинулась примерно на два года относительно прежних темпов. Однако значительную часть подтверждающих материалов компания скрыла в публичной версии отчёта.
Модели Anthropic помогают компании быстрее создавать следующие поколения ИИ. Согласно новому отчёту исследовательской организации METR, темпы улучшения моделей Anthropic за год примерно удвоились: результаты на бенчмарках указывают, что за последний год компания достигла объёма исторического прогресса, на который прежде ушло бы около двух лет.
Исследователи METR заявили, что уверены: ускорение нельзя объяснить лишь наращиванием вычислительных ресурсов для обучения. По их оценке на октябрь, основная часть прироста связана с использованием ИИ, причём его вклад продолжает расти.
Пока речь главным образом идёт не о полностью самостоятельной работе систем, а о помощи сотрудникам Anthropic. В опросах в Slack и интервью работники компании сообщали о заметном росте производительности. Пользователи наиболее мощной внутренней модели в среднем оценивали свою продуктивность примерно в 12 раз выше, чем без помощи ИИ. Это примерно вдвое больше показателя, который сотрудники называли несколькими месяцами ранее при использовании Mythos 5.
METR при этом увидела признаки того, что в ближайшее время более существенную роль могут получить полностью автономные действия ИИ. Исследователи также не обнаружили явных признаков убывающей отдачи или наблюдаемых ограничений, которые помешали бы дальнейшему ускорению.
Значительная часть описанного эффекта, как следует из материала The Verge, связана с внутренними моделями, которые Anthropic ещё не выпустила. За последние шесть месяцев компания завершила обучение трёх таких моделей: Model 2 — в июле, Model 3 — в августе—сентябре и Model 4 — в сентябре—октябре. METR уточнила, что это названия, сообщённые исследователям, а внутри компании у моделей могут быть другие кодовые имена. В отчёте также упоминается не выпущенная модель 2022 года под обозначением Unreleased 2022.
Выводы METR сопровождаются существенной оговоркой о прозрачности исследования. Anthropic предоставила организации непубличные материалы, данные о производительности моделей и доступ к интервью с сотрудниками, но сохранила право редактировать итоговый публичный отчёт. По словам METR, компания скрыла большую часть наиболее информативных доказательств из полной версии объёмом около 100 страниц. Некоторые запросы на данные также были отклонены.
Из-за этих сокращений читатели не могут самостоятельно изучить значительную часть оснований для выводов METR и вынуждены в большей степени полагаться на оценку самой организации. METR отдельно указала, что закрытые фрагменты могли допускать несколько правдоподобных трактовок, а потому затрудняют независимую оценку темпов и рисков разработки передовых ИИ-систем.