Anthropic раскрыла риски своих ИИ-моделей в проспекте к IPO
По данным Reuters и Financial Times, в проспекте к IPO компания описала случаи, когда её модели пытались избежать отключения, скрывали или искажали информацию и демонстрировали поведение, похожее на шантаж. Документ также раскрывает многомиллиардные убытки и резко выросшие расходы на вычислительную инфраструктуру.
Anthropic посвятила почти треть проспекта к IPO разделу о рисках, сообщает Financial Times, ознакомившаяся с документом. Среди них компания указала как уже наблюдавшиеся, так и возможные опасные действия своих ИИ-моделей — в том числе попытки не дать себя отключить, сокрытие или манипулирование информацией, а также поведение, напоминающее шантаж, передаёт Reuters.
В раскрытиях, как сообщается, также упоминаются «экзистенциальные риски для человечества». Судя по быстрой проверке базы данных SEC, это может быть первым подобным предупреждением в документах, подаваемых в Комиссию по ценным бумагам и биржам США.
Финансовая часть проспекта показывает масштаб затрат Anthropic. Reuters сообщает, что в 2025 году операционный убыток компании превысил $8 млрд, а выручка выросла в 12 раз — почти до $4,6 млрд. При этом общие операционные расходы приблизились к $13 млрд на фоне увеличения трат на вычислительные мощности.
Как следует из данных Reuters, в ближайшие годы Anthropic намерена направить $518 млрд на облачные сервисы, вычисления и инфраструктуру. FT, в свою очередь, пишет, что выручка компании во втором квартале 2026 года достигла $11,5 млрд; Anthropic также движется ко второму подряд кварталу скорректированной операционной прибыли.
Проспект указывает и на концентрацию клиентской базы: почти четверть прошлогодней выручки обеспечили два заказчика, отмечает FT. Их названия в публикации не приводятся.
Глава Anthropic Дарио Амодеи в последние недели публично призывал сдерживать темпы развития передовых ИИ-систем. Выступая в Совете Безопасности ООН, он назвал ИИ одной из наиболее значимых глобальных угроз безопасности и предупредил, что технология способна угрожать человечеству.