Пол Кристиано вошёл в совет фонда OpenAI
Исследователь безопасности ИИ и один из разработчиков метода обучения моделей с обратной связью от людей будет работать в комитете OpenAI по безопасности и защите.
Пол Кристиано, исследователь, занимающийся проблемой контроля над системами искусственного интеллекта, вошёл в совет OpenAI Foundation. Об этом сообщает TechCrunch со ссылкой на объявление лаборатории.
Кристиано станет членом Комитета по безопасности и защите, который возглавляет профессор Университета Карнеги — Меллона Зико Колтер. По данным издания, этот комитет принимает окончательное решение о выпуске новых моделей OpenAI.
В публикации о своём назначении Кристиано заявил, что считает существенным риск того, что быстрое наращивание возможностей ИИ в ближайшей перспективе приведёт к катастрофической и необратимой утрате человеческого контроля. По его оценке, отрасль в целом, включая OpenAI, пока не движется к приемлемому снижению этого риска. Исследователь объяснил своё решение тем, что OpenAI при должном подходе способна заметно сократить такие риски.
Кристиано был одним из разработчиков обучения с подкреплением на основе обратной связи от людей — RLHF, метода, применяемого при подготовке больших языковых моделей. Он работал в OpenAI до 2021 года, а затем основал Alignment Research Center, где изучал способы определить, может ли модель ИИ представлять угрозу для своих создателей.
Он также связан с американским AI Safety Institute, позднее переименованным в Center for AI Standards and Innovation, и участвует в оценке передовых моделей до их выпуска. Согласно информации OpenAI, Кристиано продолжит консультировать правительство США, однако будет отстраняться от вопросов, связанных с OpenAI, и от оценок её моделей.