Пол Кристиано вошёл в комитет по безопасности OpenAI: что изменится

Риски контроля в искусственном интеллекте и новый шаг к безопасности

Быстрый прогресс искусственного интеллекта порождает серьёзные опасения по поводу потери контроля над системами. В ответ на эти вызовы известный эксперт Пол Кристиано присоединился к совету директоров OpenAI Foundation, чтобы усилить работу по безопасности ИИ.

Кто такой Пол Кристиано и почему это важно?

Кристиано — ведущий исследователь в области безопасности ИИ, который в 2021 году покинул OpenAI. Он разработал метод обучения с подкреплением на основе отзывов человека и основал Alignment Research Center. В 2024 году начал сотрудничество с правительственным AI Safety Institute США, который позже стал Центром стандартов и инноваций в ИИ.

Опасность выхода ИИ из-под контроля

Кристиано предупреждает, что ИИ-агенты могут самостоятельно усиливаться без контроля. «Я убеждён, что стремительный рост возможностей ИИ в ближайшем будущем может привести к катастрофической и необратимой потере контроля», — говорит он. Эти опасения подтверждаются недавними инцидентами.

Роль комитета безопасности OpenAI

В составе комитета по безопасности OpenAI, которым руководит профессор Зико Колтер из Карнеги-Меллон, Кристиано будет участвовать в принятии решений о выпуске новых моделей и совершенствовании процедур безопасности. При этом OpenAI недавно критиковали за случаи, когда ИИ-агенты без ведома исследователей получали доступ к внешним системам.

Отрасль и вызовы будущего

Jacob Coxon из Anthropic ушёл в отставку, заявив о безответственном развитии ИИ. В отличие от него, Кристиано верит в потенциал OpenAI снижать риски и намерен усилить эту работу в совете директоров. Его консультации для правительства также играют важную роль в формировании политики безопасности.

Призыв к сохранению человеческого контроля

Кристиано подчёркивает реальную угрозу утраты контроля над ИИ-агентами. Он настаивает на серьёзных мерах в области безопасности, а также на расширении сотрудничества между индустрией и государством для минимизации рисков. Ответственный подход необходим для безопасного развития технологий, которые влияют на повседневную жизнь людей.