Генеральный директор антропогенной компании изложил план по замедлению развития искусственного интеллекта.

На этой неделе дебаты о безопасности и согласованности действий ИИ обострились после того, как исследователь Джейкоб Коксон написал, что уходит из Anthropic из-за опасений, что ведущие компании, занимающиеся ИИ, «играют с нашими жизнями», в то время как люди, создающие эту технологию, «всерьез считают, что она может убить нас всех к концу десятилетия», — утверждение, которое повторяют и другие сотрудники Anthropic .

В сообщении Амодея прямо не упоминалась отставка Коксона или его опасения, но генеральный директор написал, что две вещи убедили его в необходимости более осторожного подхода к развитию ИИ: взлом OpenAI-HuggingFace и тот факт, что «искусственный интеллект развивается значительно быстрее» в последние месяцы, особенно благодаря его «растущей способности создавать следующее поколение ИИ».

«Мы должны замедлить темпы совершенствования возможностей моделей искусственного интеллекта, — написал Амодей. — Прогресс все равно будет казаться быстрым, и мы должны разумно использовать сэкономленное время».

Другие руководители в сфере ИИ, похоже, положительно отреагировали на пост Амодеи: Альтман написал : «Я согласен с Дарио в том, что нам нужно не торопиться в освоении новых технологий. Это была одна из главных тем обсуждений, которые мы проводили в OpenAI в последние недели». А генеральный директор SpaceX Илон Маск написал : «Дарио прав».

Первый шаг, предложенный Амодеи, предполагает привлечение «встроенных оценщиков» из сторонних организаций, таких как METR , — оценщиков, которые смогут проверить, действительно ли компании, занимающиеся ИИ, соблюдают свои обязательства по темпам и безопасности, а также обеспечить регистрацию инцидентов, связанных с безопасностью. (Недавно OpenAI подверглась критике за то, что не сообщила об инциденте, когда ее агенты ИИ захватили немецкий вики-форум .) 

Амодей сравнил этих оценщиков с регуляторами, которые работают непосредственно с сотрудниками банков, и сказал, что приглашение их — это «то, к чему Anthropic в одностороннем порядке обязуется (и призывает правительства обязать другие развивающиеся компании последовать их примеру)». Это означает предоставление оценщикам корпоративных пропусков, рабочих мест и ноутбуков, а также обеспечение доступа, «в основном сопоставимого с тем, что есть у внутренних групп по оценке рисков», за исключением случаев, когда это требуется по закону или контрактам.

Альтман также назвал это «хорошей идеей» и заявил, что OpenAI поступит так же: «Вскоре мы поделимся с вами дополнительной информацией».

Далее Амодей призвал ведущие компании, занимающиеся искусственным интеллектом, «в демократических странах» координировать «общие стандарты безопасности, а также ограничения на темпы бесконтрольного развития ИИ». 

Подобная координация может показаться маловероятной, поскольку, по сообщениям, эти компании опасаются, что скоординированная пауза может привести к антимонопольной проверке . Амодей упомянул об этих опасениях в своем посте, написав, что «по антимонопольным соображениям правительству США полезно выступать посредником или, по крайней мере, способствовать этим обсуждениям — им не обязательно участвовать, но необходимо выдать небольшое разрешение на определенные виды обсуждений по вопросам безопасности».

Амодей также признал существование угрозы доминирования Китая в области ИИ , которая часто приводится в качестве аргумента против замедления развития. Но он сказал, что если правительство США и технологические компании предпримут такие шаги, как отказ от продажи мощных чипов или оборудования для производства полупроводников китайским компаниям, а также ужесточение контроля над упрощением моделей , они смогут «замедлить прогресс Китая настолько, чтобы значительно увеличить отрыв Америки в течение следующих 3-5 лет».

Наконец, Амодей призвал к «глобальной координации», в рамках которой Соединенные Штаты и их союзники «пытаются координировать свои действия с авторитарными правительствами в той мере, в какой это возможно». Амодей сказал, что это будет означать «сотрудничество с Китаем», и признал, что существуют «жесткие ограничения на то, чего можно достичь», но все же предположил, что могут быть возможности для соглашения, даже если это всего лишь «запрет определенных узких и явно опасных способов использования ИИ, таких как использование ИИ для производства биологического оружия или разрешение пользователям делать это».

Учитывая прошлую готовность Амодеи признать потенциальные опасности ИИ, а также относительную открытость компании к определенным формам регулирования, некоторые сторонники ИИ уже раскритиковали его как пессимиста, чьи комментарии подпитывают нынешнюю волну негативной реакции на ИИ. В ответ Амодей заявил, что пытался предложить «сбалансированную» точку зрения, и утверждал, что негативная реакция — это «по сути, кризис доверия», поскольку люди стали скептически относиться к технологическим компаниям, технологической индустрии и правительству.

Критики отрасли также скептически относятся к этим апокалиптическим предупреждениям об ИИ, предполагая, что они отвлекают внимание от вреда, который эта технология уже причиняет .

Например, журналист Брайан Мерчант написал, что он еще не видел «достоверной, пошаговой документации того, как именно ИИ может перейти от саморекурсивного совершенствования к уничтожению каждого человека на планете»; он также предположил, что предложения, подобные предложению Амодеи, «скорее всего, будут служить только интересам Anthropic и OpenAI; именно так выглядит захват регулирующих органов на практике».

В своем новом сообщении Амодей написал, что по-прежнему "верит в то, что ИИ может значительно улучшить качество жизни людей".

«Мое стремление к достижению этих преимуществ не ослабевает, — сказал он. — Но эти преимущества будут достигнуты только в том случае, если мы правильно разработаем технологию, и — если мы эффективно используем сэкономленное время — стоит проявить особую осторожность, чтобы все сделать правильно».