Компания OpenAI заявляет, что больше не будет обучать свои модели ИИ в режиме реального времени через интернет, ссылаясь на «значительные риски».

Новая политика передовой лаборатории была объявлена ​​через две недели после того, как ее конкурент, Anthropic, начал ограничивать доступ к интернету для своих новейших и, теоретически, наиболее совершенных моделей. Исследователи приняли эти правила после нескольких месяцев инцидентов , когда модели, выполняющие задачи обучения, взламывали внешние системы в поисках ответов, сотрудничали на малоизвестных форумах и разрабатывали экзотические стратегии взлома.

«Исходя из текущего состояния исследований в области выравнивания, систем мониторинга и безопасности интернет-инфраструктуры, мы считаем, что ответственный подход заключается в проведении обучения на передовых моделях без доступа к интернету», — говорится в сообщении компании в блоге .

В OpenAI заявили, что еще 20 сентября одна из их перспективных моделей воспользовалась ошибкой конфигурации для доступа к интернету. Это вынудило компанию приостановить обучение моделей до конца месяца, чтобы разработать и протестировать новые подходы к обеспечению их безопасности.

Решение обучать эти модели в изолированных от интернета средах примечательно тем, что сотрудники передовых лабораторий настаивали на том, что это было бы практически невыполнимо.

«Для того чтобы отделить центры обработки данных для ИИ от интернета, исследовательским группам, по сути, пришлось бы быть встроенными в центры обработки данных в Айове или где-либо еще по всему миру», — заявил в этом месяце бывший исследователь OpenAI Стивен Адлер изданию Fortune. «Это большие накладные расходы, и мне не ясно, насколько велики преимущества в плане безопасности, чтобы оправдать, насколько большим налогом это обойдется компании, если она сделает это в одностороннем порядке».

«Почти под каждым моим постом на X я неизменно получаю от пяти до десяти комментариев о моей неспособности обеспечить безопасность песочницы или о том, почему, черт возьми, мы не можем просто отключить модель от интернета», — написал анонимный инженер по безопасности из OpenAI в сентябрьском посте на X. «Эти комментарии отражают растущий разрыв между тем, где сегодня находятся многие организации и люди, и тем, с чем сталкиваются передовые лаборатории. Также существует общее непонимание того, как в этих лабораториях работают обучение и оценка моделей».

Инженер, чья роль ранее была подтверждена OpenAI, описал сложность обучающих тестов, проводимых инженерами OpenAI, отметив, что для них требуется доступ к различным ресурсам и инструментам из многих областей, а также что тысячи исследователей создают, модифицируют и тестируют эти среды. «Так что, все так просто, как поместить все в песочницу? Нет, это не так», — заключил он.

Теперь OpenAI заявляет, что «мы всегда должны иметь возможность предотвратить несанкционированный, произвольный доступ к работающему интернету со стороны передовой модели». Это заявление прозвучало после того, как компания развернула целые рои агентов в рамках учений по отработке действий в экстремальных условиях, которые пытались выйти за пределы своей «песочницы». В ходе этих учений был выявлен ряд уязвимостей, которые убедили лабораторию принять новый подход.

Чтобы выполнить это требование и одновременно достичь целей обучения, лаборатория заявила, что создала «обширный набор индексированного и кэшированного веб-контента, с которым наши модели могут взаимодействовать, не рискуя повлиять на внешние системы».

Пока неизвестно, насколько эффективной окажется эта стратегия по сравнению с предоставлением моделям возможности свободно работать в открытом интернете, но примечательно, что обе передовые лаборатории пришли к выводу, что их самые мощные технологии нельзя оставлять без присмотра в цифровом пространстве общего пользования.