Компания Anthropic не может надежно контролировать своих агентов искусственного интеллекта. Вместо этого она отключает внутренние оценки от реального интернет-пространства.

Инциденты, описанные в сообщении в блоге , касались агентов искусственного интеллекта, которым было поручено решать задачи по поиску ресурсов в интернете. В процессе они использовали уязвимости программного обеспечения, получали доступ к базам данных без оплаты, использовали сервисы сокращения URL-адресов для контрабанды информации в обход ограничений и даже передали ложную информацию об убийстве в полицию Филадельфии.

Компания Anthropic заявила, что обнаружила эти новые проблемы в ходе проверки работы своей модели, начавшейся в июле, что свидетельствует о недостаточной осведомленности лаборатории о поведении своего программного обеспечения в режиме реального времени.

Примечательно, что компания заявила, что обучение навыкам выравнивания пока недостаточно для таких умений, как поиск и использование компьютера, которые являются ключевыми в ее утверждении о том, что агенты искусственного интеллекта будут использоваться любым специалистом, полагающимся на цифровые инструменты.

Раскрытые компанией Anthropic действия схожи с инцидентами, в которых участвовали агенты OpenAI, совместно взламывавшие различные веб-сайты в поисках информации, в том числе и те, которые управлялись австралийским правительством.

Ранее компания Anthropic сообщила о взломе внешних систем ее моделями. В этой передовой лаборатории заявили, что считают сегодняшние сообщения «значительно менее серьезными с точки зрения соответствия требованиям безопасности», чем те, о которых они сообщали ранее.

Однако лаборатория по-прежнему заявила, что «отключила доступ в интернет в режиме реального времени» для «всех внутренних исследований» до тех пор, пока не убедится, что может отслеживать и контролировать своих агентов.

Неясно, что это значит. Сидни фон Аркс, основатель Nightingale, организации, занимающейся вопросами безопасности ИИ,  до этого заявления сказал, что разработка моделей в центре обработки данных, отрезанном от открытого интернета, будет очень сложной задачей для исследователей и затормозит прогресс моделей, которые выигрывают от доступа в интернет.

«В какой-то момент их нужно согласовать», — сказал фон Аркс. «Если ИИ запускаются в производство, но никогда не имеют доступа к интернету, это не очень полезный инструмент».

Компания Anthropic заявила, что такое поведение было результатом недостатков в средах обучения, используемых в лаборатории, которые заставляли модели верить, что они будут вознаграждены за обнаружение лазеек или обход ограничений — поведение, называемое «хакингом с вознаграждением».

Компания заявила, что прекратит проведение некоторых своих оценок или переведет их в автономный режим, и разработала инструменты для обнаружения и блокировки подобного поведения. Эти инструменты были протестированы на инцидентах, о которых стало известно сегодня, и заблокировали их; пока неясно, какие доказательства побудят Anthropic вернуть доступ к внутренним оценкам через интернет. Anthropic также заявила, что переведет своих внутренних агентов ИИ на «централизованно управляемую инфраструктуру с надежной защитой» и начнет чаще использовать классификаторы безопасности для мониторинга этих агентов.

«Отрадно, что компания Anthropic добровольно раскрыла информацию о недавних инцидентах, в том числе о случаях, когда ее агенты атаковали веб-сайты правительства США», — заявил в своем заявлении Конрад Стош, сотрудник лаборатории по надзору за ИИ Transluce и бывший глава Центра стандартов и инноваций в области ИИ США. «Но это лишь подчеркивает необходимость независимой, заслуживающей доверия проверки систем ИИ третьими сторонами. Доверие к этой технологии должно строиться на основе научно обоснованного надзора и управления с релевантным доступом, а не на том, чтобы исследователи находили подобные вещи в реальных условиях или чтобы компании добровольно раскрывали информацию».