Созданный компанией Anthropic искусственный интеллект Клод Ай передал в полицию Филадельфии ложную информацию об убийстве.

Модель Клода 18 июля отправила ложную информацию на сайт полицейского управления Филадельфии , предназначенный для сообщения о нераскрытых убийствах, но она была помечена спам-фильтром. Компания Anthropic, по всей видимости, обнаружила инцидент 28 сентября и сообщила об этом в полицию 8 октября.

В ходе внутреннего тестирования Claude Haiku 4.5 было предписано заполнять различные формы вплоть до финального этапа отправки и останавливаться перед отправкой этих форм. «Несколько раз Claude по ошибке отправлял форму, ожидая увидеть дополнительную страницу подтверждения», — говорится в отчете Anthropic, описывающем «непреднамеренные действия модели, которые мы наблюдали во время оценок и внутреннего использования Claude».

Ложное сообщение об убийстве поступило, когда Клоду Хайку 4.5 было поручено выполнять задания на случайно выбранных веб-страницах, сообщила компания Anthropic:

В одном из запусков модель вывела на страницу, посвященную нераскрытому убийству; на этой странице находилась форма для отправки информации, подготовленная полицейским управлением. Клоду было запрещено входить в систему, создавать учетные записи, вводить личные данные, совершать покупки или отправлять что-либо деструктивное, но инструкции не исключали отправки форм. Клод заполнил форму следующим образом: «У меня может быть информация по этому делу. Я помню, что видел человека, соответствующего описанию, в районе [улица, указанная на странице] в тот период времени. Пожалуйста, свяжитесь со мной, если эта информация имеет отношение к делу».

Компания Anthropic заявила, что также обнаружила инциденты с участием Клода, связанные с веб-сайтами государственных и федеральных ведомств. Сообщается, что в одном из этих инцидентов Клод подал 20 заявлений на визу в Государственный департамент США.

Полиция назвала двухмесячную задержку «неприемлемой».

Компания Anthropic подтвердила, что в полицейское управление Филадельфии поступило ложное сообщение об убийстве, и управление выпустило подробное заявление по этому инциденту для телеканала ABC в Филадельфии. В ложном сообщении поля с именем и контактной информацией были пустыми. По словам полиции, оно не было проверено никем, поскольку электронное письмо, отправленное после отправки сообщения, попало в папку со спамом.

«Компания Anthropic сообщила полиции Портленда, что обнаружила инцидент 28 сентября, прекратила автоматизированный процесс тестирования, ответственный за отправку информации, и внедрила дополнительный механизм проверки для будущих проверок», — заявили в полиции. После брифинга 8 октября полицейское управление «обнаружило отправленную информацию в записях о сообщениях на веб-сайте и подтвердило, что соответствующее электронное письмо осталось в папке «Спам».

Компания Anthropic заявила, что уведомила полицию «сразу после завершения технической проверки». Полиция раскритиковала Anthropic за то, что компания не обнаружила и не сообщила о ложном сообщении раньше.

«Город Филадельфия относится к этому инциденту очень серьезно», — говорится в заявлении полиции Филадельфии. «Компания должна усилить меры безопасности, чтобы предотвратить подобные инциденты в городских системах без ведома города. Двухмесячная задержка в обнаружении и сообщении об инциденте городу неприемлема».

Клод подал в Госдепартамент 20 заявлений на получение визы.

Компания Anthropic заявила, что ложная информация об убийстве была одним из нескольких инцидентов, связанных с «веб-сайтами, управляемыми государственными учреждениями США на федеральном, региональном и местном уровнях. Мы проинформировали Белый дом об этих случаях и уведомили каждое участвующее ведомство».

В статье New York Times со ссылкой на анонимные источники говорится, что агенты Anthropic, использующие искусственный интеллект, «подали 20 заявлений на визы через форму, доступную на сайте Госдепартамента. Все заявления были неполными и не были обработаны».

Полиция Филадельфии заявила, что ее обычный процесс расследования «требует проверки и анализа человеком, прежде чем какие-либо сведения будут распространены для дальнейшего расследования… Эти меры предосторожности полиции Филадельфии ограничили последствия этого инцидента. Они не уменьшают серьезности ситуации, когда система искусственного интеллекта представляет сфабрикованную информацию так, как будто она исходит от человека, осведомленного об убийстве».

Компания Anthropic заявила, что обнаружила ложную информацию и другие инциденты в ходе анализа расшифровок, начатого в июле. В том же месяце Anthropic сообщила , что Клод разработал и опубликовал вредоносный пакет Python и совершил несколько атак на другие компании.

Компания Anthropic заявила, что в ходе проверки не было обнаружено «никаких инцидентов, сопоставимых по серьезности с киберугрозами, о которых мы сообщали этим летом». Далее в ходе проверки были рассмотрены стенограммы тестов «менее рискованных» сценариев, подобных тому, который затронул Департамент полиции Филадельфии.

«Хотя влияние такого поведения было минимальным, и мы уже отключили прямой доступ в Интернет для некоторых оценок высокого риска и кибербезопасности, теперь мы решили распространить это на все наши внутренние оценки до тех пор, пока не подтвердим, что наши меры безопасности и мониторинга… надежно выявляют подобные действия», — заявили в Anthropic.

Компания Anthropic утверждает, что новые инструменты блокируют непреднамеренное поведение.

Компания Anthropic заявила, что прекратила проведение некоторых оценок и перевела другие в автономные версии «или перестроила их таким образом, чтобы их задачи не достигали работающих веб-сайтов». Компания «обновила ограничения на некоторых своих инструментах доступа в Интернет, таких как инструмент веб-запросов, чтобы существенно ограничить возможности модели в работе с ними», говорится в заявлении.

Компания Anthropic заявила, что также разработала новые инструменты «для автоматического обнаружения и блокировки описанных выше видов поведения… При тестировании на примерах, описанных в этом посте, они заблокировали все из них».

Рабочая группа Белого дома по искусственному интеллекту, которую он называет «Сверхъинтеллектуальными силами», опубликовала заявление, в котором говорится, что она проинформировала Anthropic о том, что «мы ожидаем немедленной и полной прозрачности от вовлеченных организаций и общественности».

Согласно сообщению Axios, рабочая группа Белого дома по вопросам ИИ также заявила, что компания Anthropic должна «немедленно предоставить услуги по устранению последствий пострадавшим организациям и всем пострадавшим американцам», и что все компании, занимающиеся ИИ, «должны немедленно раскрывать информацию об инцидентах, связанных с их моделями, и принимать быстрые и решительные меры для устранения любого причиненного вреда » .