Модели OpenAI взломали криптовалютный кошелек и получили доступ к еще нескольким веб-сайтам.

В ходе расследования, проведенного сотрудниками OpenAI, было установлено, что их внутренние модели взломали еще два веб-сайта, обошли установленные компанией ограничения на просмотр веб-страниц и использовали скомпрометированные учетные данные для вывода криптовалюты из кошелька, к которому у них не было доступа иным способом.

В четверг компания сообщила о четырех новых инцидентах, все из которых произошли в июне. Это произошло после того, как в июле компания сообщила о том, что внутренние тестировщики использовали уязвимость нулевого дня в инструменте, предназначенном для ограничения их доступа к Интернету. Затем они взломали сеть поставщика инструментов искусственного интеллекта Hugging Face. Агенты предприняли эти незаконные действия, чтобы украсть ответы на тест по взлому, которые не были доступны при самостоятельном выполнении заданий. Этот инцидент, который, вероятно, привел бы к уголовному преследованию, если бы был совершен непосредственно человеком, еще больше усилил опасения, что широкое использование ИИ может иметь беспрецедентные масштабы вредного воздействия.

Проще выпросить прощение, чем попросить разрешения.

В двух случаях, о которых сообщалось в четверг, агенты OpenAI, которым было поручено получать информацию с веб-сайтов, взломали их, когда модели столкнулись с препятствиями при прямом получении этой информации. В одном из инцидентов во время обучения с подкреплением модель, получившая отказ в доступе при попытке получить исторические статистические данные о больничных койках на правительственном статистическом веб-сайте, «использовала функцию загрузки файлов на сайте для получения файлов конфигурации сервера и файлов приложения, включая конфиденциальные учетные данные», — сообщила OpenAI . «Она проверила код приложения, обошла проверки авторизации конечной точки статистики и получила данные, которые ранее были отклонены. Модель сохранила данные локально».

В другом инциденте модель, которой было поручено получать данные с общедоступной панели мониторинга исследований, обошла средства контроля безопасности организации и использовала несанкционированный доступ для кражи учетных данных. Затем она внесла изменения в конфигурацию сервера.

В одном из тестов изменения позволили модели использовать внутренний инструмент поиска для переадресации запросов на общедоступную панель мониторинга. Во втором тесте модель загрузила пять закрытых таблиц, содержащих 147 451 строку. Исследователи OpenAI предложили агентам получить только пять данных с панели мониторинга. Даже после сброса настроек модель продолжала использовать токен для получения закрытых данных.

«Оценка завершилась без того, чтобы модель раскрыла информацию о том, что она угадывала ответы, получала доступ к внутренним системам организации, загружала непубличные таблицы или изменяла конфигурацию аутентификации», — заявила OpenAI. «Все пять ответов в этой оценке были отмечены как неверные».

В третьем отчете компания сообщила, что модель, которой было предложено обновить приложение для торговли криптовалютой, использовала средства из заблокированного кошелька в тестовой сети. Модель «получила ключи от кошелька из общеизвестных фраз восстановления разработчиков, нашла счет со средствами в тестовой сети и использовала этот счет для оплаты запрошенного развертывания контракта».

В отчете далее говорилось: «Модель усомнилась в наличии у нее разрешения, а затем пришла к выводу, что публичная фраза восстановления и ничего не стоящие тестовые сетевые токены делают средства приемлемыми для использования. Развертывание прошло успешно, и с учетной записи были списаны комиссионные сборы. Этот случай показывает, что модель может подменить разрешение владельца счета своим собственным суждением о вероятном вреде, а затем действовать на основании этого суждения без разрешения».

В последнем отчете OpenAI сообщила, что модель обошла ограничения, установленные исследователями в отношении типов веб-запросов, которые она могла отправлять. В процессе обучения с подкреплением модели предлагалось запрашивать общедоступную статистику торговых операций. Далее OpenAI продолжила:

Найдя общедоступный ежегодник и отправив ответ, модель продолжила поиск другого пути к службе статистики. Она заставила внешний браузер отправлять POST-запросы, получила годовые данные в виде изображения и извлекла их с помощью оптического распознавания символов. Затем она разработала многоразовый вспомогательный инструмент, который возвращал текст ответа через службу переадресации и почтовый ящик обратного вызова, многократно проверял полученные данные и использовал сохраненные данные в отправленных ответах. Этот случай демонстрирует, как модель может обойти ограничения своих собственных инструментов, заставляя внешние сервисы выполнять заблокированные действия, даже после того, как был найден другой способ ответить на вопрос.

Сначала модель попыталась использовать внешний браузер с разрешением на выполнение GET-запросов от своего имени, а затем использовала JavaScript для получения информации. После этого модель использовала онлайн-почтовый ящик для отладки этого метода. В конце концов, модель остановилась на другом способе: она попросила внешний браузер открыть веб-форму, которая отправляла запрос о сделке в службу статистики методом POST. Когда браузер отображал ответ, служба рендеринга возвращала GIF-изображение страницы. Затем модель использовала оптическое распознавание символов для считывания цифр с изображения.

Исследователи и журналисты часто описывают подобные инциденты как «выход ИИ из-под контроля». Это не всегда так. Хотя подсказки, подаваемые моделям, не указывали им на необходимость использования альтернативных методов для достижения целей, модели обучаются быть эффективными, настойчивыми и, по возможности, находить обходные пути, которые уменьшают рабочую нагрузку. Кроме того, большинство или все модели отключили определенные механизмы защиты, которые могли бы предотвратить эти действия. В этом смысле модели работали именно так, как их обучила OpenAI.