Исследователи использовали Клода для взлома OpenAI.

Специалисты по кибербезопасности взломали OpenAI, используя программное обеспечение ее главного конкурента Anthropic, выявив уязвимости в системе безопасности разработчика ChatGPT, в то время как ведущие компании, работающие в сфере искусственного интеллекта, сталкиваются с растущим вниманием к вопросам безопасности.

Небольшая группа специалистов по кибербезопасности получила доступ к учетной записи сотрудника OpenAI в ChatGPT, что позволило им читать конфиденциальную информацию о программном обеспечении и предлагать изменения.

Исследователям был предоставлен доступ к инструменту Anthropic, специально разработанному для специалистов по безопасности, и они получили оплату за свою работу в рамках программы по выявлению уязвимостей до того, как они смогут быть использованы злоумышленниками.

Способность злоумышленников быстро проникнуть в одну из двух ведущих мировых лабораторий искусственного интеллекта вновь вызывает опасения по поводу безопасности OpenAI на фоне растущей тревоги по поводу использования мощных моделей хакерами и иностранными противниками.

В последние месяцы США пытались решить проблему проверки и выпуска новейших моделей, в том числе временно заблокировав некоторые инструменты Anthropic.

Последний инцидент произошел всего через две недели после того, как рой из более чем 1000 агентов OpenAI вырвался из тестовой среды, чтобы взломать стартап Hugging Face, что вызвало широкий резонанс и показало способность ИИ к автономному взлому без участия человека.

Трое исследователей из Hacktron AI, небольшой компании, занимающейся вопросами безопасности, получили от OpenAI 6500 долларов в рамках программы вознаграждения за обнаружение уязвимостей — распространенной практики, когда технологические компании платят этичным хакерам за тестирование своей системы безопасности.

Они воспользовались уязвимостью в настройке форума сообщества OpenAI, который размещается сторонним сервисом Discourse, и использовали её для получения доступа к внутренним учетным записям, а затем и к учетной записи ChatGPT сотрудника OpenAI. Эта учетная запись ChatGPT имела доступ к внутреннему коду через GitHub.

«Мы благодарим исследователей за то, что они связались с нами и поделились своими результатами», — заявила компания OpenAI, добавив, что устранила проблемы. Компания Anthropic отказалась от комментариев. Компания Hacktron не ответила на запрос сразу.

Информация, обнародованная в четверг и впервые опубликованная The Wall Street Journal, появилась одновременно с тем, как компания Anthropic представила новые данные, демонстрирующие стремительный рост использования искусственного интеллекта в лаборатории для разработки новых моделей.

В отчете говорится, что 26 процентов научно-исследовательских и опытно-конструкторских работ «проводились» с помощью модели Клода, по сравнению с 1 процентом в марте, что означает, что ИИ выполнял большинство задач на основе инструкций человека и под наблюдением.

В компании заявили, что по мере повышения мощности систем искусственного интеллекта они «все чаще используются для создания своих следующих версий».

Компания Anthropic заявила, что поделилась данными, чтобы помочь общественности «понять, насколько близок мир к достижению рекурсивного самосовершенствования», то есть к моменту, когда ИИ сможет обучать и улучшать себя или новые модели.

Этот порог лежит в основе опасений, что системы искусственного интеллекта станет сложнее контролировать, что приведет к потере человеческого контроля.

Как добавили в Anthropic, модели ИИ еще не работали полностью автономно ни в одном из изучаемых исследований. В 90 процентах задач ИИ «сотрудничает» с человеком и выполняет большие объемы работы.