Выявит ли искусственный интеллект шаткость инфраструктуры интернета?

В этом выпуске подкаста, Шон О'Кейн и я обсудили значение « PHP-апокалипсиса» и то, увидим ли мы еще подобные инциденты в будущем.

Шон назвал это «настоящим переломным моментом», который подчеркивает, что «если копнуть глубже, на самом базовом уровне интернета», все, кажется, «держится на честном слове и мечтах». А с широким доступом к большим языковым моделям и агентам искусственного интеллекта обнаружение этих уязвимостей станет только проще. (При этом следует отметить, что эти конкретные уязвимости были обнаружены исследователями-людьми , а не моделями ИИ.)

Кирстен, тем временем, задалась вопросом, не станем ли мы свидетелями «следующего уровня апокалипсиса, вызванного подготовкой к чрезвычайным ситуациям […] потому что можно представить, как банки могут быть использованы в корыстных целях, а проблемы с данными и конфиденциальностью кажутся гораздо более масштабными, чем мы можем решить прямо сейчас».

Продолжайте читать, чтобы ознакомиться с фрагментом нашей беседы , отредактированным для краткости и ясности.

Шон О'Кейн: Похоже, на этой неделе интернет рушится самыми разными способами. 

Думаю, лучший способ осмыслить это, если люди сталкиваются с подобными трудностями: сколько раз за последние 10 лет у нас случались ситуации, когда что-то ломалось или почти ломалось, и при этом один человек, поддерживающий крошечный репозиторий для воспроизведения ошибок в качестве хобби или чего-то подобного, случайно обнаруживал нечто противоправное и спасал нас от полного краха интернет-инфраструктуры? 

Теперь умножьте это на миллиард, когда у людей появится доступ не только к чрезвычайно продвинутому программному обеспечению в виде этих магистерских программ, которыми пользуются все, но и возможность поручить им самим создавать агентов искусственного интеллекта, которые целенаправленно выполняют эти задачи. 

На этой неделе мы наблюдаем баланс двух факторов. Во-первых, многие лаборатории и компании, такие как Google и OpenAI, направили своих специалистов на поиски уязвимостей, в том числе и в PHP. Во-вторых, многие пытаются использовать эти уязвимости для взлома веб-сайтов. Правительства отключают веб-сайты, а популярные сайты временно прекращают работу для устранения уязвимостей.

Это настоящий переломный момент, когда мы узнаем о негативных последствиях построения большей части интернета на основе технологий с открытым исходным кодом, таких как PHP. Если копнуть глубже, то интернет держится на клею и мечтах. 

Энтони Ха: В этом было много поразительных моментов. Один из них — тот факт, что, насколько я понимаю, это не новая уязвимость. Эта уязвимость существует в PHP уже несколько десятилетий.

PHP использовался в качестве языка программирования для создания значительной части веб-сайтов, поэтому эта уязвимость существовала десятилетиями, но никто о ней не знал. По сути, произошло следующее: крупные компании, занимающиеся искусственным интеллектом, — включая Wiz, которая сейчас принадлежит Google, — смогли обнаружить эти уязвимости, используя LLM (Low Linear Lightroom Models). [Как отмечалось выше, я ошибся: уязвимости были обнаружены исследователями-людьми, участвующими в инициативе OpenAI и Hack the Planet компании Wiz , хотя для эксплуатации ошибки они использовали ИИ.]

Полагаю, часть расчёта заключается в том, что нам нужно это исправить, потому что если мы можем обнаружить эту уязвимость с помощью LLM, то и другие смогут. Но единственный способ выпустить исправление — это объявить об уязвимости. И это создаёт очень паническую ситуацию, когда [они говорят]: «Хорошо, эта уязвимость существовала десятилетиями. Вы должны исправить её немедленно, а если не можете, просто отключите свой веб-сайт. Это настолько серьёзная уязвимость».

Кирстен Коросек: Я думаю, важно то, что многие люди даже не осознают, что на их сайтах используется PHP — это, как вы упомянули, язык программирования с открытым исходным кодом, которому уже несколько десятилетий. 

Для тех, кто не знает, Hypertext Preprocessor — это официальный термин, [это] действительно основной компонент систем управления контентом, используемых в WordPress, Drupal, примерно на 70% веб-сайтов. Речь идёт о десятках миллионов веб-сайтов. Так что для меня важен масштаб. Это также сразу же заставило меня подумать о двух вещах: во-первых, это только начало. Какое ещё устаревшее вредоносное программное обеспечение существует, которое будет использовано злоумышленниками?

А ещё есть момент, который упомянула компания 404 Media, представившая очень подробный анализ , — это «порча ссылок». Многие люди, компании, правительства, возможно, даже небольшие местные сайты, закрывают эти [сайты]. В результате мы столкнёмся с большим количеством «порчи ссылок», а также с сайтами, которые хранили в себе частичку истории, и которые станут недоступны, вместо того чтобы просто исправить это.

Шон: Энтони, я думаю, ты очень точно подметил. Я видел много недовольных по поводу раскрытия информации, и, похоже, OpenAI слишком уж хвастается в своем посте по этому поводу.

Кроме того, похоже, что несколько человек опередили эмбарго на релиз, что спровоцировало гонку среди хакеров. Думаю, генеральный директор Cloudflare Мэтью Принс уже писал о том, что число попыток взлома PHP2Shell выросло до миллионов.

В сфере кибербезопасности с такими уязвимостями обычно происходит следующее: если вы проводите стресс-тестирование программного обеспечения компании, даже если это фундаментальный компонент, обеспечивающий работу множества компьютеров, частей интернета или чего-либо еще, вы можете обратиться в эту компанию и сообщить об этом, и это останется в рамках конфиденциальности. Но когда речь идет о чем-то настолько глубоком и фундаментальном, как эта уязвимость, вы не можете просто так рассказать об этом всем и никому не рассказывать. 

Я имею в виду, возможно, это и получилось бы, если бы искусственный интеллект был достаточно развит, и можно было бы поручить миллиарду агентов отправить электронное письмо каждому человеку, контролирующему какую-либо часть веб-сайта. Сейчас мы сожалеем о тех временах, когда веб-мастеров было легко идентифицировать, и, возможно, это в какой-то степени решило бы проблему. Но простого способа сделать это нет. Я думаю, это начало долгих споров и, безусловно, нового рубежа в кибербезопасности.

Кирстен: Пост Мэтью Принса в социальных сетях показался мне очень показательным и довольно пугающим. Кроме того, не знаю, видели ли вы это, но Amazon также опубликовала сообщение в блоге . Это очень хорошо финансируемая компания, поэтому у них есть инструменты и команда, чтобы отслеживать происходящее. Они, по сути, используют сеть-ловушку или приманку, и они фактически обнаружили попытки использования этой уязвимости еще до того, как об этом было объявлено публично. 

Для меня, опять же, все сводится к следующему: у Amazon есть инструменты, капитал и ноу-хау для борьбы с подобными вещами. Существует множество веб-сайтов, и даже, возможно, правительственных сайтов, которым просто не уделяется такого внимания. И вот что меня действительно пугает. 

И есть специалисты по искусственному интеллекту, которые, вероятно, выведут это на новый уровень, подобный апокалиптическим прогнозам, потому что можно увидеть, как банки могут стать жертвами мошенничества, а проблемы с данными и конфиденциальностью кажутся гораздо более масштабными, чем мы можем решить прямо сейчас. Поэтому мне интересно посмотреть на две вещи. Во-первых, насколько экстремальным станет поведение людей, а во-вторых, появятся ли в результате этого новые стартапы, или нам придется обратиться к инструментам с открытым исходным кодом [предлагаемым такими компаниями, как Nvidia] для создания этих уровней безопасности.