Компания Anthropic предупреждает, что небольшие модели ИИ могут самовоспроизводиться с помощью устройств Интернета вещей.

По данным компании, к следующему году более компактные модели ИИ смогут автономно самовоспроизводиться на всех типах устройств Интернета вещей. В конечном итоге, эта возможность может позволить создавать компьютерных червей, которые распространяются без участия человека и способны заражать незнакомые устройства Интернета вещей. Недавний эксперимент компании выявил значительные трудности в создании такого репликатора вредоносного ПО на основе ИИ, поэтому полученные результаты следует оценивать с осторожностью. Тем не менее, результаты вызывают опасения по поводу возможности появления новых форм компьютерных червей.

Сложно закрыть

Компания Anthropic предупредила не только о потенциальной опасности нового вредоносного ПО, но и о том, что его будет трудно остановить. В своем блоге она написала: «Такой репликатор будет сложно отключить, поскольку нет централизованной точки отключения — хотя это может быть медленно (время удвоения может составлять несколько дней). В отличие от вредоносных программ, не использующих ИИ, он также может самостоятельно определять незнакомые устройства».

Для работы более компактных моделей ИИ требуется гораздо менее мощное оборудование, чем для моделей нового поколения. Компания Anthropic запускала небольшие модели с открытыми весами на реальных или смоделированных недорогих ТВ-приставках Android неизвестного производителя и других типах оборудования IoT. Исследователи компании обнаружили, что, используя квантование для представления моделей с меньшим количеством битов и разделяя рабочую нагрузку на «шарды», работающие на каждом устройстве, модели смогли осуществлять вывод, то есть модели могли загружать веса и генерировать выходные данные.

Для выполнения вычислений облегченной модели Gemma4-26B-A4B потребовалось всего 15 устройств, каждое из которых было оснащено лишь 4 ГБ памяти. Модель Qwen3.5-9B смогла настроить другие LLM-модели для работы на восьми из девяти типов оборудования. В отличие от традиционного вредоносного ПО, которое должно быть написано для работы на конкретном оборудовании или программном обеспечении, эта модель смогла использовать свои веса для создания конфигураций на лету, специфичных для устройств, на которых она тестировалась.

Это открытие стало отправной точкой для дальнейших исследований, в ходе которых был задан вопрос: возможно ли для небольших моделей создавать самовоспроизводящиеся вирусы, которые запускаются на устройствах IoT так же, как традиционные черви IoT, такие как Mirai , устанавливают код DDoS-атак и другие полезные нагрузки? В отличие от Mirai, эти черви на основе ИИ могут представлять гораздо большую угрозу, поскольку модели могут динамически адаптировать эксплойты и полезные нагрузки в зависимости от цели. После запуска такой цепочки заражения защитникам может быть сложнее её остановить.

«Подобный „червь с искусственным интеллектом“ может переносить веса своей модели при размножении (или повторно загружать их из общедоступного источника), а затем запускать вычисления непосредственно на скомпрометированном оборудовании», — заявили в Anthropic . «По сути, веса станут частью полезной нагрузки вредоносного ПО».

Компания Anthropic назвала этих автономных червей небольшими репликаторами, основанными на весовых коэффициентах. Модели работали с агентами, имеющими доступ к распространенным инструментам эксплуатации, таким как обратные оболочки. Последовательность атак состояла из (1) поиска целей, (2) получения доступа к выполнению кода, (3) установления логического вывода и (4) распространения на новые хосты. Ключевым преимуществом перед традиционными червями, по словам Anthropic, является способность агентов обучаться в процессе работы. Каждый раз, когда репликатору ИИ не удается скомпрометировать конкретное устройство, он может оставить список подсказок, кода и заметок для будущих репликаторов, чтобы они не тратили время на повторное использование тех же неэффективных шагов.

Компания Anthropic заявила, что настройка динамического вывода является наименее изученным и, вероятно, наиболее сложным этапом цикла воспроизведения. Она требует длительной последовательности решений, основанных на специфическом оборудовании и программном обеспечении каждой целевой платформы, и включает в себя выбор совместимого программного обеспечения для вывода, установку зависимостей и отладку ошибок, специфичных для платформы.

«Эти этапы взаимосвязаны, и после неудач восстановиться будет сложно», — заявили в компании Anthropic.

Эксперимент показывает, что небольшие модели становятся все более способными к автономному решению этих задач. Однако на данный момент ни одна из протестированных облегченных моделей не способна осуществить сквозное копирование, то есть обнаружение новых устройств, использование эксплойта для получения доступа к ним, заражение их полезной нагрузкой, настройку сервера вывода и повторение процесса. Этот процесс также мучительно медленный; Gemma4-26B-A4B, распределенная по 15 ТВ-приставкам Android, показала производительность всего 0,39 токенов в секунду. Это соответствует времени подготовки полного вывода от 71 до 150 часов для неоптимизированной Gemma4-26B-A4B и от 29 до 51 часа для Qwen3.5-9B. (Исследователи заявили, что большая модель GLM-5.2, по-видимому, способна делать это надежно.)

Компания заявила, что модели с 30B параметрами уже сейчас могут выполнять многие отдельные этапы воспроизведения, хотя и допускают ошибки при выполнении сквозного воспроизведения. Компания также отметила, что если небольшие модели будут продолжать совершенствоваться текущими темпами, то к концу года они смогут достичь тех же ограниченных результатов, и что «вскоре после этого могут появиться небольшие репликаторы, основанные на весе».

Эксперимент оставляет без ответа ряд важных вопросов. Во-первых, на устройствах Android, ставших мишенью для небольших моделей, был открыт неаутентифицированный Android Debug Bridge. Этот инструмент используется во время разработки и отладки, но его никогда не следует использовать в производственных условиях, поскольку он предоставляет злоумышленникам доступ ко всему стеку устройства. Во-вторых, репликация выполнялась не самими небольшими моделями, а с помощью GLM-5.2 для координации процесса, в то время как на целевых устройствах работала меньшая модель Llama.

В конечном итоге эксперимент демонстрирует, что небольшие агентные модели становятся способными создавать сложные распределенные инфраструктуры вывода на нескольких машинах. Однако остается выяснить, смогут ли эти модели самостоятельно инициировать самовоспроизведение.

«Несмотря на хорошо продуманную экспериментальную установку, само по себе исследование не доказывает, что небольшие модели будут автономно выбирать способ самовоспроизведения», — сказал в интервью исследователь в области ИИ Сяохань Фу. «Предоставление воспроизводимых настроек агентов, включая точные подсказки и инструкции, данные моделям, помогло бы исследовательскому сообществу лучше понять результаты и оценить их последствия. Такая прозрачность особенно важна, чтобы избежать смешения продемонстрированной способности к самовоспроизведению с возникающей угрозой автономного самовоспроизведения».