Компания Anthropic предоставляет исследователям METR доступ к внутренним механизмам системы на уровне сотрудников.

Эта договоренность заключена в период, когда с конца августа каждые одну - две недели выявляются случаи, когда агенты искусственного интеллекта действуют вне своих указаний . Эти инциденты усилили призывы к независимому контролю за компаниями, занимающимися разработкой ИИ.

«Мы хотим нести публичную ответственность за принимаемые нами решения», — говорится в сообщении Anthropic в блоге. «Наша цель — сократить разрыв между тем, что понимают эксперты о системах передовой компании в области ИИ, и тем, что понимает сама компания».

В рамках нового соглашения команда METR располагает предоставленными компанией Anthropic ноутбуками, рабочим местом и доступом к внутренним инструментам, примерно сопоставимым с тем, что используют собственные группы оценки рисков Anthropic. «Сотрудникам Anthropic рекомендуется обмениваться с ними информацией так же, как и с коллегами, работающими над рисками, связанными с согласованием», — заявила компания.

Издание Anthropic сравнило эту схему с банковской деятельностью, по аналогии с тем, как регулирующие органы размещают штатных инспекторов в крупнейших банках. 

METR опубликует собственные оценки рисков, инцидентов и методов работы компании Anthropic, и компания отказалась от права блокировать их.

«Компания Anthropic не может наложить вето на публикацию, но мы можем потребовать от них удалить информацию, если она попадает в узкие, заранее определенные категории», — заявила компания, имея в виду, например, данные клиентов, любую информацию, защищенную адвокатской тайной, или информацию об архитектуре ее моделей. «METR имеет право публично характеризовать наши удаления и заявлять, считают ли они их оправданными, при условии, что при этом не раскрывает саму удаленную информацию», — добавила Anthropic.

METR — пока единственный оценщик, находящийся на вершине трехступенчатой ​​системы, которую строит Anthropic. Оценщики нижнего уровня, такие как некоммерческая организация по биобезопасности SecureBio, проводят узкую проверку и требуют одобрения Anthropic для публикации. Средний уровень получает больше информации и может публиковать без одобрения, а верхний уровень добавляет доступ на уровне сотрудников METR. 

Объявление, сделанное в четверг, подтверждает обещание, данное генеральным директором Anthropic Дарио Амодеи в сентябрьском эссе , где он предложил в качестве первого шага к замедлению развития технологии внедрить независимых экспертов в лаборатории искусственного интеллекта. OpenAI быстро поддержала это предложение , и обе компании, наряду с Google, Meta, Nvidia и xAI, с тех пор подписали соглашение с Белым домом, обязуясь проводить независимую проверку.