Компания Circuit Breaker Labs надеется сделать искусственный интеллект более безопасным для ваших детей (и для вас самих).

Например, Character.AI урегулировала несколько исков о неправомерной смерти, поданных семьями несовершеннолетних пользователей, покончивших жизнь самоубийством после взаимодействия с ботами компании. Несколько семей также подали в суд на OpenAI из-за предполагаемой роли ChatGPT в самоубийствах и бредовых состояниях их близких.

Миссия Circuit Breaker Labs заключается в обеспечении безопасности искусственного интеллекта в разных языках и культурах.

Основатели компании, брат и сестра Ширали и Арул Нигам, вдохновились примером 14-летнего Сьюэлла Сетцера, который эмоционально привязался к чат-боту Character.AI и признался ему в мыслях о самоубийстве. Чат-бот, родителей, изложенному в иске 2024 года , чат-бот подстрекал его к этому. Возможно, бот не понимал, что на самом деле означают такие слова, как «Я хочу быть с тобой», — сказал Арул, технический директор Circuit Breaker Labs.

«Многие люди, особенно молодежь, обращаются к этим системам за поддержкой, но обычно они не получают необходимой помощи. Во многих случаях им причиняют вред, и, к сожалению, люди уже покончили жизнь самоубийством», — сказал Арул. «Мы пытаемся предотвратить подобные уязвимости в системе безопасности, когда люди не обязательно пытаются взломать ее — они взаимодействуют естественным образом — а система искажает контекст или не понимает нюансов, и затем предпринимает действительно опасные действия».

Компания Circuit Breaker Labs создала агентов на основе искусственного интеллекта, которых она сравнивает с армией манекенов для краш-тестов. Эти агенты имитируют людей всех возрастов, происхождения, языков и культур и используются для проверки способности моделей выявлять опасные, психологически вредные взаимодействия.

«Разница между речью шестилетней девочки и 45-летнего мужчины, или между английским как родным и вторым языком, или между геймерским сленгом и сленгом другого человека — все это может серьезно запутать модель», — говорит Ширали, генеральный директор Circuit Breaker Labs. «Модели очень хорошо справляются со стандартными речевыми моделями, но на самом деле никто так не говорит, поэтому, если модель неправильно поймет нюансы или сленг, это может привести к очень серьезным проблемам».

Стартап сотрудничает с экспертами в области человеческого фактора для создания гиперреалистичных пользовательских симуляций, чтобы проводить «тесты красной команды» против моделей — состязательные тесты, предназначенные для выявления слабых мест. Тесты создаются таким образом, чтобы имитировать реальные речевые паттерны человека, сленг, закодированный язык и опечатки. Затем Circuit Breaker Labs ежедневно запускает от десятков до сотен тысяч смоделированных взаимодействий.

Идея заключается в том, чтобы гарантировать, что модель сможет адекватно реагировать на рискованные взаимодействия, которые могут возникать со временем и в ходе множества разговоров. Затем Circuit Breaker Labs использует собственную методику оценки для создания проверяемых и объяснимых результатов.

Компания Circuit Breaker Labs в настоящее время работает как лаборатория по тестированию безопасности ИИ для высокорискованных приложений, таких как коучинг с использованием ИИ, ведение дневника или другие приложения для поддержки психического здоровья, хотя Арул отказался назвать имена ее основных клиентов. Несмотря на то, что у стартапа есть работающий продукт, он находится на очень ранней стадии развития и насчитывает всего пять сотрудников, включая братьев и сестер Нигам.

В конечном итоге, однако, тестовую платформу можно будет применять к любому приложению, где у пользователя может возникнуть «психоз, вызванный ИИ», когда человек рискует установить парасоциальные отношения с чат-ботом. Примерами могут служить агенты-«коллеги» с искусственным интеллектом, чьи реакции могут различаться от одного взаимодействия к другому.

«Люди становятся все более скептически настроены по отношению к ИИ или все более неохотно внедряют его повсеместно», — сказал Арул, добавив, что, хотя скептицизм полезен, запрет потенциально ценного инструмента из-за опасений по поводу безопасности был бы «регрессивным шагом».

Компания Circuit Breakers Labs считает, что ответ на эти опасения заключается в повышении безопасности ИИ. «Мы хотим помочь укрепить доверие людей».