Новая голосовая модель Блока звучит пугающе по-человечески.

Dessa — это полнодуплексная модель, что означает, что она может говорить и слушать одновременно, как и модель GPT-Live, выпущенная OpenAI ранее в этом году . Обычно речевые модели используются в паре с большими языковыми моделями для извлечения знаний. Блок сказал, что знания Dessa основаны на имеющихся у нее данных о разговорах.

Блок заявил, что существующие модели могут звучать неестественно и раздражающе, потому что в процессе генерации речи используется текст. Многие модели, такие как ElevenLabs v4 или Fish Audio Drama 3, используют голосовые теги для управления эмоциональностью речи. Компания Дорси утверждает, что эмоции заложены в саму модель. Неясно, управляются ли эти эмоции какими-либо тегами.

«Взаимодействие с современным голосовым ИИ может быть просто ужасным. Он превращает ваш голос в текст и отбрасывает невероятное количество информации, которую один текст не может передать. Самые мощные ИИ в мире не могут услышать, что вы чувствуете. Мы считаем это абсурдным, это приводит к ухудшению пользовательского опыта и потенциально опасно», — говорится в сообщении компании в блоге .

Исследователи компании опубликовали множество примеров разговоров с Дессой, где у агента были разные голоса, интонации и эмоции. Например, в одном из разговоров бот сказал, что устал от работы, и в этот момент его голос звучал действительно устало.

В приведенном ниже примере бот говорил о человеке, который создавал комфортную обстановку, при этом его речь звучала эмоционально и он был почти на грани срыва.

На другом снимке показан сотрудник команды Block, играющий в игру с голосовым помощником.

Компания заявила, что модель может работать локально на потребительском компьютере, таком как MacBook M4 Max или более мощном. Однако в настоящее время публичный доступ к Dessa отсутствует, и Block призвал исследователей в области безопасности протестировать модель. Вероятно, это будет сделано для проверки случаев, когда голосовой агент может обмануть собеседника.

Компания Block работает в сфере финансов и продает свои решения малому бизнесу. Square уже использует голосовой ИИ для обработки заказов . Но благодаря собственной голосовой модели, которая может работать на устройстве, она может обеспечить гораздо больше возможностей для бизнеса и потребителей при меньших затратах.