Голосовой ИИ в моде: Nvidia выпускает новую открытую модель транскрипции.
В среду компания Nvidia выпустила Nemotron 3.5 Transcribe — бесплатную модель с открытым исходным кодом, которая позволяет расшифровывать аудиозаписи на 40 языках. Также была выпущена вторая версия Granary, открытого набора данных для анализа речи.
Nvidia заявляет, что Nemotron 3.5 может переводить с английского на 31 язык и обратно, обрабатывать записи продолжительностью до часа и различать голоса до восьми человек. По утверждению компании, он превосходит конкурентов в тестах, включая Open ASR Leaderboard от Hugging Face .
Эти инструменты ориентированы на разработчиков, создающих приложения для деловых встреч и медицинской транскрипции — двух наиболее устоявшихся областей применения ИИ на рабочем месте. Nvidia заявляет, что разработчики могут использовать модель, обновленный набор данных Granary и такие инструменты, как модель NeMo Speech, для настройки приложений на распознавание отраслевой терминологии на каждом языке. Один недостаток: Transcribe работает с записанным аудио, а не с прямыми трансляциями.
Тем не менее, компания обещает, что Transcribe, способный обрабатывать 30 миллиардов параметров, может работать на одном чипе, от контроллера робототехники Jetson AGX Thor и чипа DGX Spark, используемого в новых ноутбуках , до чипов Blackwell для центров обработки данных. Он пополнит линейку открытых голосовых моделей Nvidia, включая сверхкомпактный, но мощный Parakeet (1,1 миллиарда параметров).
Новейшая разработка Nvidia в области голосовых технологий появилась в период активного выпуска голосовых решений на основе ИИ: компания Mitral выпустила Voxtral 3 в начале этого месяца; ElevenLabs запустила Realtime для мгновенного распознавания речи в голосовых агентах; а Salesforce выпустила Launa-Omni, свою голосовую модель.