сли вы хоть раз надиктовывали текст на ноутбуке или ждали, пока ИИ-диктофон расшифрует запись встречи, вам знакома эта раздражающая задержка. Вы говорите, аудиофайл улетает на удаленные серверы, а вы смотрите на вращающийся значок загрузки и надеетесь, что конфиденциальный разговор не утечет в сеть. Команда исследователей Granite — Брайан Кингсбери, Джордж Саон, Сэмюэл Томас, Вишал Сандер, Джефф Куо, Такаши Фукуда, Масаюки Судзуки и Мэдисон Ли — представила две компактные модели распознавания речи, способные выполнять всю работу прямо в вашем браузере или на чипе устройства.
Чистая скорость без облачных серверов
Новые модели под названиями granite-speech-5.0-470m-turboctc и granite-speech-5.0-470m-turboctc-nc содержат всего 470 миллионов параметров. Столь скромный размер рассчитан специально на локальный запуск на пользовательских гаджетах, а не на прожорливых серверных стойках. В тестах с пакетной обработкой данных на графическом процессоре NVIDIA H200 архитектура показала суммарную пропускную способность свыше 12 600 RTFx.
Модели способны расшифровать более 3,5 часа аудиозаписи за одну секунду при пакетной обработке.
Подобная скорость означает колоссальный скачок в плотности вычислений. Чтобы показать, как быстро это работает в реальной жизни, разработчики запустили потоковое демо через технологию WebGPU: оно транскрибирует голос на лету прямо внутри стандартных браузеров Chrome или Edge. Это означает, что ваш ноутбук, смартфон или смарт-диктофон сможет мгновенно переводить голосовые заметки в текст без отправки аудио через интернет и без платных облачных подписок.
Точность и локальная архитектура
Урезание размера модели обычно приводит к падению точности, но результаты тестов не уступают куда более массивным системам. На открытых англоязычных бенчмарках коротких аудиозаписей OpenASR Leaderboard некоммерческая версия granite-speech-5.0-470m-turboctc-nc показала уровень ошибок в словах (WER) всего 4,85%, а версия под открытой лицензией Apache 2.0 (granite-speech-5.0-470m-turboctc) — 5,00%. Некоммерческий вариант обучен на расширенном наборе данных: он заметно точнее на базе SPGI Speech, но немного уступает на фрагментированном тесте Earnings22. В рейтинге распознавания удаленного звука FFASR новинки заняли пятое и девятое места по точности соответственно, при этом забрав два первых места по абсолютной скорости.
Чтобы добиться таких показателей, инженеры отказались от сложных авторегрессионных языковых моделей и дополнительных адаптеров LoRA. Архитектура построена только на базе энкодера, в отличие от прежних моделей Granite Speech, которые включали акустический энкодер, проектор и полноценную языковую модель.
Практические компромиссы для повседневных задач
Отказ от встроенной языковой модели влечет за собой понятные функциональные ограничения: система просто выдает чистый текст, но не выполняет автоматический перевод или краткий пересказ встречи. Однако если ваша цель — безупречно быстрая расшифровка, которая не зависает при обрыве Wi-Fi, специализированные энкодеры прямо в памяти гаджета становятся именно тем решением, которого не хватало рынку.
Релиз Granite Speech 5.0 Turbo CTC доказывает, что точное распознавание речи больше не требует дорогостоящих облачных мощностей и отправки приватных данных на чужие серверы. Уместив флагманскую точность в компактную модель на 470 млн параметров, запускаемую в обычном браузере, разработчики дали производителям электроники готовый рецепт для создания быстрой и полностью автономной голосовой диктовки в любых потребительских устройствах.