dsh-ru-voice-input

Русский Voice input для DeepSeek Harness. Одна установка — и в композере микрофон, который сразу понимает русский.

Зачем он существует

Штатный плагин Voice input заточен под китайский: единственный провайдер — SenseVoice, и в релизном чекпойнте русского нет. Замер на Apple M1 (26.09.2026, 28.6 с русской речи): SenseVoice int8 вернул пустую расшифровку (0 слов, WER 100 %) и всё равно занял ~600 МБ RAM.

Замеры — на M1 / 8.6 ГБ, синтез речи macOS say -v Milena. Это смоук, а не бенчмарк.

Установка

dsh plugin --profile web add https://github.com/tayuLuc/dsh-ru-voice-input

Перезапустите Web UI. Дальше — кнопка микрофона между моделью и Send: нажать, разрешить доступ, записать, Stop. Расшифровка вставляется в черновик.

Первое использование скачивает и проверяет модель (ревизия и SHA-256 закреплены) в ~/.dsh/models/gigaam-v3-ctc/. SenseVoice не качается: в этом бандле его нет, у него нет русского.

Если pnpm ругается на ERR_PNPM_IGNORED_BUILDS — разрешите сборку нативного рантайма в ~/.dsh/profiles/<profile>/pnpm-workspace.yaml:

allowBuilds:
  onnxruntime-node: true
  koffi: true

Что внутри

Один пакет, четыре слоя, формально те же четыре строки, что у штатного Voice input:

Слой	Что это
./lib/registry.js	форк speech-to-text с починенным configure()
./lib/gigaam/index.js	провайдер GigaAM v3 CTC на onnxruntime-node или transcribe-cpp
@deepseek-ai/dsh-experimental-api-speech-to-text	мост браузер↔хост, штатный
@deepseek-ai/dsh-experimental-client-ui-voice-input	кнопка микрофона, штатная

Дефолты: распознаватель gigaam-v3-ctc-local, язык ru. Свежий профиль работает без кликов.

Слои 1 и 2 заданы относительными спецификаторами — загрузчик их резолвит внутри пакета. Так бандл остаётся самодостаточным: пакет, поставленный из git, не может зависеть от собственных подкаталогов.

Движки

Движок выбирается конфигом engine. По умолчанию auto: на Apple Silicon берётся mlx, везде остальное — onnx-asr.

engine	Что внутри	Mac	Nvidia	CPU	Пунктуация
auto	выбирает сам	есть	есть	есть	есть
mlx	gigaam-mlx, чистый MLX	есть	нет	нет	есть
onnx-asr	onnx-asr, e2e через onnxruntime	есть	есть, CUDA	есть	есть
gguf	GGUF Q8_0 через transcribe-cpp	есть, Metal	есть, CUDA	есть	нет
onnx	int8 через onnxruntime-node	есть	есть	есть	нет

Замеры на Apple M1, прогретые, русская речь 5 с и 28.6 с:

движок	RTF 5 с	RTF 28.6 с
mlx (e2e ctc)	0.027	0.017
onnx-asr (e2e ctc)	0.048	—
gguf (Q8_0)	—	0.016
onnx (int8)	0.038	0.043

Пунктуацию дают только e2e-движки. Словарь CTC-голов GigaAM — 34 токена: ▁, 32 русские буквы и <blk>. Знаков препинания в нём нет физически, поэтому gguf и onnx не могут их выдать ни при какой настройке.

Пример одного и того же места: панель а показывает (CTC) против Панель A показывает (e2e).

Кванты зависят от платформы, и это учтено: MLX-кванты годятся только на Apple Silicon, GGUF работает и через Metal, и через CUDA, а ONNX int8 — единый формат для всех.

Python-движки

Python ≥ 3.10 и ffmpeg в PATH:

uv venv ~/.dsh/venvs/gigaam-mlx --python 3.12
uv pip install --python ~/.dsh/venvs/gigaam-mlx/bin/python \
  "gigaam-mlx @ git+https://github.com/aystream/gigaam-mlx.git"
uv pip install --python ~/.dsh/venvs/gigaam-mlx/bin/python onnx-asr onnxruntime

Один venv обслуживает оба сайдкара; на не-Apple достаточно поставить только onnx-asr. Путь ищется так: e2ePythonPath, иначе $GIGAAM_MLX_PYTHON, иначе <dsh home>/venvs/gigaam-mlx/bin/python. Веса движок качает сам в кэш Hugging Face.

Цена первого запроса. В свежем процессе движок компилирует пайплайн: первый ответ ~1.7 с против 0.13 с прогретого. idleTimeoutMs: 0 ставить не стоит — воркер должен переживать паузу между записями.

Словарь

Распознаватели маленькие, и имена они коверкают. Ни один из рантаймов не умеет hotword-биасинг, поэтому коррекция идёт по тексту после распознавания.

Словарь — JSON-массив в ~/.dsh/stt-lexicon.json:

["Sisyphus", "авто-брайн", "dsh", "GigaAM", "obsidian"]

Термин подставляется только если его нет в тексте и найденное слово достаточно похоже (lexiconThreshold, по умолчанию 0.8). Порог режет и ложные срабатывания, и случаи вроде Сизифус → Sisyphus: восстановить тяжёлую транслитерацию строковой мерой нельзя, и гадать хуже, чем оставить слово как есть. Чистые случаи вроде дш → dsh и гигаам → GigaAM ловятся, потому что сводятся через одну раскладку букв.

Почему реестр форкнут

Штатный configure() проверяет текущий язык против нового провайдера:

const id = patch.providerId ?? this.config.defaultProvider.get();
this.selectedProvider(id, patch.language ?? this.config.language.get());

Из-за этого смена распознавателя невозможна, когда сохранённый язык не входит в список нового провайдера. В настройках это выглядит как «выбрал — откатило», и выхода нет: выбрать русский можно только у провайдера, который русский уже поддерживает.

Фикс: голое переключение провайдера берёт язык, который новый провайдер принимает, — сначала сохранённый, иначе первый в его списке. Явно заданный язык по-прежнему проверяется и по-прежнему отвергается вслух.

Контракт сервиса не изменён: имя speechToText, схема конфига и все методы те же, поэтому штатные мост и UI работают против форка без изменений.

Проверка

npm test                              # реестр (11 проверок) + словарь (12 проверок)
node test/provider.mjs <clip.wav>     # провайдер: регистрация, prepare, расшифровка

У провайдера есть отрицательный контроль: тишина обязана дать пустой текст, иначе сломанная модель прошла бы как рабочая.

Живой замер движка:

node test/provider.mjs <clip.wav> ~/.dsh/models/gigaam-v3-ctc auto   # или onnx-asr, mlx, gguf, onnx
node scripts/models.mjs                  # что лежит на диске и что можно убрать
node scripts/selftest.mjs <clip.wav> ~/.dsh/models/gigaam-v3-ctc onnx  # замер только Node-движков

Что дальше

RNNT вместо CTC в движке e2e. Сейчас по умолчанию ctc — он быстрее. rnnt заявлен точнее (~77× против ~330× realtime у автора на M2 Max), обе ветки с пунктуацией. Переключается конфигом e2eModel, без переустановки.

Память. По умолчанию воркер освобождается через 120 с простоя. idleTimeoutMs: 0 держит его загруженным постоянно — на ноутбуке этого стоит избегать.

Лицензия

MIT. Форк реестра — производная от @deepseek-ai/dsh-experimental-speech-to-text 0.1.7-rc.2. Веса модели не входят в поставку: провайдер тянет их сам по закреплённой ревизии.