dsh-local-voice
给 DeepSeek Harness 装一副本地的、能喘气的声音。
基于 GPT-SoVITS 的本地 TTS 引擎 + 插件补丁:按标点分级停顿、段落长停、内容自检、发音护栏、状态小窗。 全部在本机跑,不联网、不调 API、不按字数收费。
English: this repo documents a local TTS engine for DSH built on GPT-SoVITS, plus a set of patches for the
dsh-gsv-ttsplugin (prosody-aware pauses, content self-check, pronunciation guard, status pill). All inference runs locally.
这个项目解决什么问题
dsh-gsv-tts 是 DSH 生态里成熟的 TTS 插件,但把微调过的 GPT-SoVITS v2ProPlus 权重接进去时会遇到三个真实问题:
- 长句念糊、末尾丢字——模型中途 EOS,但时长看起来正常,校验拦不住
- 削波成电流声——
int16音频被当float32写盘 - 分段失效——插件把中文标点归一成英文句点,段落换行被折叠成空格,停顿全乱
本项目的做法:不用 GSV-TTS-Lite 的推理壳,直接用 GPT-SoVITS 仓库的 TTS_infer_pack,在外面包一层兼容 dsh-gsv-tts 的 SSE 引擎,并加上四道保险。
效果
| 项目 | 结果 |
|---|---|
单句延迟(RTX 4080 Laptop,CUDAGraph=0) |
~1.8 s(开 CUDA graph 会变成 25–30 s,见 FAQ) |
| 停顿层次 | 顿号 0.15 / 逗号分号 0.20 / 冒号 0.30 / 省略号破折号 0.45 / 句末 0.42 / 段落 0.80 秒 |
| 漏字拦截 | 时长校验 + ASR 内容校验 + 尾字校验 + 幅度校验,四重 |
| 发音错误 | 同义词护栏(校验→检查、重试→再试一次、漏→少…),日志可查 |
| 状态可见 | 左下角小窗:待机 / 准备中 / 朗读中 i/n / 已暂停 / 引擎离线 |
架构
DSH Web UI
│ POST /dsh-gsv-tts/speak (朗读按钮 / 自动朗读)
▼
dsh-gsv-tts 插件(打补丁后)
│ TextCleaner → Segmenter(保留段落换行)→ 逐段 POST /tts/stream
▼
repo_tts_server.py(本项目 · FastAPI)
│ 1. 发音护栏(同义替换)
│ 2. split_text:段落 > 句号 > 逗号,逐段给出停顿与语速
│ 3. TTS_infer_pack.run() → int16 → float32(/32768)
│ 4. 四道校验:时长 / ASR 覆盖率 / 尾字完整性 / 峰值幅度
│ 5. 12 ms 淡入淡出 + 90 ms 尾音静音
▼
SSE: event: audio(base64 float32 PCM + sample_rate)/ event: done
▼
插件 AudioStore → 客户端 <audio> 队列顺序播放
详细设计见 ARCHITECTURE.md,停顿规则见 docs/prosody.md,四道保险见 docs/quality-guards.md。
快速开始
前置:Windows 10/11、Python 3.10/3.11、CUDA 版 PyTorch、一份 GPT-SoVITS 仓库、一份自己的微调权重与参考音频。
# 1) 装依赖(建议单独 venv)
python -m venv .venv
.\.venv\Scripts\pip install -r requirements.txt
# 2) 指向你的 GPT-SoVITS 仓库与推理配置
$env:GSV_REPO_ROOT = "F:\GPT-SoVITS-main"
$env:GSV_CONFIG = ".\examples\tts.yaml" # 改里面的权重/参考音频路径
$env:GSV_WHISPER_DIR = "F:\whisper-medium" # 可选:内容自检用的 ASR 模型(不装则只做时长校验)
# 3) 启动引擎(监听 9880)
python server\repo_tts_server.py
健康检查:
curl http://127.0.0.1:9880/health
# {"ok":true}
然后让 dsh-gsv-tts 指向这个引擎,并给插件打补丁:
# 备份 + 覆盖 5 个文件(详见 plugin/README.md)
.\plugin\apply.ps1 -PluginDir "$env:USERPROFILE\.dsh\profiles\desktop\node_modules\dsh-gsv-tts"
插件配置(cordis.patch.yml 里的 dsh-gsv-tts 段):
dsh-gsv-tts:
provider: gsv
apiUrl: http://localhost:9880
timeout: 180000
defaultVoice: 你的音色名
完整流程见 INSTALL.md。
环境变量
| 变量 | 默认 | 说明 |
|---|---|---|
GSV_REPO_ROOT |
C:\GPT-SoVITS |
GPT-SoVITS 仓库根目录 |
GSV_CONFIG |
examples/tts.yaml |
推理配置(权重、参考音频、语种) |
GSV_WHISPER_DIR |
C:\whisper-medium |
内容自检用的 Whisper 模型目录 |
GSV_ASR_CHECK |
1 |
设为 0 关闭 ASR 自检(只保留时长+幅度校验) |
CUDAGraph |
0 |
必须为 0,否则单句 25–30 秒 |
已知限制
- 重音与句调做不到。GPT-SoVITS 的输入是音素序列,没有「这个词读重」的参数;实测「他姓陈?」与「他姓陈。」音高都下降(-79 Hz / -110 Hz),问句没有升调。详见 docs/faq.md。
- 发音护栏是绕开不是治好:微调数据里没有的音节(如
漏)会被念错,只能换同义说法。
- 发音护栏是绕开不是治好:微调数据里没有的音节(如
- 目前只在 Windows + NVIDIA GPU 上验证;CPU 可跑但慢(实测约 2.4 倍实时)。
目录结构
dsh-local-voice/
├─ server/repo_tts_server.py # 引擎本体(FastAPI + SSE)
├─ server/start-engine.ps1 # 启动脚本
├─ plugin/files/ # 打好补丁的 dsh-gsv-tts 文件(v5.0.1)
├─ plugin/apply.ps1 # 备份 + 覆盖
├─ examples/tts.yaml # 推理配置模板
├─ docs/ # 停顿规则 / 四道保险 / 微调流程 / FAQ
├─ tests/test_prosody.py # 断句与停顿的纯逻辑测试(无需 GPU)
└─ INSTALL.md · ARCHITECTURE.md · TROUBLESHOOTING.md · CHANGELOG.md
声音与伦理
- 本项目不含任何声音模型。权重、参考音频都由使用者自己准备。
- 若用的是他人声音(声优、朋友、公开视频)训练的模型:只在获得许可的范围内使用,不冒充本人、不做商业分发。
- 仓库里的示例配置只写路径,不附带音频文件。
致谢
- GPT-SoVITS:推理与微调的全部基础
- dsh-gsv-tts:DSH 侧的 TTS 插件、音频队列与 UI
- 停顿规则的依据来自中文语调教学资料(停顿 / 重音 / 句调 / 语速),整理见 docs/prosody.md
License
MIT,见 LICENSE。
No comments yet. Be the first to write one.