DSH HUB
HomePlugin StorePlugin PacksCommunityRankingsResourcesPublish Guide
Plugin source
Back to catalog

victor-github86 /

victor-github86/dsh-local-voice

Topic repository only

Local GPT-SoVITS voice engine for DeepSeek Harness — prosody-aware pauses, content self-check, pronunciation guard. Runs fully offline.

★ 0 Stars0 Forks0 IssuesN/A Community rating0 Confirmed installs
View on GitHub
READMESource: main@4fd11716

dsh-local-voice

给 DeepSeek Harness 装一副本地的、能喘气的声音。

基于 GPT-SoVITS 的本地 TTS 引擎 + 插件补丁:按标点分级停顿、段落长停、内容自检、发音护栏、状态小窗。 全部在本机跑,不联网、不调 API、不按字数收费。

English: this repo documents a local TTS engine for DSH built on GPT-SoVITS, plus a set of patches for the dsh-gsv-tts plugin (prosody-aware pauses, content self-check, pronunciation guard, status pill). All inference runs locally.


这个项目解决什么问题

dsh-gsv-tts 是 DSH 生态里成熟的 TTS 插件,但把微调过的 GPT-SoVITS v2ProPlus 权重接进去时会遇到三个真实问题:

  1. 长句念糊、末尾丢字——模型中途 EOS,但时长看起来正常,校验拦不住
  2. 削波成电流声——int16 音频被当 float32 写盘
  3. 分段失效——插件把中文标点归一成英文句点,段落换行被折叠成空格,停顿全乱

本项目的做法:不用 GSV-TTS-Lite 的推理壳,直接用 GPT-SoVITS 仓库的 TTS_infer_pack,在外面包一层兼容 dsh-gsv-tts 的 SSE 引擎,并加上四道保险。

效果

项目 结果
单句延迟(RTX 4080 Laptop,CUDAGraph=0) ~1.8 s(开 CUDA graph 会变成 25–30 s,见 FAQ)
停顿层次 顿号 0.15 / 逗号分号 0.20 / 冒号 0.30 / 省略号破折号 0.45 / 句末 0.42 / 段落 0.80 秒
漏字拦截 时长校验 + ASR 内容校验 + 尾字校验 + 幅度校验,四重
发音错误 同义词护栏(校验→检查、重试→再试一次、漏→少…),日志可查
状态可见 左下角小窗:待机 / 准备中 / 朗读中 i/n / 已暂停 / 引擎离线

架构

DSH Web UI
  │  POST /dsh-gsv-tts/speak  (朗读按钮 / 自动朗读)
  ▼
dsh-gsv-tts 插件(打补丁后)
  │  TextCleaner → Segmenter(保留段落换行)→ 逐段 POST /tts/stream
  ▼
repo_tts_server.py(本项目 · FastAPI)
  │  1. 发音护栏(同义替换)
  │  2. split_text:段落 > 句号 > 逗号,逐段给出停顿与语速
  │  3. TTS_infer_pack.run() → int16 → float32(/32768)
  │  4. 四道校验:时长 / ASR 覆盖率 / 尾字完整性 / 峰值幅度
  │  5. 12 ms 淡入淡出 + 90 ms 尾音静音
  ▼
SSE: event: audio(base64 float32 PCM + sample_rate)/ event: done
  ▼
插件 AudioStore → 客户端 <audio> 队列顺序播放

详细设计见 ARCHITECTURE.md,停顿规则见 docs/prosody.md,四道保险见 docs/quality-guards.md。

快速开始

前置:Windows 10/11、Python 3.10/3.11、CUDA 版 PyTorch、一份 GPT-SoVITS 仓库、一份自己的微调权重与参考音频。

# 1) 装依赖(建议单独 venv)
python -m venv .venv
.\.venv\Scripts\pip install -r requirements.txt

# 2) 指向你的 GPT-SoVITS 仓库与推理配置
$env:GSV_REPO_ROOT = "F:\GPT-SoVITS-main"
$env:GSV_CONFIG    = ".\examples\tts.yaml"        # 改里面的权重/参考音频路径
$env:GSV_WHISPER_DIR = "F:\whisper-medium"        # 可选:内容自检用的 ASR 模型(不装则只做时长校验)

# 3) 启动引擎(监听 9880)
python server\repo_tts_server.py

健康检查:

curl http://127.0.0.1:9880/health
# {"ok":true}

然后让 dsh-gsv-tts 指向这个引擎,并给插件打补丁:

# 备份 + 覆盖 5 个文件(详见 plugin/README.md)
.\plugin\apply.ps1 -PluginDir "$env:USERPROFILE\.dsh\profiles\desktop\node_modules\dsh-gsv-tts"

插件配置(cordis.patch.yml 里的 dsh-gsv-tts 段):

dsh-gsv-tts:
  provider: gsv
  apiUrl: http://localhost:9880
  timeout: 180000
  defaultVoice: 你的音色名

完整流程见 INSTALL.md。

环境变量

变量 默认 说明
GSV_REPO_ROOT C:\GPT-SoVITS GPT-SoVITS 仓库根目录
GSV_CONFIG examples/tts.yaml 推理配置(权重、参考音频、语种)
GSV_WHISPER_DIR C:\whisper-medium 内容自检用的 Whisper 模型目录
GSV_ASR_CHECK 1 设为 0 关闭 ASR 自检(只保留时长+幅度校验)
CUDAGraph 0 必须为 0,否则单句 25–30 秒

已知限制

  • 重音与句调做不到。GPT-SoVITS 的输入是音素序列,没有「这个词读重」的参数;实测「他姓陈?」与「他姓陈。」音高都下降(-79 Hz / -110 Hz),问句没有升调。详见 docs/faq.md。
    • 发音护栏是绕开不是治好:微调数据里没有的音节(如 漏)会被念错,只能换同义说法。
  • 目前只在 Windows + NVIDIA GPU 上验证;CPU 可跑但慢(实测约 2.4 倍实时)。

目录结构

dsh-local-voice/
├─ server/repo_tts_server.py   # 引擎本体(FastAPI + SSE)
├─ server/start-engine.ps1     # 启动脚本
├─ plugin/files/               # 打好补丁的 dsh-gsv-tts 文件(v5.0.1)
├─ plugin/apply.ps1            # 备份 + 覆盖
├─ examples/tts.yaml           # 推理配置模板
├─ docs/                       # 停顿规则 / 四道保险 / 微调流程 / FAQ
├─ tests/test_prosody.py       # 断句与停顿的纯逻辑测试(无需 GPU)
└─ INSTALL.md · ARCHITECTURE.md · TROUBLESHOOTING.md · CHANGELOG.md

声音与伦理

  • 本项目不含任何声音模型。权重、参考音频都由使用者自己准备。
  • 若用的是他人声音(声优、朋友、公开视频)训练的模型:只在获得许可的范围内使用,不冒充本人、不做商业分发。
  • 仓库里的示例配置只写路径,不附带音频文件。

致谢

  • GPT-SoVITS:推理与微调的全部基础
  • dsh-gsv-tts:DSH 侧的 TTS 插件、音频队列与 UI
  • 停顿规则的依据来自中文语调教学资料(停顿 / 重音 / 句调 / 语速),整理见 docs/prosody.md

License

MIT,见 LICENSE。

—/ 5

No ratings yet

Manifest verification required

Commit 4fd117169630

Community comments

No comments yet. Be the first to write one.

DSH HUB

A community index for DSH plugins. Not an official GitHub or DeepSeek AI product.

CommunityResourcesAPIAbout