DSH HUB
HomePlugin StorePlugin PacksCommunityRankingsResourcesPublish Guide
Plugin source
Back to catalog

q2216150776 /

q2216150776/dsh-voice-bridge

Topic repository only

点一下桌宠说话,语音自动变成 DeepSeek 任务(配合 dsh-pet 使用)

★ 0 Stars0 Forks0 IssuesN/A Community rating0 Confirmed installs
View on GitHub
READMESource: main@5f39dd06

dsh-voice-bridge · 大肥鱼语音桥

点一下桌面上的 大肥鱼 说话,再点一下,语音就变成 DeepSeek 里的一条任务。

适用于 DeepSeek Harness + 桌宠插件 dsh-pet(那只圆滚滚的蓝色大肥鱼)。

点击桌宠 ─→ 录音 ─→ 宿主 SenseVoice 识别 ─┬─→ 「打开某某网站/文件夹」→ 直接打开
                                          └─→ 其他 → 提交给 DeepSeek,桌宠跟着进入工作状态

不用额外装模型,也不用 API Key —— 语音转文字用的是 DSH 自带的能力。


运行原理与分流优先级

一次点击发生了什么

① 全局鼠标钩子看到「左键抬起」
      ↓ 只把坐标丢进队列,立刻返回(绝不阻塞鼠标)
② 工作线程判断:落点距桌宠中心 < 120px,且窗口属于桌宠进程?
      ↓
③ waveIn 开始录音(16kHz / 单声道 / PCM16),气泡「🎤 听着呢…」
      ↓ 再点一次(或满 20 秒自动结束)
④ POST /dsh-pet-7340/voice/hear —— 转文字走宿主自带的 SenseVoice
      ↓
⑤ 按下面的优先级分流
      ↓ 需要交给 DeepSeek 时
⑥ 切前台 → 点输入框 → Ctrl+V → 回车 → 等回合事件确认送达

桌宠插件(dsh-pet)一行代码都不用改,它只暴露本地 HTTP 接口给本项目调用。

分流:优先桥,办不到才交给 DeepSeek

一句话进来,按顺序判断,任何一步成功就结束:

优先级 触发条件 处理者
1 说了「交给模型 / 转交 / 通过 deepseek」 🤖 DeepSeek
2 「通过浏览器 / 用浏览器」+ 站点名,或直接说站点名 🌉 桥打开浏览器网页
3 「打开 XX 文件夹 / 目录」「打开 X 盘」 🌉 桥打开电脑文件夹
4 「打开 XX 客户端 / 软件」 🌉 桥启动已装程序
5 前面全不命中,或者命中但办失败 🤖 原样交给 DeepSeek

「办失败」也算:目录找不到、文件夹打不开、站点认不出来、客户端起不来、 一句话里除了"打开 X"还有别的要求(不能只做一半)。

设计原则一句话:桥只做确定能办到的事,做不成就把整句话原封不动交出去。

当前桥的两项主要能力就是:打开浏览器网页、打开电脑文件夹。


特性

类别 说明
🎙️ 点击说话 点一次开始录音,再点一次结束并自动提交;20 秒自动收尾
🧠 用现成识别 调 DSH 的 /voice/hear(SenseVoice,本地跑),零额外依赖
🌐 打开网站 「打开哔哩哔哩 / steamDB / 知乎…」直接开浏览器
📁 打开文件夹 「打开视频文件夹 / addons 文件夹」直接开资源管理器;打开过的名字会记成别名
🚀 启动客户端 「打开网易云音乐客户端 / 打开 QQ」按注册表找到真实 exe 启动
🗣️ 复杂任务转交 一句话里除了"打开X"还有别的(并、然后、下载…)就原样交给 DeepSeek
🎈 气泡播报 识别中、已打开、已发送,都会出现在桌宠气泡里
🖥️ 全屏自动挂起 检测到全屏程序 → 卸载鼠标钩子 + 隐藏桌宠,退出全屏自动恢复
🛡️ 反作弊保护 检测到 SGuard / EasyAntiCheat / Riot 等在跑 → 不注入键鼠(否则可能被杀)

零第三方依赖:只用 Python 标准库 + ctypes。


环境要求

  • Windows 10 / 11
  • Python 3.9+(或用 DSH 自带的运行时,脚本会自动找)
  • 已安装 DeepSeek Harness 并启用桌宠插件 dsh-pet
  • DSH 里启用了语音输入能力(/voice/hear 可用;DSH 自带的 dsh-experimental-voice-input-bundle 即可)

安装

  1. 把整个文件夹放到任意位置(不要放在受限制的目录,例如某些沙箱/同步目录)

  2. 双击 start.cmd

    会打印一段状态,看到这样就成功了:

    ---- bridge status ----
    version=v3.8
    pid=12345
    hook=installed
    -----------------------
    
  3. 点一下桌宠,说话,再点一下。

⚠️ 必须从资源管理器双击。在沙箱化终端里运行会拿不到键鼠注入权限。


用法

动作 结果
点桌宠 气泡 🎤 听着呢…,开始录音
再点一次 结束录音 → 识别 → 提交(或直接打开目标)
双击 stop.cmd 停止
双击 restart.cmd 重启(改代码后必须,Python 不会热加载)
双击 doctor.cmd 体检,逐项打印能力

分流规则见前面的「运行原理与分流优先级」一节。

语音识别走样

英文专有名词容易被听错,下面这些变体都已容错:

你说的 可能被识别成 是否可用
DeepSeek deep sick / 地铺seek / 迪普seek ✅
SteamDB teamDB / steam db ✅
语音桥 语音条 ✅
NVIDIA 音伟达 ✅

实在听不准就说中文口令:「交给模型」、「打开脚本文件夹」。


配置

别名表 aliases.json

打开成功一次会自动记住"名字 → 路径"。也可以手写:

{
  "视频": "D:\\Videos",
  "addons": "E:\\SteamLibrary\\steamapps\\common\\Left 4 Dead 2\\left4dead2\\addons",
  "语音桥": "D:\\tools\\dsh-voice-bridge"
}

匹配规则:后缀优先(说「求生之路2的补丁」时,结尾的"补丁"优先于前面的"求生之路2")。

环境变量

变量 默认 用途
VOICE_BRIDGE_RADIUS 120 点击判定半径(像素)
VOICE_BRIDGE_COMPOSER_X 0.55 输入框水平位置(窗口宽度比例)
VOICE_BRIDGE_COMPOSER_Y 130 输入框距窗口底边像素
VOICE_BRIDGE_PET_WAIT 120 启动时等桌宠出现的上限(秒)
VOICE_BRIDGE_PET_MISS 3 连续几次看不到桌宠就退出
VOICE_BRIDGE_SEARCH_FALLBACK 0 设 1 时,认不出的站点改用 Bing 搜索
VOICE_BRIDGE_OPEN_SITES 1 设 0 关闭"打开网站/文件夹"直连

已知限制

  • 录音上限 20 秒(接口硬限制 768 KiB ≈ 24 秒)
  • 点击判定是圆形区域,不是像素级贴合鱼身
  • 提交靠键鼠自动化:会切前台、点输入框、粘贴、回车
  • 反作弊会在跑时不注入:SGuard / EasyAntiCheat / Vanguard 等检测到模拟输入会杀进程
  • 全屏时不工作:钩子和桌宠都会被挂起(这是设计,不是 bug)

低级鼠标钩子的性能铁律(踩过的坑)

WH_MOUSE_LL 的回调跑在所有鼠标事件的必经路径上:回调慢 1ms,全系统鼠标慢 1ms;超过系统超时还会被 Windows 静默卸载,表现是"点了没反应"。

所以回调里只能把坐标塞进队列然后立刻返回。命中判定(含 HTTP)、日志、触发会话全部放在后台线程。

曾经把一次 HTTP 查询(83ms)放在回调里,导致全系统鼠标卡顿,还被 Windows 卸钩子。


排查

日志在本目录 bridge.log,异常在 crash.log。

现象 原因
点了没反应 钩子没装上(看 [钩子] 安装失败),或点在判定圈外
鼠标整体变卡 回调里有阻塞操作(见上面的铁律)
气泡"没听清" 录音太短/太轻,或宿主识别器没启用
气泡"已发送但未确认" 消息可能已送达但没等到回合事件;文字会自动进剪贴板
进程无声消失 大概率被反作弊杀掉;看 status.txt 是否停止更新
桥连不上桌宠 DSH 重启换了端口 —— 正常情况会自动重新发现

体检:python voice_bridge.py --doctor 自测:python selftest.py --with-open


与 dsh-pet 的关系

本项目不修改 dsh-pet,只调用它暴露的本地 HTTP 接口:

  • GET /dsh-pet-7340/state、/pose —— 读状态与宠物坐标
  • POST /dsh-pet-7340/voice/hear —— 语音转文字(走 DSH 的识别能力)
  • POST /dsh-pet-7340/broadcast —— 往气泡里说话
  • POST /dsh-pet-7340/sleep —— 全屏时让它睡觉

所以升级或重装桌宠插件不会影响本项目。


许可

MIT。详见 LICENSE。

第三方声明:本项目仅通过 HTTP 与 dsh-pet(MIT)交互,不包含其代码或素材。

—/ 5

No ratings yet

Manifest verification required

Commit 5f39dd06c8d8

Community comments

No comments yet. Be the first to write one.

DSH HUB

A community index for DSH plugins. Not an official GitHub or DeepSeek AI product.

CommunityResourcesAPIAbout