DSH HUB
HomePlugin StorePlugin PacksCommunityRankingsResourcesPublish Guide
Plugin source
Back to catalog

slchy /

slchy/dsh-pet-wearable

Topic repository only

Pet for DeepSeek Harness (dsh) that lives on smart glasses - it speaks up on its own and shares your view. Early development; no stable API yet.

★ 1 Stars0 Forks1 IssuesN/A Community rating0 Confirmed installs
View on GitHub
READMESource: main@a49fa05a

dsh-pet-wearable

面向智能穿戴设备的云端全双工语音 Agent(基于 dsh)。

穿戴端仅负责音频采集与播放、拍照及设备状态上报,ASR、判停、推理与 TTS 全部在云端完成。系统支持随时打断与有节制的主动开口,并通过握手阶段的能力协商实现设备无关——接入新型号硬件无需改动核心代码。

「pet」指什么

这里的 pet 指的是行为层面的在场感与适度主动性,而非桌面像素宠物、动画或固定人设(角色语气与习惯完全由提示词定义,可随时替换)。

区别于传统唤醒词工具「叫了才应」的交互方式,全天候穿戴设备更适合一种低存在感的伴生形态:

  • 持续在场感知:结合佩戴状态、剩余电量与深夜时段判断当前是否适合交互。
  • 双向对话主动权:以用户随时开口为主导,系统仅在合适时机受控地主动搭话。

硬件适配与设计原则

接入新设备(如雷鸟 X3 Pro)不需要修改本仓库代码。针对穿戴硬件的典型约束,系统在协议与算法层做了以下适配:

  • 能力协商与降级:设备在 Hello 握手中声明自身能力(是否支持免手拍、音频采集、能量/佩戴状态上报等),插件不绑定具体型号。能力缺失时自动降级(例如不支持免手拍则不主动触发拍照)。

  • 远场低电平拾音:针对实测底噪 -60…-51 dBFS 的穿戴麦克风,采用上行增益 + 能量门(-40 dBFS)+ 基于音频特征的语义判停(Smart Turn),不依赖固定静音时长切分。

  • 插话与打断:能量门或 ASR 增量任一命中即触发打断(不依赖关键词匹配,避免环境噪声误触峰值),立即作废当前轮次、下发 audio.stop,并记录未播完的片段。

  • 低功耗与弱网恢复:端侧不运行 ASR、TTS 或推理模型;低电量时自动抑制主动开口。网络断开重连后自动对齐会话状态,并补播断线期间完成的后台任务结果。

快速开始(零密钥本地跑通)

无需连接真机或配置任何 API Key,使用内置的 canned 识别、silent 合成与 echo agent 即可跑通完整链路:

npm install
node src/main.ts --listen 8766 --stt canned --tts silent --agent echo

在另一个终端模拟设备推流音频:

node tools/fake-phone.ts --port 8766 --sbc tmp/voice.sbc

如需验证主动开口逻辑(纯虚拟时间运行,零网络、零密钥、零 ffmpeg 依赖):

npm run sim                           # 运行声明式场景
npm run sim -- --explore --runs 500   # 随机探索,检测不变量违反
npm run sim -- --trace out/           # 导出 JSONL 格式时间线

真机与生产环境依赖:接入真实硬件需安装 ffmpeg(用于 mSBC 解码)并配置至少一家 STT/TTS 供应商;运行真实对话需接入 dsh(非本仓库直接 npm 依赖)。

系统架构

  眼镜 / 耳机 / 手机                         云端
┌────────────────────┐           ┌────────────────────────────────┐
│ AudioRecord        │   mSBC ─► │ transport   帧解析 / 鉴权 / 心跳 │
│ AudioTrack         │  ◄─ PCM   │       ↓                        │
│ Camera2            │           │ 能量门 → ASR → 判停 → 对话轮次   │
│ 佩戴 / 电量 / 触摸  │  Event ─► │       ↓                        │
└────────────────────┘           │ TTS ← dsh agent                │
                                 │       工具 / 后台 Job / 子代理   │
                                 └────────────────────────────────┘

架构遵循三条核心原则:

  1. 设备无关:src/devices/ 仅定义标准原语(6 个下行操作、6 个上行事件及一份能力声明),通过握手协议动态适配硬件。

  2. 组件可替换:STT、TTS 与 agent 都通过工厂契约注入(见 src/providers.ts),无密钥时自动回落离线实现。换上新的 STT/TTS 只需一个实现文件加一个装配分支,业务逻辑不动;agent 走同一契约,但内置实现绑定 dsh。

  3. 逻辑可单测:时机判定、判停、打断与绑定策略均抽离为不依赖 Socket 的纯函数,由 npm test(302 条用例)与假设备线协议测试完整覆盖。

全双工与后台调度

  • 非阻塞执行:前台命令超时阈值设为 1s,超时后不强杀进程而是转为后台 Job,主对话立即恢复响应。工具按耗时分层:ls 等轻量命令直接执行,探索、编译或外部 CLI 调用派发给 Subagent。

  • 话筒仲裁:所有音频输出遵循严格优先级队列:user > reply > announce > pet > reflex。后台任务执行完毕后,会等待当前用户发言结束再行播报。

主动开口机制

主动开口并非定时轮询,而是一个基于多维上下文的时机状态机(详见 ADR-0001)。每次触发前均会评估佩戴变化、电量、深夜时段、环境安静时长、话筒占用状态以及最小发言间隔。

默认策略偏向克制。如需提高交互频率,可调小 chatterAfterIdleMs,建议通过参数调优而非叠加新规则,以保持行为的可解释性。

在独立进程模式下,主动开口默认关闭,需设置环境变量 PET_PROACTIVE=1 开启(启动日志将输出当前开关状态)。

当前进展(0.0.x)

项目处于早期可用与持续打磨阶段:

模块 当前状态
语音主链路(mSBC → STT → 判停 → 推理 → TTS → 打断) 真机跑通(src/main.ts 独立进程形态)
设备会话(拉起语音、拍照回传、佩戴与电量上报) 手机端跑通
主动开口状态机 已实现,支持 sim 离线复现;独立进程需设 PET_PROACTIVE=1
dsh 插件形态(driver.ts) 入口与配置就绪,语音链路尚未接线,当前请使用独立进程形态
首字延迟(20 轮真实对话实测) 中位 2.0 s / p90 8.3 s;瓶颈主要在 Agent 多步推理(每步 1.1–1.5 s),而非生成或 TTS

延迟排查与性能分析可通过可复算的日志脚本定位:scripts/latency-report.ts 用于逐轮分段统计,scripts/dsh-timeline.ts 用于对齐 dsh 会话日志以拆解 Agent 内部耗时。

配置与部署

完整配置说明请查阅 docs/OPERATIONS.md。常用核心配置如下:

配置项 默认值 说明
port 8766 设备接入监听端口
host 127.0.0.1 绑定地址;监听非本机地址时必须同时配置 tls 与 auth,否则拒绝监听(见 bind-policy.ts)
tls.keyPath / certPath '' TLS 证书路径,须成对配置或同时留空
auth.tokenFile '' 设备鉴权 Token 文件,请使用 npm run pair -- new 生成,勿手动拼写
voice Chloe TTS 合成音色
turnThreshold 0.5 语义判停阈值

安装为 dsh 插件:

dsh plugin --profile <profile> add dsh-pet-wearable

Patch 语义提示:配置补丁中裸条目默认按 id 覆盖;新增节点必须写在 insert: 字段下,否则会触发 entry not found 错误。

相关文档

文档 内容说明
ADR-0001 应用层与 pet 设计:端口、状态机、三张登记表及实施顺序
ADR-0002 虚拟时间模拟器:单一调度器、Mock 组件、声明式场景与三层判定
CLOUD-ARCHITECTURE 云端架构:模块分层、类职责、并发模型与扩展点
device-protocol 线协议规范:帧格式、控制指令与状态帧(设备端开发必读)
OPERATIONS 运维指南:部署形态、鉴权与 TLS 轮换、原始归档与延迟报告
RAYNEO-X3-PRO 新设备接入实践参考

注:端侧实现(手机 App、眼镜 SDK)不在此仓库维护,本仓库仅负责消费上述线协议。

明确边界(Out of Scope)

  • 不做视觉形象:不开发像素风界面、动画或虚拟人物形象,已有成熟开源方案覆盖该方向。

  • 不支持单会话多设备同时在线:严格遵循「一副设备对应一个会话」的模型。

  • 不造形式化主观指标:交互自然度以实际盲测体验为准,不为「拟人感」强行设计量化打分体系。

许可

MIT

—/ 5

No ratings yet

Manifest verification required

Commit a49fa05a3ab4

Community comments

No comments yet. Be the first to write one.

DSH HUB

A community index for DSH plugins. Not an official GitHub or DeepSeek AI product.

CommunityResourcesAPIAbout