dsh-fish-service

在 DSH 里使用本机 AI 的插件：朗读回复、用麦克风说话、把音视频转成文字，也给 Agent 提供本机的语音与媒体处理能力。 所有处理都在本机完成，不联网，也不会产生额外的调用费用。

1. 用途

• 朗读回复：每条已完成的回复旁有一个喇叭按钮，点一下开始朗读，再点一下停止。 长内容会边生成边播放，不用等整段准备好；相同内容再次朗读会直接复用上次的音频。
• 语音输入：输入框右侧的麦克风按钮可以录音，录完选择「转文字」「保留语音」或「取消」。 转出的文字插入光标处，可以继续修改。
• 自动朗读：输入框左侧的开关按会话生效，开启后新收到的回复会自动朗读。
• 给 Agent 的能力：插件向 Agent 提供 8 个工具，覆盖文字转语音、语音识别、翻译、人声分离、 视频关键帧、媒体信息、任务查询和状态查询。
• 设置页：「设置 → 插件 → 本地 AI」可以查看状态与各项能力、调整朗读与语音输入的偏好、 查看和管理缓存、读取运行日志。

2. 安装

前置条件：本机已经安装并启动配套的本地 AI，且首次使用所需的模型已经下载好。 本插件只负责调用，不负责安装、启动或升级本地 AI。

请用命令行安装（手动改配置容易漏掉依赖），把路径换成本机的实际位置：

dsh plugin --profile desktop add E:\dsh-fish-service

安装完成后重启 DSH，插件才会加载。安装过程不会启动或重启本地 AI。

3. 使用

朗读回复：把鼠标移到回复下方的操作行，点喇叭按钮。准备期间按钮显示转圈，播放中显示暂停图标； 分段朗读时按钮旁会显示进度（如 2/5）。切换消息或再点一次即停止。

语音输入：点输入框右侧的麦克风开始录音，再点一次结束，然后在浮层里选择：

• 转文字：把录音转成文字并插入输入框；
• 保留语音：把录音保存在本机，并把保存位置插入输入框（当前版本还不支持把录音作为附件发送）；
• 取消：丢弃这段录音。

录音最长 5 分钟、最大 25MB。若有多支麦克风，可在设置页指定使用哪一支；默认跟随系统设置。

自动朗读：输入框左侧的开关只影响当前会话；设置页里的「新会话默认自动朗读」决定新会话的初始状态。

设置页：修改后点「保存设置」立即生效，无需重启。 「测试连接」可以检查本地 AI 是否可连通；服务刚启动时各项能力可能还没就绪，可用它刷新。 缓存分区可以查看占用与复用情况，也可以清空朗读缓存或清理过期文件。

给 Agent 的工具：

工具	用途
fish_tts	把文字转成语音，一次最多 20 条
fish_asr	把本机音频或视频转写为文字，可识别人声特征、返回时间点
fish_translate	批量翻译文字
fish_separate	把音频或视频分离成人声、鼓、贝斯等音轨
fish_vision_frames	从本机视频中选取关键帧并生成摘要
fish_media_probe	读取本机媒体文件的时长与音视频参数
fish_job	查询、取消或等待本机任务
fish_service_status	查看本地 AI 的状态与各项能力

工具只返回本机文件路径与耗时等信息，不返回文件内容本身；失败时会给出可直接展示的中文提示。

已知缺陷

• 不在插件内安装、启动、升级或卸载本地 AI，也不下载模型。
• 不支持直接分析网络视频，需要先把视频保存到本机。
• 不支持把录音作为附件发送，只能转为文字或保存到本机后引用其位置。
• 长视频处理耗时较长，期间没有进度提示。
• 能力列表来自最近一次探测；本地 AI 刚启动时可能显示为不可用，点「测试连接」即可刷新。
• 显存不足时会提示关闭占用显存的程序或卸载暂时不用的模型，插件本身不会自动腾退。

更细的部署、契约与设计说明见 docs/。