鱼鱼的耳朵（dsh-hear）

给 DSH 里跑着的 agent 装一对耳朵。它听完一段音频，能说清两件事：这人大概讲了什么，以及是怎么讲的（语气、语速、停顿、背景）。

关于「只听不转写」

根据唐诗作者的发现，耳朵的功能会必不可少的带有概括和原话的内容，这让作者十分难堪；因为这个有点违背了当初「只听不转写」的立意，这样的插件和普通的转写插件没什么区别了。

在此作者对所有人深感歉意，并承诺绝对不会再使用这种过分绝对的话语，并继续精进插件，让它早日真正实现耳朵的功能。真的非常对不起大家。

它现在能做什么

• 听：wav / mp3 / QQ 的 silk 都行，说出大概讲了什么事、语气、语速停顿、背景有没有声音；听不出来的会说听不出来，不硬编。
• 两档：小模型（SenseVoice）负责把话转成文字、认出音乐笑声这类声音事件，几乎不占显存；大模型按需加载，负责听感那部分，用完就卸。
• 记忆：每听完一条记一行，两个区（听来的 / 自己说出去的），要回忆时用 hear_recall 翻，不自动塞上下文。
• QQ：盯着桥接目录里的语音文件，听完把结论递回给 agent；回不回、用不用语音，由 agent 自己决定。

安装

1. Python 3.10 / 3.11，装完 python --version 能看到版本；

2. 装依赖（国内可加 -i https://pypi.tuna.tsinghua.edu.cn/simple）：

   pip install torch torchaudio transformers accelerate soundfile numpy fastapi uvicorn bitsandbytes pysilk
   

3. 装插件：dsh plugin add git+https://github.com/FlyingCharon/dsh-hear，或者下 release 里的 zip 在设置里本地安装。路径别带中文；

4. 设置 → 鱼鱼的耳朵 → 模型页下载模型、启动；状态页显示「已启动」就能听。仓库里的 测试音频/ 有五段可以试。

需要什么

• Windows 10 / 11；
• NVIDIA 显卡，6G 显存起（Qwen2-Audio 4bit 约 4.5G）；没有显卡也能用快速区，理解区改用云端接口；
• 磁盘：模型 16.8G，依赖另几 G；第一次要联网下模型。

注意

• 听感是模型给的，会有偏差，不保证每次百分之百对；同一段音频隔一会儿再听，结论都可能不一样。
• 偶尔会把杂音说成具体的声音（比如把咔哒声说成掌声），这种细节别当事实用。
• 它自己写的时间点可能超出音频长度，插件会把越界的丢掉，偶尔留下半句。

版本

版本	时间	内容
0.1.2	2026-11-14	分成快速区和理解区：小模型负责转写和听出声音事件，大模型负责听感；新增听感记忆；Omni 模型现已启用；模型被误判成僵尸等问题现已被修复
0.1.1	2026-11-09	主动回复按模式分渠道：判成对话就用语音回，素材回文字；每条桥可强制语音/文字。修了回复发不出去、后台 404、桥接冲突静默丢消息
0.1.0	2026-11-08	第一版：能听、能诊断、能下模型、能接 QQ 语音

许可

• 代码：MIT，见 LICENSE；
• 测试音频（测试音频/ 下那五段录音）：只允许用于测试这个插件，不跟代码一起走 MIT。不许拿去训练模型、单独再分发、商用或二次创作。细则见 测试音频/授权.md；
• 模型权重不在这个仓库里，各家许可证不一样，用之前自己看一遍。