鱼的记忆库 · fish-memory
一个给 AI 用的长期记忆服务:把聊天里发生的事提炼成结构化记忆,存进本地 SQLite,需要时用语义 + 关键词混合召回,再让记忆按时间自然衰减、合并、沉淀,顺带长出一份会变的"自我认知档案"。
单机、单文件服务(Python 标准库 + numpy / onnxruntime / tokenizers 这几个轻依赖;torch / transformers 只在需要兜底或首次导出 ONNX 时才装),监听 127.0.0.1:7891,数据全在自己电脑上。
这是我个人用的一套东西,我不是程序员,所以它肯定有 bug。装上以后建议让 AI 自己跑一遍检查:链路通不通、是不是真的在起作用。

这个仓库里有两个部分
| 位置 | 是什么 | 语言 | 怎么跑 |
|---|---|---|---|
| 仓库根目录 | 记忆服务本体:提炼、召回、生命周期、日记、成长、星图、单页面板 | Python | python service.py(默认 7891) |
plugin/ |
DeepSeek Harness 插件(接入层):memory_* 七个工具 + 对话前注入记忆 |
Node | node plugin/install.mjs |
一句话:记忆只存一份,谁都能用 —— QQ 里的她、DSH 里的你、浏览器里的面板,读写同一份长期记忆。 插件不实现记忆算法,只把 DSH 的工具调用转发给这个服务;不装插件也能单独用服务和面板。
它解决什么问题
普通聊天机器人换个会话就忘干净。这个服务想解决三件事:
- 记得住 —— 你说过的偏好、定下的规矩、发生过的事,被提炼成一条条记忆存下来,下次能自己找回来。
- 不越积越乱 —— 记忆会衰减、归档、合并、纠错;重复的说法会被语义判重挡在库外,不会变成一堆"重播"。
- 会长 —— 从日记和记忆里定期反思,长出一份六字段的"自我认知档案"(称呼、说话方式、对用户的态度、自我认知、最近在琢磨什么、此刻心情),并记录每一版为什么改;带防回摆的几道闸,避免在几个版本之间来回转。
特性
- 提炼:原始消息按批送模型提炼成
{summary, kind, importance, entities, relations},kind 分偏好 / 事实 / 片段 / 规矩 / 关系 / 技能六类。 - 混合召回:向量(本地 bge-small-zh-v1.5,512 维)+ 关键词(SQLite FTS5,中文 bigram 兜底)融合排序,按分层配额(P0 基石 / P1 近况 / P2 长期 / P3 临时)取记忆。
- 原话对账(防摘要失真):每条记忆除了模型写的摘要,还会回到原始消息表(
raw_messages,最近 2 万条)里按meta.span时间窗找一句当时真正说出口的话,一起带进召回结果(quote/quoteRole);注入给 AI 时块里每条是- [2026-11-01] 摘要…|原话 老板:…,并在提示头声明「摘要与原话对不上时以原话为准,没给原话的只当模糊印象,不许推断第一次/从来没有」。原句采集是纯本地字符串比对,不调模型、0 元;实测每条召回平均多 105 字符(约 +1~2% prompt)。 - 判重:字面近似(SequenceMatcher)→ 向量近似(余弦)→ 语义灰带(0.78~0.88 交模型确认)三层,跨会话统一判重池(同一个"脑子")。
- 生命周期:重要度衰减、tier 升降、归档与回收站、冲突登记、记忆纠错(update / downgrade / delete)。
- 日记:AI 自己的日记,按天写、按 10 天/月/年自动压缩总结,原文永不删;私聊/群聊各一本(私聊本能读到全部,每条标着来源;群聊本只看得到这个群),同一天再写会并进同一条,不会冒出两三篇。
- 自动写日记:每天 00:05 自己写前一天的,不用人提醒。关机错过也会补:下次开机后按 0–7 天(可配)往回补,只补那天真有素材的日子;没内容的日子不硬编,试过一次就不再反复试。
- 成长档案:六字段档案 + 版本历史 + 差异视图 + 回档。每天 00:20 自动反思一次,素材读全部会话(私聊 + 群聊),档案只有一份,不按会话分开。
- 不留测试痕迹:自检脚本跑完会把
test:*的记忆、日记、提醒、成长记录一并清掉,服务每次启动也清一次,记忆库里不会堆测试数据。 - 星图:把记忆、实体、连线画成一张可缩放的星系图,hover 看全文、类型、重要度、日期。
- 面板:内置单页 UI(记忆 / 日记 / 成长 / 星图四个页签),带搜索、筛选、分页、回收站、导出。
架构
聊天来源(QQ 桥接 / DSH 插件 plugin/ / 任何脚本)
│ POST /ingest (原始消息,按批进缓冲)
▼
┌─────────────────────────────┐
│ service.py HTTP :7891 │
│ ├─ pipeline 提炼/归因/判重│
│ ├─ engine 写库/召回 │
│ ├─ store SQLite 存储 │
│ ├─ retrieve 混合召回 │
│ ├─ decay/tier 生命周期 │
│ ├─ diary 日记+压缩 │
│ ├─ growth 成长反思 │
│ └─ starmap 星图数据 │
└──────────┬──────────────────┘
│ data/fish-memory.db(SQLite,全在本机)
▼
POST /recall → 返回可直接拼进提示词的记忆块
快速开始
要求:Python 3.11+,Windows / macOS / Linux 都行(开发环境是 Windows)。第一次跑要能联网下 embedding 模型(约 95MB,走 hf-mirror 镜像)。
不想手动敲命令? 把 plugin/INSTALL-WITH-DSH.md 里那段话复制给 DeepSeek Harness 的 AI,让它替你把服务跑起来、插件装上、token 填好;最后重启 DSH 那一步仍要你自己点(AI 没法重启自己)。
1. 跑服务本体
git clone https://github.com/ty2922059981-stack/fish-memory.git
cd fish-memory
python -m venv .venv
.venv/Scripts/activate # Windows;Linux/macOS 用 source .venv/bin/activate
pip install -r requirements.txt # 轻依赖:onnxruntime / tokenizers / numpy
# 提炼要用模型,key 只从环境变量读,不会写进任何文件
export MEMORY_LLM_API_KEY=sk-... # Windows: set MEMORY_LLM_API_KEY=sk-...
python service.py
(Windows 也可以直接双击 start.cmd,Linux/macOS 用 ./start.sh:脚本会自动建虚拟环境、装依赖,装完写 .venv/.installed 标记;以后每次启动前都会检查标记和关键包,缺了就重装,不会出现"装到一半失败、以后永远跳过安装"的情况。首次安装需要下载依赖,要几分钟,脚本会先打印这句提醒。)
依赖是拆开的:requirements.txt 只有轻依赖(ONNX 路径够用,常驻约 150MB);torch / transformers 在 requirements-torch.txt 里,只有需要 torch 兜底、或者第一次要把模型导出成 ONNX 时才装。服务默认优先用 ONNX,找不到 model.onnx 时回退 torch,并在启动日志里打一条显眼警告。
启动后:
- 服务:http://127.0.0.1:7891/health
- 面板:http://127.0.0.1:7891/ui(第一次打开要填 token,见下)
token 从哪来:第一次启动时会自动生成 48 位 hex,写在 state/token:
cat state/token
# 面板右上角填这个 token;脚本请求带 header:x-memory-token: <token>
2. 把向量模型导成 ONNX(强烈建议,装完就跑一次)
为什么要做:不导的话服务回退 torch 跑 embedding,常驻内存 1~3GB;导成 ONNX 之后常驻约 150MB,功能一模一样,开机也快。
服务跑过一次、模型已经自动下到 models/bge-small-zh-v1.5/(约 95MB)之后:
pip install -r requirements-torch.txt # 导出需要 torch + transformers + onnx
python export-onnx.py
pip uninstall -y torch transformers # 导完可以卸掉,服务只用 ONNX 那套轻依赖
产物是 models/bge-small-zh-v1.5/model.onnx(约 520KB)。重启服务即生效,日志里会写 engine=onnx。
不导也能用:没有这个文件时自动回落到 torch,功能一样,只是常驻内存 1~3GB——启动日志里会明确警告并提示你运行 python export-onnx.py。
想强制回退:设 FISH_MEMORY_EMBED_ENGINE=torch。
3. 下载可选的本地重排模型(可选,约 280MB)
为什么要做:召回本身靠向量+关键词混合,但排序还能更准一点。加一个本地交叉编码器重排模型,检索命中率在公开评测集上从 92.6% 提到 98.1%(hit@5 到 100%),纯 CPU、不联网、检索仍然 0 元;代价是每次召回多约 150–170ms。
python tools/fetch_rerank_model.py # 从 hf-mirror 下 Xenova/bge-reranker-base 的 int8 ONNX
python tools/fetch_rerank_model.py --check # 自检:输入/输出名、分词器、能否加载
不下也能用:没有模型文件时
rerank.available()为假,召回自动降级成不重排,行为和之前一样(只是排序质量差一点)。下不动就换镜像:
FM_HF_ENDPOINT=https://huggingface.co python tools/fetch_rerank_model.py;或者干脆跳过这步。模型权重不随本仓库分发(278MB,
models/在.gitignore)。许可与隐私说明见下方「数据与隐私 → 模型权重」。开关:
FM_RECALL_RERANK=0关重排、FM_RECALL_COMBO=0关「合并召回」退回旧的 hybrid 单路。⚠️ 2.3.4–2.3.8 这五个版本的
FM_RECALL_RERANK=0退回路径是坏的:组合召回在关重排时存在合并顺序 bug,hit@1 会从 92.6% 掉到 42.6%(hit@5 96.3%→67.6%)。2.3.10 已修(关重排时 combo 与 engine 同为 92.6%),用旧版请升级后再依赖这个开关。📊 两条退回路径都是实测过的(2.3.10,108 题公开集,12 格矩阵,
ops/_bench/matrix.md):开关 598 行 6,598 行 30,798 行 默认(重排开 + 合并开) 98.1% / hit@6 100% 97.2% / 100% 97.2% / 100% FM_RECALL_RERANK=0(关重排)92.6% / 100% 95.4% / 100% 95.4% / 100% FM_RECALL_COMBO=0(关合并)96.3% / 96.3% 96.3% / 96.3% 93.5% / 96.3% 两个都关 92.6% / 96.3% 92.6% / 96.3% 88.9% / 96.3% → 退回能用,但不是无损:库大时关合并掉 3.7pp,两个都关掉 8.3pp。日常不建议关,出问题再退。
一句实话:这 98.1% 是公开评测集(候选里有多个相似答案、需要精确排序)的数;作者自用的真实小库上重排净收益≈0,别当成普适加成。评测方法与原始数据见 tools/bench_recall.py。
4. 装 DSH 插件(可选)
只有想在 DeepSeek Harness 里用的时候才需要,前提是上一步的服务已经在 127.0.0.1:7891 跑着:
node plugin/install.mjs # 默认装到 ~/.dsh、desktop profile
脚本做四件事:复制插件到 ~/.dsh/plugins/dsh-fish-memory-hub → 注册到 ~/.dsh/profiles/<profile>/package.json → 建 node_modules 软链 → 生成 ~/.dsh/fish-memory-hub.json。可重复执行(幂等);DSH_HOME 可覆盖 ~/.dsh。装完重启 DSH,设置里会出现「鱼的记忆库」,同时多出 7 个 memory_* 工具(细节见 plugin/README.md)。
5. 装上以后先自查一遍
这个插件是个人自用、作者不是程序员,一定有 bug。建议装完自己验一遍链路:
- 打开 http://127.0.0.1:7891/ui,四个页签都能出数据(库刚建时是空的,可以先看面板是否正常加载);
- 在 DSH 里让 AI 调
memory_status,应返回记忆条数和分层分布; - 跟 AI 说一句"记住我每天喝两杯咖啡",过一会儿再问它,看能不能自己找回来。
配置
环境变量(都可以不设,有默认值):
| 变量 | 默认 | 作用 |
|---|---|---|
FM_PORT |
7891 |
监听端口(只绑 127.0.0.1) |
FM_DATA_DIR |
./data |
数据库目录;指到别处 = 独立实例(可以做演示库) |
FM_DEFAULT_KEY |
private:default |
默认记忆分区 key |
FM_GROWTH_KEY |
空 | 成长档案固定用哪个 key |
FM_BUFFER_IDLE_SECONDS |
1800 |
缓冲多久没新消息就触发提炼 |
FM_MAX_TEXT_CHARS |
8000 |
单条写入文本的字数上限;超了直接 400(防止超长文本拖慢判重) |
FM_LOG_MAX_BYTES |
5242880 |
单份 logs/service.log 上限(默认 5MB),超了滚成 .1/.2/.3,最多留 3 份 |
FISH_MEMORY_EMBED_ENGINE |
auto |
向量引擎:auto(有 model.onnx 就用 ONNX,否则 torch)/ onnx / torch |
FM_VEC_DEDUPE |
0.88 |
向量判重阈值 |
FM_SEM_DEDUPE_MIN / FM_SEM_DEDUPE_MAX |
0.78 / 3 |
语义灰带判重下限 / 每批最多看几个候选 |
FM_TIER_QUOTA_* |
见代码 | 各层召回配额 |
FM_DECAY_* / FM_LIFECYCLE_* |
见代码 | 衰减与生命周期节奏 |
FM_DIARY_COMPRESS_SECONDS |
86400 |
日记压缩检查间隔 |
FM_DIARY_AUTO_HOUR / FM_DIARY_AUTO_MINUTE |
0 / 5 |
每天几点自动写前一天的日记 |
FM_DIARY_AUTO_LOOKBACK_DAYS |
7 |
关机错过时最多往回补几天 |
FM_DIARY_AUTO_MAX_GEN |
24 |
一轮回补最多生成多少篇(控 token) |
FM_GROWTH_HOUR / FM_GROWTH_MINUTE |
0 / 20 |
每天几点自动反思一次 |
FM_GROWTH_INTERVAL_SECONDS |
86400 |
成长反思间隔(日历调度下的兜底最小间隔) |
FM_GROWTH_MIN_DIFF |
0.18 |
成长字段"改动太小"的判定阈值 |
FISH_MEMORY_EMBED_MODEL |
./models/bge-small-zh-v1.5 |
本地 embedding 模型目录 |
FISH_MEMORY_EMBED_DEVICE |
自动 | cpu / cuda |
MEMORY_LLM_API_KEY |
空 | 提炼/反思用的模型 key(DeepSeek 兼容接口) |
MEMORY_EXTRACT_MODEL |
deepseek-flash |
提炼用哪个模型 |
MEMORY_LLM_BASE_URL |
官方 DeepSeek | 模型接口地址;指向 Ollama / vLLM / 自建网关就是本地跑,数据不出机器 |
MEMORY_LLM_OFFLINE |
空 | 设 1 = 完全不出网:不调模型,只留本地存储 + 关键词检索(不提炼) |
MEMORY_LLM_REDACT |
开 | 出网前自动脱敏(手机号 / 身份证 / 银行卡 / sk-* / ghp_* / Bearer token);设 0 关闭 |
FM_LLM_DAILY_CNY |
2.0 |
每天调用模型的总花费上限(人民币,按峰价折算);超了当天不再调模型,记忆照常存、只是不提炼 |
FM_LLM_CORE_DAILY_CNY |
1.0 |
其中「写记忆」这条主链(提炼 / 导入 / 重提炼 / 合并)的预算;导入前会预检,预计花费超了直接拒绝 |
FM_LLM_ENRICH_DAILY_CNY |
0.5 |
「后台增强」预算(画像 / 判重 / 冲突检测 / 日记 / 成长反思);用完就跳过,不影响聊天 |
FM_LLM_DAILY_CALLS |
800 |
每天模型调用次数上限(防止便宜但极频繁的调用把量堆上去) |
FM_PROFILE_DAILY_MAX |
24 |
画像扫描每天最多调几次模型 |
FM_CONFLICT_MAX_PER_FLUSH |
6 |
一次写入批里最多对几条新记忆做冲突检测(批量导入时不会按全量烧钱) |
FM_BUDGET_DISABLED |
空 | 设 1 关掉整个预算闸(不推荐,除非你自己盯着账单) |
模型通道:core/llm.py 默认打 https://api.deepseek.com/chat/completions,key 只从 MEMORY_LLM_API_KEY 或 ~/.dsh/.credentials.yaml 现读,日志里会统一抹掉 sk-*。
启动时 logs/llm.log 会打一行 [privacy],写明这次连的是官方 / 本机 / 第三方、脱敏开没开。想自己确认跑的是哪条路,就看这一行。
面板
四个页签,数据全在本地:
| 记忆 | 日记 | 成长 | 星图 |
|---|---|---|---|
![]() |
![]() |
![]() |
![]() |
HTTP API(摘要)
正式的读写接口要 header x-memory-token(值 = state/token)。面板自己用的 /ui/api/* 不校验 token(只绑 127.0.0.1,且只认本机 Host/Origin、写操作必须是 JSON),细节见「数据与隐私」和 SECURITY.md。
| 方法 | 路径 | 作用 |
|---|---|---|
| GET | /health |
健康检查(记忆数、实体数、重复组数) |
| POST | /ingest |
送一条原始消息进缓冲 {key, role, text, ts} |
| POST | /flush |
立刻提炼当前缓冲 {key, sync?} |
| GET | /recall / POST /recall |
召回记忆(拼提示词用的块 + 结构化条目) |
| POST | /remember |
直接写一条记忆(可带 entities) |
| GET | /diary/list · /diary/feed |
日记原文 / 压缩总结 |
| POST | /diary/write · /diary/compress · /diary/auto |
写日记 / 触发十天总结 / 手动触发自动写(run_now) |
| GET | /growth · /growth/feed · /growth/history |
成长档案与版本历史 |
| POST | /growth/reflect · /growth/rollback |
触发反思 / 回档 |
| GET | /starmap |
星图节点与连线 |
| POST | /shutdown |
优雅退出 |
| — | /ui/api/* |
面板内部接口(统计、列表、纠错、回收站、合并重复、maintenance/purge-test 清测试数据等) |
目录结构
service.py HTTP 服务与所有 /ui/api 接口
ui.html 单页面板
core/
pipeline.py 提炼、说话人归因、判重
extractor.py 单条兜底提炼
engine.py 写库与召回编排
store.py SQLite schema 与 CRUD
retrieve.py 混合召回(向量 + FTS)
dedupe.py 判重内核(字面/向量/语义灰带)
decay.py tier.py 衰减与分层
conflict.py 冲突登记
consolidate.py 睡眠期合并归纳
diary.py 日记与十天/月/年压缩
growth.py 成长档案与反思(含防回摆)
starmap.py 星图数据
llm.py 模型通道
embed.py 本地 embedding
web/ 星图前端(nebula.js / nebula.html)
plugin/ DeepSeek Harness 插件(接入层,见 plugin/README.md)
install.mjs 一键安装
lib/ 七个工具 + HTTP 客户端 + 配置
cordis.patch.yml 注入点
docs/ 面板截图
purge-test-data.py 服务停机时直连数据库清掉 test:* 测试数据(--dry-run 先看)
data/ state/ logs/ 运行时数据(已 gitignore)
models/ embedding 模型(首次运行自动下载,已 gitignore)
数据与隐私
什么会离开这台机器
只有提炼/反思这一步会出网,而且只发你选定的那一个模型接口:
- 发出去的是要提炼的那几段对话原文(不是整个库、不是历史记录、不是向量);
- 走的是
MEMORY_LLM_BASE_URL(默认官方 DeepSeek)这一个地址,代码里没有任何中转、统计、遥测; - 出网前默认脱敏:手机号、身份证号、银行卡号、
sk-*、ghp_*之类的凭据会先被替换成[已脱敏],命中会写一行日志; - 模型返回后只留提炼出来的记忆条目,原始对话不进库。
三种用法,自己选
| 用法 | 怎么配 | 数据去哪 |
|---|---|---|
| 官方 API(默认) | 只填 MEMORY_LLM_API_KEY |
发到 DeepSeek 官方接口,默认脱敏后再发 |
| 完全本地 | MEMORY_LLM_BASE_URL=http://127.0.0.1:11434/v1(Ollama)或 vLLM |
只在本机内网,不出机器 |
| 完全不出网 | MEMORY_LLM_OFFLINE=1 |
一个字节都不发;代价是没有提炼,只剩存原文 + 关键词检索 |
模型权重(向量 / 重排)会不会泄露隐私
不会,而且这一点比「谁调用了谁的 API」更容易说清:
- 权重里没有你的数据。两个模型(
bge-small-zh-v1.5向量、bge-reranker-base重排)都是在公开语料上训练的通用模型,和你的记忆库没有任何关系。它们是只读的推理工具,不训练、不回传、不落盘你的任何内容。 - 推理全在本机。向量和重排都在本地 CPU 上跑(ONNX),检索阶段一个字节都不出机器;只有「提炼」那一步会调用你配置的模型接口(见上一节)。
- 分发许可是 MIT。
BAAI/bge-reranker-base是 MIT 许可(Xenova/bge-reranker-base是它的 ONNX 转换版,属 MIT 派生),可以自由使用、再分发、再转换,保留版权与许可声明即可(见 NOTICE)。向量模型BAAI/bge-small-zh-v1.5同样是 MIT。 - 仓库里不放权重。278MB 的模型不塞进 git(
models/已忽略),安装时用tools/fetch_rerank_model.py从公开镜像现下;不装就自动降级。
真正需要注意的不是模型权重,而是:别把 7891 端口转发到公网(面板接口不校验 token,安全边界是本机回环,详见 SECURITY.md)。
本机防护
- 只监听
127.0.0.1,不对外开端口;/ingest、/recall、/remember等正式接口都要x-memory-token。 - 面板用的
/ui/api/*不校验 token(手写单页,token 只用在直连接口上),所以额外加了三道本机闸:Host 必须是 127.0.0.1/localhost(挡 DNS rebinding)、来源闸(Origin/Referer必须是本机回环;两个都没有时才用Sec-Fetch-Site: cross-site兜底,而且只对「面板文档本身的导航」放行 ——/ui、/ui/nebula的 iframe 导航:DSH 桌面版的页面源是自定义协议app://app,它既不带 Origin 也不带 Referer;/ui/api/*数据接口照旧全拒)、写操作必须Content-Type: application/json(挡 CSRF)。仍然不要把 7891 端口转发到公网,否则等于把库交出去。 - 所有 HTTP 响应(含
/ui面板全站)都带安全响应头:X-Content-Type-Options: nosniff、Referrer-Policy: no-referrer、Content-Security-Policy(默认只允许同源资源)。刻意不发frame-ancestors/X-Frame-Options:DSH 桌面版的页面源是自定义特权协议app://app,CSP 的frame-ancestors通配*只匹配 http/https/ws/wss,显式写app:也会被浏览器当未知 scheme 丢弃 —— 发了这条指令,面板在桌面版设置页里必然白框(2.3.0~2.3.2 连踩三次就是这个)。因此面板不限制被谁嵌入,剩下的点击劫持风险由「只监听 127.0.0.1」「/ui/api/*仍受 Host/Origin 来源闸限制」「写操作强制 JSON」分担,见 SECURITY.md 已知限制。 - 日志会自己轮转:
logs/service.log超过 5MB 就滚成service.log.1/.2/.3,最多留 3 份,不会长到几百 MB。 - 数据库、token、日志、模型都在本机,全部在
.gitignore里,不会被误提交。 - 记忆分区(key)按来源隔离:
private:*是私聊,group:*是群聊;插件端对group:*只能读本群。
细节和威胁模型见 SECURITY.md;发现问题的报障方式也写在那里。
成本上限(防止账单失控)
这个插件每记一件事都要调一次模型,所以必须有硬上限。2026-11 有个同生态的记忆插件在公开评测里把 500 轮对话烧到 ¥506.95(写路径占 98%、平均 ¥0.92/轮、每批 4.58 次调用且每次重发全量上下文),根子不是「单价贵」,而是没有上限。所以这版加了预算闸:
- 默认上限:每天总花费 ¥2.0、其中写记忆 ¥1.0 / 后台增强 ¥0.5、调用次数 800;全部可用环境变量调(见上面配置表)。
- 超了会怎样:不是报错崩掉,而是降级 —— 当天不再调模型,记忆仍然照常保存(只是不做提炼和增强),第二天自动恢复。导入超预算会提前拒绝并告诉你预计花多少、还剩多少。
- 账本:
state/budget.json,跨重启、按天重置;没有账本时会从logs/llm-usage.jsonl回放当天用量,不会因为重启一次就「忘记」已经花了多少。 - 在哪看:
GET /ui/api/budget或/health里的budget字段(今日已花、两个池子、每个路由各调了几次);启动日志第一屏也有一行[boot] 预算闸:…。 - 不会读全量再总结:导入按 3000 字分块、每块单独提炼,单块成本是常数 O(1);3 年聊天记录按分块导入大约 ¥7–8(不是几百块)。单次导入还有 40 段硬上限。
真实账(本机自用约一个月):1,026 次调用累计 ¥2.96(峰价口径),均价 ¥0.0029/次;日常聊天折算约 ¥0.0005–0.0007/轮。
已知限制
- 单人自用,不是多租户服务;没有账号体系,只有一个 token。
- 面板接口未做 token 校验,安全边界是「只绑 127.0.0.1 + 只认本机 Host/Origin + 写操作必须是 JSON」;要暴露到局域网/公网的话得自己套一层反代并加鉴权。
- 面板不限制被谁 iframe 嵌入(
frame-ancestors对 DSH 桌面版的app://源无法表达,只能不发),所以理论上存在点击劫持面:别在开着面板的机器上刷可疑网页。数据接口本身仍受来源闸保护。 - 提炼质量取决于模型;第一次装的库是空的,要聊一阵子才有东西被召回。
- embedding 模型首次要联网下载(走 hf-mirror);断网时召回会退化成纯关键词,不影响服务运行。
- 只在 Windows + Python 3.12 上长期跑过;Linux/macOS 理论上一样,但没长期验证。
- 单条记忆文本上限 8000 字(
FM_MAX_TEXT_CHARS可调),太长请拆成几条写;超限会直接返回 400。 - 面板是手写原生 JS,没有框架、没有构建步骤,样式比较朴素。
更新日志
- 2.3.10 — 评测与线上共用同一份实现,并修掉共用后暴露的 combo 合并顺序真回归。背景:老板评审规矩第①条「评测脚本必须 import 线上函数」,此前
eval_*.py各自复制一套「合并两路召回 → 构建注入块」,等于用测试代码给自己打分。修法:① 抽出core/inject.py(build_block注入块唯一来源,BLOCK_LIMIT=900 / BLOCK_TEXT_MAX=160 / BLOCK_QUOTE_MAX=60)与core/recall.py(combo_recall召回唯一来源),service.py全部改为委托,线上行为不变(重启后 /recall_for 抽检块长 390/452/198 字、原话 4/6/1 条与抽取前逐字一致);② 共用后发现 combo 从 98.1% 掉到 94.4%,关重排更掉到 hit@1 42.6%——真因是合并时「engine 行先塞、hybrid 同 id 副本被跳过、剩下的 extend 到尾部再截断」,重排开着时交叉编码器把它捞回来,一关重排就掉出 top-k;改为按 id 去重(保留字段更全的一份、score 取名次分高者)再排序,修复后 108 题重排开 98.1%、关 92.6%;③ 规模复核 598 / 6,598 / 18,598 / 30,798 行 combo hit@1 = 98.1/97.2/97.2/97.2%、hit@6 全部 100%,撤回「库越大越依赖合并路径」的旧结论(那是同一 bug 被规模放大);④ 真实库 15 题诚实结论:combo 开/关重排都 7/15,engine 单路 10/15(开)/9/15(关),重排净收益≈0;⑤ 新增ops/_bench/RULES.md(三条铁律 + 三态标签纪律 + 现状清单),7 个脚本改共用(bench_recall.py/eval_e2e.py/eval_scale_h6.py/eval_prod2.py/eval_strict.py/新增eval_cross_shared.py)。验证:verify-all 26/26、audit-automation 13/13。 - 2.3.9 — 原话从「读时现捞」改成「写时落库」,并把密钥挡在记忆库外面。背景:2.3.5 的原话是读的时候用
meta.span回查raw_messages现捞,而raw_messages只保留最近 2 万行(本机 ≈105 天),老记忆的原话会永久丢失;生产库实测 active 72 条里meta.quote只有 3 条,且带「私聊:」前缀、quote_role=user没映射。修法:① 新增core/quotes.py作为原话处理唯一来源(覆盖度 0.30、上限 100 字、去通道前缀、丢[视频]占位、user→老板 / assistant→小鱼);② 写路径加原文表兜底(本批 span 回查raw_messages再落meta.quote),新记忆不再依赖读时回捞;③ 新增tools/backfill_quotes.py回填存量(默认 dry-run,--apply才写、写前自动备份;本机 384 条 → 156 条变更 → 带原话 1.56% → 40.62%、脏值 0,active 56/74、archived 100/310);④ 新增quotes.redact_secrets()(ghp_/gho_/、sk-、AKIA、xox[baprs]-、Bearer、key=/token=/secret=/password=)接在写入清洗与 /recall、/recall_for 出站路径上,即使库里被灌进明文密钥也不会流回模型上下文;⑤ 修sqlite3.Row输入被静默取空。验证:_test_quotes.py33/33、/recall_for块里原话已清洗(无前缀、role 正确)、verify-all 26/26、audit 13/13。升级后建议跑一次python tools/backfill_quotes.py --apply回填老记忆。 - 2.3.8 — 模型花费硬上限(预算闸):默认每天总 ¥2.0(写记忆 ¥1.0 / 后台增强 ¥0.5)、800 次调用,路由级上限;超限自动降级为「只存不提炼」而不是报错,导入前预估花费超了直接拒绝、跑到一半超了停在
budget_limited并如实报告进度;账本跨重启按天重置、丢了从 usage 日志回放;GET /ui/api/budget与启动日志可查。单测 23/23、verify-all 26/26、audit 13/13。 - 2.3.7 — 开关指纹(启动日志打印实际生效的召回参数与 FM_* 覆盖,敏感值只显示长度)+ 报告口径整改:新增答案级端到端评测(108 题:证据命中 100%、全要点答对 94.4%、违反 0、编造 0),如实标注 98.1% 是公开集语料上限、真实库重排净收益≈0、显著性要打折看,并撤回「库越大越依赖合并路径」的错误结论。
- 2.3.6:修「照着简介装完,DSH 起不来」的 P0 事故(B 站用户实测反馈)。真因是
lib/url-policy.mjs在插件仓库里从未被 git add(不是 .gitignore 排除,纯粹漏加),而发布构建器拿git ls-files当文件清单 —— 发布包少了它,lib/config.mjs/lib/client.mjs都 import 它,安装后模块解析失败、DSH 启动即挂;开发环境本地一直有这份文件,所以没复现。修法:① 补提交该文件;② 构建器增加静态 import 图校验(打包后遍历plugin/所有相对 import,缺任何文件直接构建失败,附「谁 import 了什么」),坏包不会再发出去;③ 用干净 DSH_HOME + 空 profile 跑真实安装冒烟:15 个文件复制成功、lib/5 个文件齐全、8 个模块 import 全通、dsh.profile.bundles注册与软链正常。验证:IMPORT OK (8 modules)。 - 2.3.5:记忆摘要失真兜底(原话对账)。① 之前
quote只从「本次提炼的原文行」里取,结果生产库 377 条记忆里 meta 带 quote 的 0 条(覆盖率门槛在跨批切片上几乎不达标)—— 改为回退查raw_messages:按meta.span(缺失时 created_at±15 分钟)取该会话原始消息,用pipeline._best_sentence逐行比对取覆盖度最高的一句,≥0.30 才采用、截 100 字,进程内 LRU 缓存 4000 条;实测 active 71 条里 56 条能配上原句(79%),/recall 6 条里 4 条带原话。② 原话清洗:去掉「私聊:」「群聊:」通道前缀,user/human/用户→ 老板、assistant→ 小鱼;[视频]这类纯占位不当原话。③ 注入块单条原话上限 40→60 字;QQ 桥接注入头声明「摘要 vs 原话以原话为准、没原话不许推断次数」。④ 成本:每次召回多 105 字符(约 +70 token,单轮 prompt 的 1%~2%),全本地字符串比对、0 元;延迟不变(召回 0.5–0.7s)。⑤ 回归 verify-all 26/26、audit-automation 13/13。 - 2.3.4:召回排序第二轮。① 新增可选本地重排(
core/rerank.py+bge-reranker-baseint8 ONNX,278MB,纯 CPU、0 元、不外发),只对候选前 10 条做「原分 0.8 + 交叉编码器分 0.2」轻融合 —— 实测 pure 模式(直接用模型分替换)反而掉分(92.6%→89.8%),只有轻融合是纯增益(→98.1%,逐题升 6 降 0);② 线上召回从 hybrid 单路改为 hybrid + engine 合并后统一重排(service._combo_recall),补掉 hybrid「相关度不够就不给」丢掉的 4 题证据(hit@5 96.3%→100%);③ 修掉合并路径上的量纲 bug:engine 加权分(0.20.9)与 hybrid RRF 分(0.010.03)直接相加等于让重排独占排序,真实库 15 题上从 9/15 掉到 7/15 —— 改为engine.fuse_rank_scores按各路名次融合(其它路 0.85 折扣)后回到 9/15,同时公开集保持 98.1%;④ 召回条目带at时间锚点与quote/quoteRole原句,注入块每条以- [2026-10-29]开头、必要时追加|原话 老板:…;⑤ 写路径_batch_duplicate_flags批内合并同事件切片(cos≥0.92 直接归并 / 0.78–0.92 交 LLM 复判);⑥ 评测进仓库:tools/bench_recall.py(engine/hybrid/combo 三路一次跑完)、tools/fetch_rerank_model.py(可选模型下载 + --check);⑦ 文档补规模效应与跨语料结论(库涨到 3 万行时合并路径 hit@5 仍 100%,单路 engine 会从 98.1% 掉到 93.5%)。 - 2.3.3:彻底修掉「DSH 桌面版设置页里面板仍是白框」。2.3.2 只解决了 403,没解决渲染:浏览器报
Framing 'http://127.0.0.1:7891/' violates ... "frame-ancestors *" ... '*' matches only URLs with network schemes ('http','https','ws','wss')——frame-ancestors的*永远匹配不上自定义协议app://,写'none'、本机 http 白名单、*、app:四种都白框。修法:整条不发frame-ancestors(X-Frame-Options同样不发),点击劫持风险由「只绑 127.0.0.1 +/ui/api/*的 Host/Origin 来源闸 + 写操作强制 JSON」分担,并写进 SECURITY.md 已知限制。实测(file:// 这种非网络 scheme 构造等价场景):面板 iframe 正常加载、内部/ui/api/stats、/ui/api/list、/ui/api/growth/enabled全部 200、无 CSP 报错、无 requestfailed;安全矩阵:evil Origin 403 / evil Referer 403 / 无来源 cross-site 数据接口 403 / 无来源 cross-site 面板导航 200 / evil Host 403 /text/plain写 415;verify-all 26/26、audit-automation 13/13。 - 2.3.2:修「DSH 桌面版设置页里面板整块空白」。真因是桌面渲染进程的页面源是自定义特权协议
app://app(不是http://localhost):① 它 iframe/ui?embed=1时既不带Origin也不带Referer,被来源闸的Sec-Fetch-Site: cross-site兜底判成跨站 → 403;② CSP 的frame-ancestors没列app:这个 scheme。修法:CSP 追加app:;来源闸对「无来源 + cross-site」只放行面板文档导航(/ui、/ui/nebula),/ui/api/*与其他路径照旧 403(点击劫持由frame-ancestors白名单挡,远端网页仍然嵌不进来)。实测:cross-site +Sec-Fetch-Dest: iframe请求/ui?embed=1与/ui/nebula→ 200;同样头请求/ui/api/stats→ 403;evil Origin / evil Host 仍 403;verify-all 26/26、audit-automation 13/13。 - 2.3.1:修 2.3.0 引入的面板回归 —— ① CSP 由
frame-ancestors 'none'改为'self'+ 本机回环(http://127.0.0.1:*/http://localhost:*),并去掉X-Frame-Options: DENY(它不支持来源白名单,会把合法嵌入一起杀掉);结果:面板自己的星图浮层(套/ui/nebula)和 DSH 设置页里的/ui?embed=1都能正常显示,远端网页依旧嵌不进来。② 来源闸不再单凭Sec-Fetch-Site: cross-site拒绝:先看Origin/Referer是否本机回环,两个都没有时才用Sec-Fetch-Site兜底 —— 这样localhost页面套127.0.0.1面板(DSH 设置页就是这种跨 site 组合)不会再被 403;远端 Origin/Referer、非本机 Host、无来源的 cross-site、text/plain写请求照旧全部拒绝。 - 2.3.0:健壮性与安装体验。服务端:① 单条文本上限
FM_MAX_TEXT_CHARS(默认 8000 字),超限直接 400 —— 之前往/ui/api/add灌 200KB 会让 FTS 的 bigram OR 查询把整个服务拖到假死;FTS 检索 query 另外硬截断 400 字,候选检索移出全局锁;②GET /ui/api/maintenance/test-data在空库上不再 500(缺表按 0 计);③{"id": true}这类布尔值不再被int()当成 1 去删记忆(严格校验 + 删掉重复的_req_id定义);④ 500 回包统一为「内部错误,详见 logs/service.log」,不再回显异常原文与路径;⑤ 全站响应加安全头(X-Content-Type-Options/Referrer-Policy/ CSP),面板不能被别的网页 iframe 嵌套(本条初版把 CSP 写成frame-ancestors 'none'+X-Frame-Options: DENY,会连面板自己的星图浮层和 DSH 设置页嵌入一起掐掉,已由 2.3.1 修好);⑥service.log超过 5MB 自动滚成.1/.2/.3(最多 3 份);⑦ 依赖拆成轻/重两份:requirements.txt只要 numpy / onnxruntime / tokenizers,torch / transformers 进requirements-torch.txt(只在兜底或首次导出 ONNX 时临时装);⑧ 没导出 ONNX 时启动日志会打显眼警告「回退 torch 引擎:常驻内存 1~3GB」而不是静默吃内存;⑨start.cmd/start.sh重写:装成功才写.venv/.installed、每次启动探测关键包、失败给中文错误并 pause,不再出现「装到一半失败 → 以后双击窗口一闪就关」。插件:安装器改事务式(profile 名白名单、复制后校验、覆盖安装可回滚)、baseUrl收紧为只允许 http/https 并在非本机明文 http 时清 token、重定向不转发凭据、测试默认隔离不再连真实服务。 - 2.2.0:隐私与接口加固。① 提炼通道显式化:新增
MEMORY_LLM_BASE_URL(可指向本地 Ollama/vLLM)、MEMORY_LLM_OFFLINE=1(完全不出网)、MEMORY_LLM_REDACT(出网前脱敏手机号/身份证/银行卡/sk-*/ghp_*,默认开),启动时在logs/llm.log打一行[privacy]说明数据去哪;② 面板/ui/api/*加三道本机闸:校验 Host(挡 DNS rebinding)、拒绝跨站 Origin /Sec-Fetch-Site、写操作强制Content-Type: application/json(挡 CSRF);③ 新增 SECURITY.md 说明威胁模型与报障方式。没有任何第三方中转、遥测或数据回传——全仓只有你配置的那一个模型地址。 - 2.1.0:修掉常驻进程的内存泄漏 —— 向量模型改走 ONNX Runtime(
export-onnx.py一条命令导出)+ BLAS 单线程,常驻内存从 2~3GB 降到约 150MB 并保持平稳、进程线程数 71 → 26 左右;新增GET /ui/api/maintenance/test-data与POST /ui/api/maintenance/purge-test(自检脚本跑完自动清测试数据,服务启动也清一次),测试不再往真实记忆库里留痕迹。 - 0.2.0:日记分本(私聊 / 群聊各一本,私聊能读全部并标来源)、每天 00:05 自动写前一天日记、关机错过自动回补(默认 7 天,无素材不硬编)、成长反思改每天 00:20 日历调度并读全部会话素材;自检脚本跑完自动清理测试数据,服务启动也清一次。
- 0.1.0:提炼 / 混合召回 / 判重 / 生命周期 / 日记压缩 / 成长档案 / 星图 / 面板 + DSH 插件。
License
MIT。见 LICENSE。第三方模型权重与依赖的许可见 NOTICE。
面板截图来自演示库(假数据),不含任何真实对话。小鱼形象来自开源插件 dsh-feiyu-mood(MIT,© Yuuyuko-uu),仅出现在演示视频里,不在本仓库中。



No comments yet. Be the first to write one.