DSH HUB
HomePlugin StorePlugin PacksCommunityRankingsResourcesPublish Guide
Plugin source
Back to catalog

ty2922059981-stack /

ty2922059981-stack/fish-memory

Topic repository only

给 AI 用的长期记忆服务 + DeepSeek Harness 插件:提炼 / 混合召回 / 生命周期 / 日记 / 成长档案 / 记忆星图,本地 SQLite,单机自用

★ 2 Stars0 Forks0 IssuesN/A Community rating0 Confirmed installs
View on GitHubProject homepage
READMESource: main@020f7342

鱼的记忆库 · fish-memory

一个给 AI 用的长期记忆服务:把聊天里发生的事提炼成结构化记忆,存进本地 SQLite,需要时用语义 + 关键词混合召回,再让记忆按时间自然衰减、合并、沉淀,顺带长出一份会变的"自我认知档案"。

单机、单文件服务(Python 标准库 + numpy / onnxruntime / tokenizers 这几个轻依赖;torch / transformers 只在需要兜底或首次导出 ONNX 时才装),监听 127.0.0.1:7891,数据全在自己电脑上。

这是我个人用的一套东西,我不是程序员,所以它肯定有 bug。装上以后建议让 AI 自己跑一遍检查:链路通不通、是不是真的在起作用。

记忆星图

这个仓库里有两个部分

位置 是什么 语言 怎么跑
仓库根目录 记忆服务本体:提炼、召回、生命周期、日记、成长、星图、单页面板 Python python service.py(默认 7891)
plugin/ DeepSeek Harness 插件(接入层):memory_* 七个工具 + 对话前注入记忆 Node node plugin/install.mjs

一句话:记忆只存一份,谁都能用 —— QQ 里的她、DSH 里的你、浏览器里的面板,读写同一份长期记忆。 插件不实现记忆算法,只把 DSH 的工具调用转发给这个服务;不装插件也能单独用服务和面板。

它解决什么问题

普通聊天机器人换个会话就忘干净。这个服务想解决三件事:

  1. 记得住 —— 你说过的偏好、定下的规矩、发生过的事,被提炼成一条条记忆存下来,下次能自己找回来。
  2. 不越积越乱 —— 记忆会衰减、归档、合并、纠错;重复的说法会被语义判重挡在库外,不会变成一堆"重播"。
  3. 会长 —— 从日记和记忆里定期反思,长出一份六字段的"自我认知档案"(称呼、说话方式、对用户的态度、自我认知、最近在琢磨什么、此刻心情),并记录每一版为什么改;带防回摆的几道闸,避免在几个版本之间来回转。

特性

  • 提炼:原始消息按批送模型提炼成 {summary, kind, importance, entities, relations},kind 分偏好 / 事实 / 片段 / 规矩 / 关系 / 技能六类。
  • 混合召回:向量(本地 bge-small-zh-v1.5,512 维)+ 关键词(SQLite FTS5,中文 bigram 兜底)融合排序,按分层配额(P0 基石 / P1 近况 / P2 长期 / P3 临时)取记忆。
  • 原话对账(防摘要失真):每条记忆除了模型写的摘要,还会回到原始消息表(raw_messages,最近 2 万条)里按 meta.span 时间窗找一句当时真正说出口的话,一起带进召回结果(quote / quoteRole);注入给 AI 时块里每条是 - [2026-11-01] 摘要…|原话 老板:…,并在提示头声明「摘要与原话对不上时以原话为准,没给原话的只当模糊印象,不许推断第一次/从来没有」。原句采集是纯本地字符串比对,不调模型、0 元;实测每条召回平均多 105 字符(约 +1~2% prompt)。
  • 判重:字面近似(SequenceMatcher)→ 向量近似(余弦)→ 语义灰带(0.78~0.88 交模型确认)三层,跨会话统一判重池(同一个"脑子")。
  • 生命周期:重要度衰减、tier 升降、归档与回收站、冲突登记、记忆纠错(update / downgrade / delete)。
  • 日记:AI 自己的日记,按天写、按 10 天/月/年自动压缩总结,原文永不删;私聊/群聊各一本(私聊本能读到全部,每条标着来源;群聊本只看得到这个群),同一天再写会并进同一条,不会冒出两三篇。
  • 自动写日记:每天 00:05 自己写前一天的,不用人提醒。关机错过也会补:下次开机后按 0–7 天(可配)往回补,只补那天真有素材的日子;没内容的日子不硬编,试过一次就不再反复试。
  • 成长档案:六字段档案 + 版本历史 + 差异视图 + 回档。每天 00:20 自动反思一次,素材读全部会话(私聊 + 群聊),档案只有一份,不按会话分开。
  • 不留测试痕迹:自检脚本跑完会把 test:* 的记忆、日记、提醒、成长记录一并清掉,服务每次启动也清一次,记忆库里不会堆测试数据。
  • 星图:把记忆、实体、连线画成一张可缩放的星系图,hover 看全文、类型、重要度、日期。
  • 面板:内置单页 UI(记忆 / 日记 / 成长 / 星图四个页签),带搜索、筛选、分页、回收站、导出。

架构

   聊天来源(QQ 桥接 / DSH 插件 plugin/ / 任何脚本)
        │  POST /ingest  (原始消息,按批进缓冲)
        ▼
   ┌─────────────────────────────┐
   │  service.py  HTTP :7891     │
   │   ├─ pipeline   提炼/归因/判重│
   │   ├─ engine     写库/召回    │
   │   ├─ store      SQLite 存储  │
   │   ├─ retrieve   混合召回     │
   │   ├─ decay/tier 生命周期     │
   │   ├─ diary      日记+压缩    │
   │   ├─ growth     成长反思     │
   │   └─ starmap    星图数据     │
   └──────────┬──────────────────┘
              │  data/fish-memory.db(SQLite,全在本机)
              ▼
   POST /recall  → 返回可直接拼进提示词的记忆块

快速开始

要求:Python 3.11+,Windows / macOS / Linux 都行(开发环境是 Windows)。第一次跑要能联网下 embedding 模型(约 95MB,走 hf-mirror 镜像)。

不想手动敲命令? 把 plugin/INSTALL-WITH-DSH.md 里那段话复制给 DeepSeek Harness 的 AI,让它替你把服务跑起来、插件装上、token 填好;最后重启 DSH 那一步仍要你自己点(AI 没法重启自己)。

1. 跑服务本体

git clone https://github.com/ty2922059981-stack/fish-memory.git
cd fish-memory
python -m venv .venv
.venv/Scripts/activate          # Windows;Linux/macOS 用 source .venv/bin/activate
pip install -r requirements.txt # 轻依赖:onnxruntime / tokenizers / numpy

# 提炼要用模型,key 只从环境变量读,不会写进任何文件
export MEMORY_LLM_API_KEY=sk-...   # Windows: set MEMORY_LLM_API_KEY=sk-...

python service.py

(Windows 也可以直接双击 start.cmd,Linux/macOS 用 ./start.sh:脚本会自动建虚拟环境、装依赖,装完写 .venv/.installed 标记;以后每次启动前都会检查标记和关键包,缺了就重装,不会出现"装到一半失败、以后永远跳过安装"的情况。首次安装需要下载依赖,要几分钟,脚本会先打印这句提醒。)

依赖是拆开的:requirements.txt 只有轻依赖(ONNX 路径够用,常驻约 150MB);torch / transformers 在 requirements-torch.txt 里,只有需要 torch 兜底、或者第一次要把模型导出成 ONNX 时才装。服务默认优先用 ONNX,找不到 model.onnx 时回退 torch,并在启动日志里打一条显眼警告。

启动后:

  • 服务:http://127.0.0.1:7891/health
  • 面板:http://127.0.0.1:7891/ui(第一次打开要填 token,见下)

token 从哪来:第一次启动时会自动生成 48 位 hex,写在 state/token:

cat state/token
# 面板右上角填这个 token;脚本请求带 header:x-memory-token: <token>

2. 把向量模型导成 ONNX(强烈建议,装完就跑一次)

为什么要做:不导的话服务回退 torch 跑 embedding,常驻内存 1~3GB;导成 ONNX 之后常驻约 150MB,功能一模一样,开机也快。

服务跑过一次、模型已经自动下到 models/bge-small-zh-v1.5/(约 95MB)之后:

pip install -r requirements-torch.txt   # 导出需要 torch + transformers + onnx
python export-onnx.py
pip uninstall -y torch transformers     # 导完可以卸掉,服务只用 ONNX 那套轻依赖

产物是 models/bge-small-zh-v1.5/model.onnx(约 520KB)。重启服务即生效,日志里会写 engine=onnx。 不导也能用:没有这个文件时自动回落到 torch,功能一样,只是常驻内存 1~3GB——启动日志里会明确警告并提示你运行 python export-onnx.py。 想强制回退:设 FISH_MEMORY_EMBED_ENGINE=torch。

3. 下载可选的本地重排模型(可选,约 280MB)

为什么要做:召回本身靠向量+关键词混合,但排序还能更准一点。加一个本地交叉编码器重排模型,检索命中率在公开评测集上从 92.6% 提到 98.1%(hit@5 到 100%),纯 CPU、不联网、检索仍然 0 元;代价是每次召回多约 150–170ms。

python tools/fetch_rerank_model.py          # 从 hf-mirror 下 Xenova/bge-reranker-base 的 int8 ONNX
python tools/fetch_rerank_model.py --check  # 自检:输入/输出名、分词器、能否加载
  • 不下也能用:没有模型文件时 rerank.available() 为假,召回自动降级成不重排,行为和之前一样(只是排序质量差一点)。

  • 下不动就换镜像:FM_HF_ENDPOINT=https://huggingface.co python tools/fetch_rerank_model.py;或者干脆跳过这步。

  • 模型权重不随本仓库分发(278MB,models/ 在 .gitignore)。许可与隐私说明见下方「数据与隐私 → 模型权重」。

  • 开关:FM_RECALL_RERANK=0 关重排、FM_RECALL_COMBO=0 关「合并召回」退回旧的 hybrid 单路。

  • ⚠️ 2.3.4–2.3.8 这五个版本的 FM_RECALL_RERANK=0 退回路径是坏的:组合召回在关重排时存在合并顺序 bug,hit@1 会从 92.6% 掉到 42.6%(hit@5 96.3%→67.6%)。2.3.10 已修(关重排时 combo 与 engine 同为 92.6%),用旧版请升级后再依赖这个开关。

  • 📊 两条退回路径都是实测过的(2.3.10,108 题公开集,12 格矩阵,ops/_bench/matrix.md):

    开关 598 行 6,598 行 30,798 行
    默认(重排开 + 合并开) 98.1% / hit@6 100% 97.2% / 100% 97.2% / 100%
    FM_RECALL_RERANK=0(关重排) 92.6% / 100% 95.4% / 100% 95.4% / 100%
    FM_RECALL_COMBO=0(关合并) 96.3% / 96.3% 96.3% / 96.3% 93.5% / 96.3%
    两个都关 92.6% / 96.3% 92.6% / 96.3% 88.9% / 96.3%

    → 退回能用,但不是无损:库大时关合并掉 3.7pp,两个都关掉 8.3pp。日常不建议关,出问题再退。

一句实话:这 98.1% 是公开评测集(候选里有多个相似答案、需要精确排序)的数;作者自用的真实小库上重排净收益≈0,别当成普适加成。评测方法与原始数据见 tools/bench_recall.py。

4. 装 DSH 插件(可选)

只有想在 DeepSeek Harness 里用的时候才需要,前提是上一步的服务已经在 127.0.0.1:7891 跑着:

node plugin/install.mjs            # 默认装到 ~/.dsh、desktop profile

脚本做四件事:复制插件到 ~/.dsh/plugins/dsh-fish-memory-hub → 注册到 ~/.dsh/profiles/<profile>/package.json → 建 node_modules 软链 → 生成 ~/.dsh/fish-memory-hub.json。可重复执行(幂等);DSH_HOME 可覆盖 ~/.dsh。装完重启 DSH,设置里会出现「鱼的记忆库」,同时多出 7 个 memory_* 工具(细节见 plugin/README.md)。

5. 装上以后先自查一遍

这个插件是个人自用、作者不是程序员,一定有 bug。建议装完自己验一遍链路:

  1. 打开 http://127.0.0.1:7891/ui,四个页签都能出数据(库刚建时是空的,可以先看面板是否正常加载);
  2. 在 DSH 里让 AI 调 memory_status,应返回记忆条数和分层分布;
  3. 跟 AI 说一句"记住我每天喝两杯咖啡",过一会儿再问它,看能不能自己找回来。

配置

环境变量(都可以不设,有默认值):

变量 默认 作用
FM_PORT 7891 监听端口(只绑 127.0.0.1)
FM_DATA_DIR ./data 数据库目录;指到别处 = 独立实例(可以做演示库)
FM_DEFAULT_KEY private:default 默认记忆分区 key
FM_GROWTH_KEY 空 成长档案固定用哪个 key
FM_BUFFER_IDLE_SECONDS 1800 缓冲多久没新消息就触发提炼
FM_MAX_TEXT_CHARS 8000 单条写入文本的字数上限;超了直接 400(防止超长文本拖慢判重)
FM_LOG_MAX_BYTES 5242880 单份 logs/service.log 上限(默认 5MB),超了滚成 .1/.2/.3,最多留 3 份
FISH_MEMORY_EMBED_ENGINE auto 向量引擎:auto(有 model.onnx 就用 ONNX,否则 torch)/ onnx / torch
FM_VEC_DEDUPE 0.88 向量判重阈值
FM_SEM_DEDUPE_MIN / FM_SEM_DEDUPE_MAX 0.78 / 3 语义灰带判重下限 / 每批最多看几个候选
FM_TIER_QUOTA_* 见代码 各层召回配额
FM_DECAY_* / FM_LIFECYCLE_* 见代码 衰减与生命周期节奏
FM_DIARY_COMPRESS_SECONDS 86400 日记压缩检查间隔
FM_DIARY_AUTO_HOUR / FM_DIARY_AUTO_MINUTE 0 / 5 每天几点自动写前一天的日记
FM_DIARY_AUTO_LOOKBACK_DAYS 7 关机错过时最多往回补几天
FM_DIARY_AUTO_MAX_GEN 24 一轮回补最多生成多少篇(控 token)
FM_GROWTH_HOUR / FM_GROWTH_MINUTE 0 / 20 每天几点自动反思一次
FM_GROWTH_INTERVAL_SECONDS 86400 成长反思间隔(日历调度下的兜底最小间隔)
FM_GROWTH_MIN_DIFF 0.18 成长字段"改动太小"的判定阈值
FISH_MEMORY_EMBED_MODEL ./models/bge-small-zh-v1.5 本地 embedding 模型目录
FISH_MEMORY_EMBED_DEVICE 自动 cpu / cuda
MEMORY_LLM_API_KEY 空 提炼/反思用的模型 key(DeepSeek 兼容接口)
MEMORY_EXTRACT_MODEL deepseek-flash 提炼用哪个模型
MEMORY_LLM_BASE_URL 官方 DeepSeek 模型接口地址;指向 Ollama / vLLM / 自建网关就是本地跑,数据不出机器
MEMORY_LLM_OFFLINE 空 设 1 = 完全不出网:不调模型,只留本地存储 + 关键词检索(不提炼)
MEMORY_LLM_REDACT 开 出网前自动脱敏(手机号 / 身份证 / 银行卡 / sk-* / ghp_* / Bearer token);设 0 关闭
FM_LLM_DAILY_CNY 2.0 每天调用模型的总花费上限(人民币,按峰价折算);超了当天不再调模型,记忆照常存、只是不提炼
FM_LLM_CORE_DAILY_CNY 1.0 其中「写记忆」这条主链(提炼 / 导入 / 重提炼 / 合并)的预算;导入前会预检,预计花费超了直接拒绝
FM_LLM_ENRICH_DAILY_CNY 0.5 「后台增强」预算(画像 / 判重 / 冲突检测 / 日记 / 成长反思);用完就跳过,不影响聊天
FM_LLM_DAILY_CALLS 800 每天模型调用次数上限(防止便宜但极频繁的调用把量堆上去)
FM_PROFILE_DAILY_MAX 24 画像扫描每天最多调几次模型
FM_CONFLICT_MAX_PER_FLUSH 6 一次写入批里最多对几条新记忆做冲突检测(批量导入时不会按全量烧钱)
FM_BUDGET_DISABLED 空 设 1 关掉整个预算闸(不推荐,除非你自己盯着账单)

模型通道:core/llm.py 默认打 https://api.deepseek.com/chat/completions,key 只从 MEMORY_LLM_API_KEY 或 ~/.dsh/.credentials.yaml 现读,日志里会统一抹掉 sk-*。

启动时 logs/llm.log 会打一行 [privacy],写明这次连的是官方 / 本机 / 第三方、脱敏开没开。想自己确认跑的是哪条路,就看这一行。

面板

四个页签,数据全在本地:

记忆 日记 成长 星图
记忆 日记 成长 星图

HTTP API(摘要)

正式的读写接口要 header x-memory-token(值 = state/token)。面板自己用的 /ui/api/* 不校验 token(只绑 127.0.0.1,且只认本机 Host/Origin、写操作必须是 JSON),细节见「数据与隐私」和 SECURITY.md。

方法 路径 作用
GET /health 健康检查(记忆数、实体数、重复组数)
POST /ingest 送一条原始消息进缓冲 {key, role, text, ts}
POST /flush 立刻提炼当前缓冲 {key, sync?}
GET /recall / POST /recall 召回记忆(拼提示词用的块 + 结构化条目)
POST /remember 直接写一条记忆(可带 entities)
GET /diary/list · /diary/feed 日记原文 / 压缩总结
POST /diary/write · /diary/compress · /diary/auto 写日记 / 触发十天总结 / 手动触发自动写(run_now)
GET /growth · /growth/feed · /growth/history 成长档案与版本历史
POST /growth/reflect · /growth/rollback 触发反思 / 回档
GET /starmap 星图节点与连线
POST /shutdown 优雅退出
— /ui/api/* 面板内部接口(统计、列表、纠错、回收站、合并重复、maintenance/purge-test 清测试数据等)

目录结构

service.py            HTTP 服务与所有 /ui/api 接口
ui.html               单页面板
core/
  pipeline.py         提炼、说话人归因、判重
  extractor.py        单条兜底提炼
  engine.py           写库与召回编排
  store.py            SQLite schema 与 CRUD
  retrieve.py         混合召回(向量 + FTS)
  dedupe.py           判重内核(字面/向量/语义灰带)
  decay.py tier.py    衰减与分层
  conflict.py         冲突登记
  consolidate.py      睡眠期合并归纳
  diary.py            日记与十天/月/年压缩
  growth.py           成长档案与反思(含防回摆)
  starmap.py          星图数据
  llm.py              模型通道
  embed.py            本地 embedding
web/                  星图前端(nebula.js / nebula.html)
plugin/               DeepSeek Harness 插件(接入层,见 plugin/README.md)
  install.mjs         一键安装
  lib/                七个工具 + HTTP 客户端 + 配置
  cordis.patch.yml    注入点
docs/                 面板截图
purge-test-data.py    服务停机时直连数据库清掉 test:* 测试数据(--dry-run 先看)
data/  state/  logs/  运行时数据(已 gitignore)
models/               embedding 模型(首次运行自动下载,已 gitignore)

数据与隐私

什么会离开这台机器

只有提炼/反思这一步会出网,而且只发你选定的那一个模型接口:

  • 发出去的是要提炼的那几段对话原文(不是整个库、不是历史记录、不是向量);
  • 走的是 MEMORY_LLM_BASE_URL(默认官方 DeepSeek)这一个地址,代码里没有任何中转、统计、遥测;
  • 出网前默认脱敏:手机号、身份证号、银行卡号、sk-*、ghp_* 之类的凭据会先被替换成 [已脱敏],命中会写一行日志;
  • 模型返回后只留提炼出来的记忆条目,原始对话不进库。

三种用法,自己选

用法 怎么配 数据去哪
官方 API(默认) 只填 MEMORY_LLM_API_KEY 发到 DeepSeek 官方接口,默认脱敏后再发
完全本地 MEMORY_LLM_BASE_URL=http://127.0.0.1:11434/v1(Ollama)或 vLLM 只在本机内网,不出机器
完全不出网 MEMORY_LLM_OFFLINE=1 一个字节都不发;代价是没有提炼,只剩存原文 + 关键词检索

模型权重(向量 / 重排)会不会泄露隐私

不会,而且这一点比「谁调用了谁的 API」更容易说清:

  • 权重里没有你的数据。两个模型(bge-small-zh-v1.5 向量、bge-reranker-base 重排)都是在公开语料上训练的通用模型,和你的记忆库没有任何关系。它们是只读的推理工具,不训练、不回传、不落盘你的任何内容。
  • 推理全在本机。向量和重排都在本地 CPU 上跑(ONNX),检索阶段一个字节都不出机器;只有「提炼」那一步会调用你配置的模型接口(见上一节)。
  • 分发许可是 MIT。BAAI/bge-reranker-base 是 MIT 许可(Xenova/bge-reranker-base 是它的 ONNX 转换版,属 MIT 派生),可以自由使用、再分发、再转换,保留版权与许可声明即可(见 NOTICE)。向量模型 BAAI/bge-small-zh-v1.5 同样是 MIT。
  • 仓库里不放权重。278MB 的模型不塞进 git(models/ 已忽略),安装时用 tools/fetch_rerank_model.py 从公开镜像现下;不装就自动降级。

真正需要注意的不是模型权重,而是:别把 7891 端口转发到公网(面板接口不校验 token,安全边界是本机回环,详见 SECURITY.md)。

本机防护

  • 只监听 127.0.0.1,不对外开端口;/ingest、/recall、/remember 等正式接口都要 x-memory-token。
  • 面板用的 /ui/api/* 不校验 token(手写单页,token 只用在直连接口上),所以额外加了三道本机闸:Host 必须是 127.0.0.1/localhost(挡 DNS rebinding)、来源闸(Origin / Referer 必须是本机回环;两个都没有时才用 Sec-Fetch-Site: cross-site 兜底,而且只对「面板文档本身的导航」放行 —— /ui、/ui/nebula 的 iframe 导航:DSH 桌面版的页面源是自定义协议 app://app,它既不带 Origin 也不带 Referer;/ui/api/* 数据接口照旧全拒)、写操作必须 Content-Type: application/json(挡 CSRF)。仍然不要把 7891 端口转发到公网,否则等于把库交出去。
  • 所有 HTTP 响应(含 /ui 面板全站)都带安全响应头:X-Content-Type-Options: nosniff、Referrer-Policy: no-referrer、Content-Security-Policy(默认只允许同源资源)。刻意不发 frame-ancestors / X-Frame-Options:DSH 桌面版的页面源是自定义特权协议 app://app,CSP 的 frame-ancestors 通配 * 只匹配 http/https/ws/wss,显式写 app: 也会被浏览器当未知 scheme 丢弃 —— 发了这条指令,面板在桌面版设置页里必然白框(2.3.0~2.3.2 连踩三次就是这个)。因此面板不限制被谁嵌入,剩下的点击劫持风险由「只监听 127.0.0.1」「/ui/api/* 仍受 Host/Origin 来源闸限制」「写操作强制 JSON」分担,见 SECURITY.md 已知限制。
  • 日志会自己轮转:logs/service.log 超过 5MB 就滚成 service.log.1/.2/.3,最多留 3 份,不会长到几百 MB。
  • 数据库、token、日志、模型都在本机,全部在 .gitignore 里,不会被误提交。
  • 记忆分区(key)按来源隔离:private:* 是私聊,group:* 是群聊;插件端对 group:* 只能读本群。

细节和威胁模型见 SECURITY.md;发现问题的报障方式也写在那里。

成本上限(防止账单失控)

这个插件每记一件事都要调一次模型,所以必须有硬上限。2026-11 有个同生态的记忆插件在公开评测里把 500 轮对话烧到 ¥506.95(写路径占 98%、平均 ¥0.92/轮、每批 4.58 次调用且每次重发全量上下文),根子不是「单价贵」,而是没有上限。所以这版加了预算闸:

  • 默认上限:每天总花费 ¥2.0、其中写记忆 ¥1.0 / 后台增强 ¥0.5、调用次数 800;全部可用环境变量调(见上面配置表)。
  • 超了会怎样:不是报错崩掉,而是降级 —— 当天不再调模型,记忆仍然照常保存(只是不做提炼和增强),第二天自动恢复。导入超预算会提前拒绝并告诉你预计花多少、还剩多少。
  • 账本:state/budget.json,跨重启、按天重置;没有账本时会从 logs/llm-usage.jsonl 回放当天用量,不会因为重启一次就「忘记」已经花了多少。
  • 在哪看:GET /ui/api/budget 或 /health 里的 budget 字段(今日已花、两个池子、每个路由各调了几次);启动日志第一屏也有一行 [boot] 预算闸:…。
  • 不会读全量再总结:导入按 3000 字分块、每块单独提炼,单块成本是常数 O(1);3 年聊天记录按分块导入大约 ¥7–8(不是几百块)。单次导入还有 40 段硬上限。

真实账(本机自用约一个月):1,026 次调用累计 ¥2.96(峰价口径),均价 ¥0.0029/次;日常聊天折算约 ¥0.0005–0.0007/轮。

已知限制

  • 单人自用,不是多租户服务;没有账号体系,只有一个 token。
  • 面板接口未做 token 校验,安全边界是「只绑 127.0.0.1 + 只认本机 Host/Origin + 写操作必须是 JSON」;要暴露到局域网/公网的话得自己套一层反代并加鉴权。
  • 面板不限制被谁 iframe 嵌入(frame-ancestors 对 DSH 桌面版的 app:// 源无法表达,只能不发),所以理论上存在点击劫持面:别在开着面板的机器上刷可疑网页。数据接口本身仍受来源闸保护。
  • 提炼质量取决于模型;第一次装的库是空的,要聊一阵子才有东西被召回。
  • embedding 模型首次要联网下载(走 hf-mirror);断网时召回会退化成纯关键词,不影响服务运行。
  • 只在 Windows + Python 3.12 上长期跑过;Linux/macOS 理论上一样,但没长期验证。
  • 单条记忆文本上限 8000 字(FM_MAX_TEXT_CHARS 可调),太长请拆成几条写;超限会直接返回 400。
  • 面板是手写原生 JS,没有框架、没有构建步骤,样式比较朴素。

更新日志

  • 2.3.10 — 评测与线上共用同一份实现,并修掉共用后暴露的 combo 合并顺序真回归。背景:老板评审规矩第①条「评测脚本必须 import 线上函数」,此前 eval_*.py 各自复制一套「合并两路召回 → 构建注入块」,等于用测试代码给自己打分。修法:① 抽出 core/inject.py(build_block 注入块唯一来源,BLOCK_LIMIT=900 / BLOCK_TEXT_MAX=160 / BLOCK_QUOTE_MAX=60)与 core/recall.py(combo_recall 召回唯一来源),service.py 全部改为委托,线上行为不变(重启后 /recall_for 抽检块长 390/452/198 字、原话 4/6/1 条与抽取前逐字一致);② 共用后发现 combo 从 98.1% 掉到 94.4%,关重排更掉到 hit@1 42.6%——真因是合并时「engine 行先塞、hybrid 同 id 副本被跳过、剩下的 extend 到尾部再截断」,重排开着时交叉编码器把它捞回来,一关重排就掉出 top-k;改为按 id 去重(保留字段更全的一份、score 取名次分高者)再排序,修复后 108 题重排开 98.1%、关 92.6%;③ 规模复核 598 / 6,598 / 18,598 / 30,798 行 combo hit@1 = 98.1/97.2/97.2/97.2%、hit@6 全部 100%,撤回「库越大越依赖合并路径」的旧结论(那是同一 bug 被规模放大);④ 真实库 15 题诚实结论:combo 开/关重排都 7/15,engine 单路 10/15(开)/9/15(关),重排净收益≈0;⑤ 新增 ops/_bench/RULES.md(三条铁律 + 三态标签纪律 + 现状清单),7 个脚本改共用(bench_recall.py/eval_e2e.py/eval_scale_h6.py/eval_prod2.py/eval_strict.py/新增 eval_cross_shared.py)。验证:verify-all 26/26、audit-automation 13/13。
  • 2.3.9 — 原话从「读时现捞」改成「写时落库」,并把密钥挡在记忆库外面。背景:2.3.5 的原话是读的时候用 meta.span 回查 raw_messages 现捞,而 raw_messages 只保留最近 2 万行(本机 ≈105 天),老记忆的原话会永久丢失;生产库实测 active 72 条里 meta.quote 只有 3 条,且带「私聊:」前缀、quote_role=user 没映射。修法:① 新增 core/quotes.py 作为原话处理唯一来源(覆盖度 0.30、上限 100 字、去通道前缀、丢 [视频] 占位、user→老板 / assistant→小鱼);② 写路径加原文表兜底(本批 span 回查 raw_messages 再落 meta.quote),新记忆不再依赖读时回捞;③ 新增 tools/backfill_quotes.py 回填存量(默认 dry-run,--apply 才写、写前自动备份;本机 384 条 → 156 条变更 → 带原话 1.56% → 40.62%、脏值 0,active 56/74、archived 100/310);④ 新增 quotes.redact_secrets()(ghp_/gho_/、sk-、AKIA、xox[baprs]-、Bearer、key=/token=/secret=/password=)接在写入清洗与 /recall、/recall_for 出站路径上,即使库里被灌进明文密钥也不会流回模型上下文;⑤ 修 sqlite3.Row 输入被静默取空。验证:_test_quotes.py 33/33、/recall_for 块里原话已清洗(无前缀、role 正确)、verify-all 26/26、audit 13/13。升级后建议跑一次 python tools/backfill_quotes.py --apply 回填老记忆。
  • 2.3.8 — 模型花费硬上限(预算闸):默认每天总 ¥2.0(写记忆 ¥1.0 / 后台增强 ¥0.5)、800 次调用,路由级上限;超限自动降级为「只存不提炼」而不是报错,导入前预估花费超了直接拒绝、跑到一半超了停在 budget_limited 并如实报告进度;账本跨重启按天重置、丢了从 usage 日志回放;GET /ui/api/budget 与启动日志可查。单测 23/23、verify-all 26/26、audit 13/13。
  • 2.3.7 — 开关指纹(启动日志打印实际生效的召回参数与 FM_* 覆盖,敏感值只显示长度)+ 报告口径整改:新增答案级端到端评测(108 题:证据命中 100%、全要点答对 94.4%、违反 0、编造 0),如实标注 98.1% 是公开集语料上限、真实库重排净收益≈0、显著性要打折看,并撤回「库越大越依赖合并路径」的错误结论。
  • 2.3.6:修「照着简介装完,DSH 起不来」的 P0 事故(B 站用户实测反馈)。真因是 lib/url-policy.mjs 在插件仓库里从未被 git add(不是 .gitignore 排除,纯粹漏加),而发布构建器拿 git ls-files 当文件清单 —— 发布包少了它,lib/config.mjs / lib/client.mjs 都 import 它,安装后模块解析失败、DSH 启动即挂;开发环境本地一直有这份文件,所以没复现。修法:① 补提交该文件;② 构建器增加静态 import 图校验(打包后遍历 plugin/ 所有相对 import,缺任何文件直接构建失败,附「谁 import 了什么」),坏包不会再发出去;③ 用干净 DSH_HOME + 空 profile 跑真实安装冒烟:15 个文件复制成功、lib/ 5 个文件齐全、8 个模块 import 全通、dsh.profile.bundles 注册与软链正常。验证:IMPORT OK (8 modules)。
  • 2.3.5:记忆摘要失真兜底(原话对账)。① 之前 quote 只从「本次提炼的原文行」里取,结果生产库 377 条记忆里 meta 带 quote 的 0 条(覆盖率门槛在跨批切片上几乎不达标)—— 改为回退查 raw_messages:按 meta.span(缺失时 created_at±15 分钟)取该会话原始消息,用 pipeline._best_sentence 逐行比对取覆盖度最高的一句,≥0.30 才采用、截 100 字,进程内 LRU 缓存 4000 条;实测 active 71 条里 56 条能配上原句(79%),/recall 6 条里 4 条带原话。② 原话清洗:去掉「私聊:」「群聊:」通道前缀,user/human/用户 → 老板、assistant → 小鱼;[视频] 这类纯占位不当原话。③ 注入块单条原话上限 40→60 字;QQ 桥接注入头声明「摘要 vs 原话以原话为准、没原话不许推断次数」。④ 成本:每次召回多 105 字符(约 +70 token,单轮 prompt 的 1%~2%),全本地字符串比对、0 元;延迟不变(召回 0.5–0.7s)。⑤ 回归 verify-all 26/26、audit-automation 13/13。
  • 2.3.4:召回排序第二轮。① 新增可选本地重排(core/rerank.py + bge-reranker-base int8 ONNX,278MB,纯 CPU、0 元、不外发),只对候选前 10 条做「原分 0.8 + 交叉编码器分 0.2」轻融合 —— 实测 pure 模式(直接用模型分替换)反而掉分(92.6%→89.8%),只有轻融合是纯增益(→98.1%,逐题升 6 降 0);② 线上召回从 hybrid 单路改为 hybrid + engine 合并后统一重排(service._combo_recall),补掉 hybrid「相关度不够就不给」丢掉的 4 题证据(hit@5 96.3%→100%);③ 修掉合并路径上的量纲 bug:engine 加权分(0.20.9)与 hybrid RRF 分(0.010.03)直接相加等于让重排独占排序,真实库 15 题上从 9/15 掉到 7/15 —— 改为 engine.fuse_rank_scores 按各路名次融合(其它路 0.85 折扣)后回到 9/15,同时公开集保持 98.1%;④ 召回条目带 at 时间锚点与 quote/quoteRole 原句,注入块每条以 - [2026-10-29] 开头、必要时追加 |原话 老板:…;⑤ 写路径 _batch_duplicate_flags 批内合并同事件切片(cos≥0.92 直接归并 / 0.78–0.92 交 LLM 复判);⑥ 评测进仓库:tools/bench_recall.py(engine/hybrid/combo 三路一次跑完)、tools/fetch_rerank_model.py(可选模型下载 + --check);⑦ 文档补规模效应与跨语料结论(库涨到 3 万行时合并路径 hit@5 仍 100%,单路 engine 会从 98.1% 掉到 93.5%)。
  • 2.3.3:彻底修掉「DSH 桌面版设置页里面板仍是白框」。2.3.2 只解决了 403,没解决渲染:浏览器报 Framing 'http://127.0.0.1:7891/' violates ... "frame-ancestors *" ... '*' matches only URLs with network schemes ('http','https','ws','wss') —— frame-ancestors 的 * 永远匹配不上自定义协议 app://,写 'none'、本机 http 白名单、*、app: 四种都白框。修法:整条不发 frame-ancestors(X-Frame-Options 同样不发),点击劫持风险由「只绑 127.0.0.1 + /ui/api/* 的 Host/Origin 来源闸 + 写操作强制 JSON」分担,并写进 SECURITY.md 已知限制。实测(file:// 这种非网络 scheme 构造等价场景):面板 iframe 正常加载、内部 /ui/api/stats、/ui/api/list、/ui/api/growth/enabled 全部 200、无 CSP 报错、无 requestfailed;安全矩阵:evil Origin 403 / evil Referer 403 / 无来源 cross-site 数据接口 403 / 无来源 cross-site 面板导航 200 / evil Host 403 / text/plain 写 415;verify-all 26/26、audit-automation 13/13。
  • 2.3.2:修「DSH 桌面版设置页里面板整块空白」。真因是桌面渲染进程的页面源是自定义特权协议 app://app(不是 http://localhost):① 它 iframe /ui?embed=1 时既不带 Origin 也不带 Referer,被来源闸的 Sec-Fetch-Site: cross-site 兜底判成跨站 → 403;② CSP 的 frame-ancestors 没列 app: 这个 scheme。修法:CSP 追加 app:;来源闸对「无来源 + cross-site」只放行面板文档导航(/ui、/ui/nebula),/ui/api/* 与其他路径照旧 403(点击劫持由 frame-ancestors 白名单挡,远端网页仍然嵌不进来)。实测:cross-site + Sec-Fetch-Dest: iframe 请求 /ui?embed=1 与 /ui/nebula → 200;同样头请求 /ui/api/stats → 403;evil Origin / evil Host 仍 403;verify-all 26/26、audit-automation 13/13。
  • 2.3.1:修 2.3.0 引入的面板回归 —— ① CSP 由 frame-ancestors 'none' 改为 'self' + 本机回环(http://127.0.0.1:* / http://localhost:*),并去掉 X-Frame-Options: DENY(它不支持来源白名单,会把合法嵌入一起杀掉);结果:面板自己的星图浮层(套 /ui/nebula)和 DSH 设置页里的 /ui?embed=1 都能正常显示,远端网页依旧嵌不进来。② 来源闸不再单凭 Sec-Fetch-Site: cross-site 拒绝:先看 Origin / Referer 是否本机回环,两个都没有时才用 Sec-Fetch-Site 兜底 —— 这样 localhost 页面套 127.0.0.1 面板(DSH 设置页就是这种跨 site 组合)不会再被 403;远端 Origin/Referer、非本机 Host、无来源的 cross-site、text/plain 写请求照旧全部拒绝。
  • 2.3.0:健壮性与安装体验。服务端:① 单条文本上限 FM_MAX_TEXT_CHARS(默认 8000 字),超限直接 400 —— 之前往 /ui/api/add 灌 200KB 会让 FTS 的 bigram OR 查询把整个服务拖到假死;FTS 检索 query 另外硬截断 400 字,候选检索移出全局锁;② GET /ui/api/maintenance/test-data 在空库上不再 500(缺表按 0 计);③ {"id": true} 这类布尔值不再被 int() 当成 1 去删记忆(严格校验 + 删掉重复的 _req_id 定义);④ 500 回包统一为「内部错误,详见 logs/service.log」,不再回显异常原文与路径;⑤ 全站响应加安全头(X-Content-Type-Options / Referrer-Policy / CSP),面板不能被别的网页 iframe 嵌套(本条初版把 CSP 写成 frame-ancestors 'none' + X-Frame-Options: DENY,会连面板自己的星图浮层和 DSH 设置页嵌入一起掐掉,已由 2.3.1 修好);⑥ service.log 超过 5MB 自动滚成 .1/.2/.3(最多 3 份);⑦ 依赖拆成轻/重两份:requirements.txt 只要 numpy / onnxruntime / tokenizers,torch / transformers 进 requirements-torch.txt(只在兜底或首次导出 ONNX 时临时装);⑧ 没导出 ONNX 时启动日志会打显眼警告「回退 torch 引擎:常驻内存 1~3GB」而不是静默吃内存;⑨ start.cmd / start.sh 重写:装成功才写 .venv/.installed、每次启动探测关键包、失败给中文错误并 pause,不再出现「装到一半失败 → 以后双击窗口一闪就关」。插件:安装器改事务式(profile 名白名单、复制后校验、覆盖安装可回滚)、baseUrl 收紧为只允许 http/https 并在非本机明文 http 时清 token、重定向不转发凭据、测试默认隔离不再连真实服务。
  • 2.2.0:隐私与接口加固。① 提炼通道显式化:新增 MEMORY_LLM_BASE_URL(可指向本地 Ollama/vLLM)、MEMORY_LLM_OFFLINE=1(完全不出网)、MEMORY_LLM_REDACT(出网前脱敏手机号/身份证/银行卡/sk-*/ghp_*,默认开),启动时在 logs/llm.log 打一行 [privacy] 说明数据去哪;② 面板 /ui/api/* 加三道本机闸:校验 Host(挡 DNS rebinding)、拒绝跨站 Origin / Sec-Fetch-Site、写操作强制 Content-Type: application/json(挡 CSRF);③ 新增 SECURITY.md 说明威胁模型与报障方式。没有任何第三方中转、遥测或数据回传——全仓只有你配置的那一个模型地址。
  • 2.1.0:修掉常驻进程的内存泄漏 —— 向量模型改走 ONNX Runtime(export-onnx.py 一条命令导出)+ BLAS 单线程,常驻内存从 2~3GB 降到约 150MB 并保持平稳、进程线程数 71 → 26 左右;新增 GET /ui/api/maintenance/test-data 与 POST /ui/api/maintenance/purge-test(自检脚本跑完自动清测试数据,服务启动也清一次),测试不再往真实记忆库里留痕迹。
  • 0.2.0:日记分本(私聊 / 群聊各一本,私聊能读全部并标来源)、每天 00:05 自动写前一天日记、关机错过自动回补(默认 7 天,无素材不硬编)、成长反思改每天 00:20 日历调度并读全部会话素材;自检脚本跑完自动清理测试数据,服务启动也清一次。
  • 0.1.0:提炼 / 混合召回 / 判重 / 生命周期 / 日记压缩 / 成长档案 / 星图 / 面板 + DSH 插件。

License

MIT。见 LICENSE。第三方模型权重与依赖的许可见 NOTICE。

面板截图来自演示库(假数据),不含任何真实对话。小鱼形象来自开源插件 dsh-feiyu-mood(MIT,© Yuuyuko-uu),仅出现在演示视频里,不在本仓库中。

—/ 5

No ratings yet

Manifest verification required

Commit 020f734206e6

Community comments

No comments yet. Be the first to write one.

DSH HUB

A community index for DSH plugins. Not an official GitHub or DeepSeek AI product.

CommunityResourcesAPIAbout