Model Check
DeepSeek Harness 模型检测插件 · 桌面 / Web 通用 · v0.1.0
把独立指纹候选、糖果测评和响应路由放进一个轻巧的浮窗。
功能
- 联合检测:并行执行 3 次 ModelTrace 数字指纹与 1 次糖果题,展示候选、库内概率和糖果命中;支持取消与查看回答。
- 请求与响应:分别展示供应商、请求模型和服务端响应标签。标签一致为青绿,不一致为橙红,缺少标签时明确显示未知。
- 行为指纹:独立的手动测评入口,支持快速 / 标准 / 严格模式。Gemini 请求模型禁用此功能。
- 会话隔离:独立的历史和检测频率;支持仅会话首轮、每 N 轮和仅手动检测。
- 紧凑浮窗:278 px 完整面板、186 px 最小化摘要,双侧吸附、可拖动展开悬钮。最小化仍可查看候选与概率。
- 外观:流萤、浅色 · 银灰、深色 · 黑青,或跟随当前 DSH 主题;青色粒子微光与减少动态效果适配。
- 桌面 / Web 通用:同一个
dsh-model-check@0.1.0安装包,分别安装到desktop或webprofile。独立 Web 的完整检测与界面流程已验证,详见 兼容性与验证。
安装
需要 DeepSeek Harness ≥ 0.2.0-rc.2。独立 Web 运行环境及源码构建需要 Node.js ≥ 22;桌面版使用 DSH 自带运行时。
推荐:按包名安装
按使用的 DSH 版本选择命令。两端使用同一个正式包,但插件安装位置按 profile 分开。
桌面版:使用 DSH 桌面安装附带的 dsh 命令:
dsh plugin --profile desktop add dsh-model-check --ignore-scripts
独立 Web 版:使用 Web 运行环境中的 dsh 命令:
dsh plugin --profile web add dsh-model-check --ignore-scripts
若通过 npm 临时运行 DSH、未配置 dsh 命令,可执行:
npx @deepseek-ai/dsh plugin --profile web add dsh-model-check --ignore-scripts
安装后重启对应的 DSH 进程;Web 版重启 Web 服务并刷新浏览器。打开会话并完成一次聊天请求即可看到结果。安装者不需要 npm 账号。npm 版 DSH CLI 管理 web profile;桌面版 desktop profile 应使用桌面安装附带的 CLI。
也可以在 DSH 的“添加插件 → 包名或地址”中填入:
dsh-model-check
备用:从 GitHub 在线安装
如果当前 npm 镜像尚未同步,可以直接使用正式版安装包地址。以下以桌面版为例,Web 版将 --profile desktop 改为 --profile web:
dsh plugin --profile desktop add https://github.com/motionalpha84/dsh-model-check/releases/download/v0.1.0/dsh-model-check-0.1.0.tgz --ignore-scripts
备用:离线安装
- 到 Releases 下载
Model-Check-0.1.0.zip并解压。 - 在 PowerShell 运行解压目录中的
Install-Model-Check.ps1。脚本会核验安装包 SHA256 并调用 DSH 官方插件命令。 - 重启 DSH,打开会话并完成一次聊天请求。
ZIP 中的 PowerShell 安装脚本默认安装到桌面版;独立 Web 版可直接使用下方 .tgz 命令,并将 --profile desktop 改为 --profile web。
若未自动找到 dsh,给脚本传入 DSH 安装目录中的命令路径:
.\Install-Model-Check.ps1 -DshCommand "<DSH 安装目录>\resources\runtime\cli\bin\dsh.cmd"
也可下载单独的 .tgz 包,在 DSH 的“添加插件 → 包名或地址”中输入其完整路径,或执行:
dsh plugin --profile desktop add "<下载目录>\dsh-model-check-0.1.0.tgz" --offline --ignore-scripts
安装仅添加独立插件 bundle。卸载时在 DSH 插件管理器移除 dsh-model-check 并重启即可。
使用与额度
首次成功回复后默认自动检测一次。底部“自动”可改为每 N 轮或仅手动;“重新检测”启动一轮联合检测,“查看详情”查看糖果回答并调整本次糖果次数(1–10 次)。
联合检测默认额外发送 4 次模型请求;行为指纹分别为 60 / 200 / 400 次。实际使用会消耗供应商额度,可能产生费用和限流,启动前请查看页面中的数量提示。行为测试使用独立的低思考强度采样,不改变聊天设置;不把“测试导致模型降智”作为已证实结论。
拖动标题或侧边悬钮调整位置;减号最小化,关闭按钮隐藏,点击斜切悬钮恢复。“路由响应”下方展开完整分布与采样详情。历史、皮肤、布局、频率设置和刷新路由本身不发起模型推理。
如何理解结果
库内概率是相对候选分布,不是模型身份认证。 检测请求使用独立上下文,不能据此认证原聊天请求的后端。糖果命中不参与模型概率计算,也不等于数学答案正确。
数字候选库合并自两个上游快照,共 19 个 GPT / Claude 模型;保留各原始库的特征与校准,以 16 个共有模型为参照融合相对 log-odds。合并结果尚未独立重新校准,不能套用单库交叉验证准确率。请求模型未收录时会明确提示,不能仅因出现其他候选就认定模型被替换。
界面与演示统一使用以下模型名称。请求、匹配及历史存储仍使用原始模型 ID,名称格式不会改变检测结果。
| 系列 | 数字指纹候选模型 |
|---|---|
| GPT | GPT-5.4、GPT-5.5、GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna、GPT-6 Astra、GPT-6 Sol、GPT-6 Luna、GPT-6.1 Sol |
| Claude-Haiku | Claude-Haiku 4.5、Claude-Haiku 5.5 |
| Claude-Sonnet | Claude-Sonnet 4.6、Claude-Sonnet 5、Claude-Sonnet 5.5 |
| Claude-Opus | Claude-Opus 4.6、Claude-Opus 4.7、Claude-Opus 4.8、Claude-Opus 5、Claude-Opus 5.5 |
行为指纹包含 8 个 GPT 模型基准、16 项探针。JSD 越小表示分布越接近,置换检验的 p 值不是模型概率。原始库、上游提交和文件校验信息见 assets/provenance.json。
本地数据
历史和设置保存在 $DSH_HOME/model-check/state.json;未设置时为 ~/.dsh/model-check/state.json,也可用 MODEL_CHECK_DATA 指定目录。保存最近请求摘要及有限数量的测试回答,不保存 API Key、原聊天内容或原聊天推理内容。插件通过 DSH 当前供应商发送检测请求,不内置供应商密钥。
Web 版的检测与历史保存在运行 DSH Web 服务的机器上,浮窗布局和皮肤保存在当前浏览器。不同 profile 的安装并不等于数据自动隔离:同时运行桌面与 Web 时,可使用不同的 DSH_HOME 或为各进程设置不同的 MODEL_CHECK_DATA,避免共同写入同一历史文件。两端不会自动同步布局、皮肤或供应商配置。
公开演示全部使用虚构示例;test-gpt 和 test-Claude 仅是演示名称,不限制实际插件支持的供应商。
开发
不需要第三方 npm 依赖。
npm run build # 校验上游快照并构建插件
npm test # 插件回归
npm run test:demo # 演示状态回归
npm run build:demo # 使用同一前端源码生成静态演示
npm run demo # 本地预览,地址见终端
npm pack # 生成可安装的插件包
src/ 是插件源码,lib/ 是发布产物,docs/ 是 GitHub Pages 交互展示。演示的模型接口完全由内存数据模拟,不连接模型服务。正式版变更见 CHANGELOG.md。
致谢
- xqy2006 — ModelTrace:数字指纹方法、挑战与原始指纹库,是本插件独立指纹候选的基础。保留 MIT 许可。
- Hao Wang / haowang02 — Codex Candy Eval:糖果题与命中规则、行为指纹探针和基准,以及其中附带的另一版数字指纹库。保留 MIT 许可。
- Cole Bemis / Feather — 界面线性图标,保留 MIT 许可。
感谢上游作者的开源工作。本项目是独立的 DSH 适配,不代表上游官方发布。代码使用 MIT;流萤角色素材的权利归原权利人所有,不纳入本项目代码 MIT 授权。完整来源与改动说明见 NOTICE.md。

No comments yet. Be the first to write one.