dsh-gray-test 灰度模型检测插件

灰度模型检测工具：一键开测 N 个并发 dsh 会话（V4 Pro + max 思考），流式监听思维链实时判定：

• 灰度神模型：主信号——I'm/I'll + 动词ing（doing 风格）计数超过 Let me 的 5 倍（实测灰度 ≈38:1，正常 ≈0.3:1，分隔清晰）
• 正常模型：Let me 出现 ≥3 次且未达灰度比例（官方 V4 Pro 模板化复述 CoT 特征），判定后掐断会话
• 异常模型：未出现任何特征（如中文思维链等），完整跑完

统计灰度出现率（灰度数/总会话数）。

安装

1. 把本目录放到 dsh 插件的 plugins 目录（如 ~/.dsh/plugins/dsh-gray-test 或 dsh 配置的 plugins 目录）
2. 安装依赖：npm install
3. 构建前端：npm run build
4. 重启 dsh，设置页出现「灰度测试」入口

配置 API Key（重要）

本插件不内置任何 API Key——它使用 dsh 宿主的 deepseek-official provider（官方路由）。

添加 Key 的方法（二选一）：

方法一：dsh 设置页（推荐）

1. 打开 dsh 的 Settings → Models / Credentials
2. 找到 deepseek-official provider
3. 填入你自己的 DeepSeek API Key（格式：sk-...）
4. 保存后重启 dsh

方法二：配置文件

1. 编辑 dsh 的配置文件（~/.dsh/ 下的 credentials 或 config）
2. 在 deepseek-official provider 下添加：

   { "apiKey": "sk-你的key" }
   

3. 保存后重启 dsh

⚠️ 没有配置 Key 时插件无法工作（会报 provider 认证失败）。 ⚠️ 请使用你自己的 Key——不要使用他人的 Key，避免泄露和封号风险。

使用

1. 设置页 → 灰度测试
2. 配置并发数（1-100）、模型（deepseek-v4-flash / deepseek-v4-pro / deepseek-v4-flash-vision-exp）、思考强度（off ~ max）和预设
3. 点击「开始测试」→ 流式监听思维链 → 查看灰度出现率

设置页图形化界面说明

安装并重启 dsh 后，进入 设置页 → 插件 → 灰度测试，界面从上到下分为 5 个区域：

① 测试控制区（顶部）

• 状态徽标：○ 空闲 / ● 测试运行中（运行中变橙）
• 并发数输入框：1-100，决定同时开多少个测试会话（默认 20）
• 「开始测试」按钮：一键开测（运行中禁用）
• 「停止」按钮：终止当前测试（仅在运行中可用）

② 实时统计区（测试开始后出现）

四张统计卡片实时更新（每 2 秒刷新）：

卡片	含义
总会话	本次测试创建的会话数
灰度神模型	I'm+动词ing 计数超过 Let me×5 的会话数（主信号，不掐断）
正常模型(Let me)	Let me ≥3 且未达灰度比例的会话数（判定后掐断）
运行中	尚未出结果的会话数

下方同时显示 灰度出现率（灰度数/总会话数）和 上次测试结果（如 上次结果（时间）：共 20，灰度 3（15%），正常 16，异常 1）。

③ 判定说明

实时判定逻辑（每 2 秒刷新）：

1. 灰度判定（优先，不掐断）：I'm/I'll + 动词ing（排除 going to）计数 > Let me 计数 × 5 → 标记灰度，完整跑完并计入灰度数
2. 正常判定：Let me ≥ 3 次且未达灰度比例 → 判定正常，立即掐断会话（省额度）
3. 异常模型：全程未出现任何特征（既无 Let me 也无 I'm+动词ing——如模型用中文思维链），完整跑完——非官方模板、非灰度风格，视为异常

辅助信号：吐字速率 < 40 token/s（约 100 字符/秒）标记 慢——灰度模型吐字显著更慢。

④ 模型 / 思考强度 / 预设（配置区）

• model 下拉：来自 DS 官方路由（deepseek-v4-flash / deepseek-v4-pro / deepseek-v4-flash-vision-exp）
• 思考强度下拉：off / minimal / low / medium / high / xhigh / max
• 预设下拉：标准/PTC/极简/创造 + .agent-presets 下的自定义预设（自动发现）
• 「保存配置」按钮：保存后下次开测生效（运行中修改不影响当前测试）
• provider 固定 deepseek-official（灰度检测仅针对 DS 官方路由）

⑤ 测试提示词（任务区）

• textarea：本次测试发给每个会话的任务提示词（默认：3d场景，一辆怪兽卡车压碎一排汽车，场景细腻真实，给我html呈现，符合物理特性）
• 「保存提示词」按钮：保存后下次开测生效（运行中修改不影响当前测试）

💡 提示：测试输出写入 ~/gray-test-runs/（每个会话独立子目录），可在工作区查看各会话的完整产出。

预设（v2 新增）

测试会话可选用 dsh 内置的四种 Agent 预设：

预设 id	名称	说明
standard	标准模式	功能完整的编码 Agent（默认）
code	PTC 模式	标准全部能力 + Code Mode SDK 呈现工具（TypeScript 程序组合多步操作）
minimal	极简模式	仅持久 bash 与 str_replace_editor 的双工具编码 Agent
cordis	创造模式	用于创建自定义 Agent preset

也支持 .agent-presets 下的自定义预设（设置页会自动列出）。

说明

• provider 固定 deepseek-official（灰度检测仅针对 DS 官方路由）
• 模型列表来自 DS 官方路由
• 测试工作区写入 ~/gray-test-runs/（各机器独立）
• 灰度模型吐字很慢（约 40 token/s 或更低）