READMESource: master@78ab28c3
dsh-view-image
让 dsh 用独立的 OpenAI 兼容视觉模型读图,返回纯文本描述——主模型不需要支持视觉模态,纯文本模型也能粘贴图片、识别图片(图片字节不进主对话历史)。
功能特性
- 纯文本模型也能读图:主对话历史只保留「工具调用 + 纯文本结果」,图片字节不进模型上下文;
read_image会被拒绝的纯文本路由(如 deepseek-v4-flash)也能正常识别图片。 - Web 粘贴图片即用:输入框直接 Ctrl+V 粘贴,纯文本路由下自动落库为持久附件并改写为文本标记,不再弹「当前模型不支持图片」。
- 聊天流内联缩略图:用户消息内联显示粘贴图(右对齐、240px、object-fit cover),一次粘贴多张全部显示;点击放大、悬停「复制」按钮一键加入输入框(同时写剪贴板)、可拖拽回输入框。
- 终端 / headless 读图:主模型传文件路径即可读图(尊重 session cwd),适合脚本化场景。
- 界面语言跟随 dsh:按钮/反馈文案随 dsh 界面语言实时切换中英文。
- 识别行为可配置:默认提示词(
defaultPrompt)、intent 后缀(intentSuffix)、主模型 intent 软引导(intentGuidance)均可在 profile 配置层覆盖。 - 附件持久化:内容寻址(sha256)、同图去重、完整性校验,会话可恢复/重放;聊天缩略图跨重启也能兑底显示。
- 视觉模型可插拔:OpenAI 兼容端点(Ollama / vLLM / LiteLLM / OpenRouter / 阿里云百炼 / opencode.ai 等),配置在
vision-model.json。
安装
克隆仓库并安装到目标 profile(把 web 换成你的 profile 名):
git clone https://github.com/johnoooooo/dsh-view-image.git
cd dsh-view-image
dsh plugin --profile web add file:$PWD
安装完成后重启 dsh 生效。
卸载
dsh plugin --profile web remove dsh-view-image
配置视觉模型
复制示例并编辑 $DSH_HOME/vision-model.json(默认 ~/.dsh/vision-model.json):
cp vision-model.example.opencode.json ~/.dsh/vision-model.json
阿里云百炼(通义千问 VL):
{
"baseUrl": "https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions",
"apiKey": "sk-your-aliyun-api-key",
"model": "qwen3.7-plus",
"api": "openai-completions",
"maxTokens": 2048
}
opencode.ai(MiMo-V2.5):
{
"baseUrl": "https://opencode.ai/zen/go/v1/chat/completions",
"apiKey": "sk-your-api-key",
"model": "mimo-v2.5",
"api": "openai-completions",
"maxTokens": 8092
}
| 字段 | 说明 |
|---|---|
baseUrl |
OpenAI 兼容端点(Ollama /v1 / vLLM / LiteLLM / OpenRouter / opencode.ai 等;省略 /chat/completions 后缀时插件自动补) |
apiKey |
端点 API Key(占位 sk-your-api-key 换成自己的) |
model |
视觉模型名(如 mimo-v2.5) |
api |
协议:openai-completions(默认,@ai-sdk/openai-compatible 兼容) |
maxTokens |
最大输出 token(默认 2048;密集 OCR 可提到 4096-8192) |
配置缺失时插件正常加载但不注册 view_image(只打一条日志),补齐后重启或 /reload 生效。
可选插件配置
插件 bundle 自带默认配置(见仓库 cordis.patch.yml),开箱即用,一般无需修改。
使用
Web 界面(粘贴图片)
- 输入框直接粘贴图片(Ctrl+V)。
- 纯文本路由下(如 deepseek-v4-flash):插件把图片落库为持久附件,替换成文本标记
[Image Attachment: ...]发给模型——不再弹「当前模型不支持图片」。 - 模型看到标记自动调用
view_image,返回纯文本描述;聊天流里用户消息内联显示缩略图(一次多张全部显示),支持点击放大、悬停「复制」按钮一键加入输入框(同时尽力复制到剪贴板)、拖拽回输入框。
原理:插件包装宿主 apiProxy.sessions.prompt,仅在纯文本路由时改写图片;模型支持图片的路由完全走原生流程。
终端 / headless(图片路径)
模型会自动调用 view_image 读取图片:
dsh --profile headless "用 view_image 工具查看 /path/to/img.png 并描述内容"
工作原理
view_image支持两种来源:file_path(fs 解析,尊重 session cwd)或attachment_id(持久附件)。- 图片以 base64 data URL 发给独立视觉模型,结果只写纯文本——图片字节不进主对话历史。
- 粘贴改写:图片落库为持久附件(内容寻址、同图去重、完整性校验),替换成文本标记;模型看到标记后调用
view_image。 - 附件引用有进程内 registry + 标记字段双保险,跨重启也能兑底读取。
- 预览路由
/dsh-view-image/attachment/<sha256>供缩略图拉取字节(URL 带元数据参数兑底)。 - 客户端是纯展示层 DOM 增强:扫描标记渲染缩略图(对抗 React 重渲染),不改变模型上下文。
附件存储
图片存放在 ~/.dsh/attachments/v1/objects/<sha256前2位>/<sha256>。没有 GC:删除会话不会删附件,想清空就 rm -rf ~/.dsh/attachments。
许可
MIT
No comments yet. Be the first to write one.