Project / Agent 与工程

Iris Media for DSH

DSH 里的图像、视频、语音与视觉工具。

以 DSH 插件和独立 CLI 两种方式提供图像、视频、音乐、语音、转写、OCR 与视觉分析，并统一管理异步任务与作品。

v0.3.0-beta.1 预览 · v0.2.7 稳定

Overview 项目概述

Iris Media for DSH 把图像生成、文生/图生视频、数字人视频、音乐、语音、转写、OCR 与视觉分析收进一个可自托管的运行时。它同时提供 DSH 插件和独立 CLI 两条路径。

媒体能力通常散落在不同供应商和脚本里，任务状态、文件位置和作品版本很难统一。Iris 试图把「调用—异步任务—作品」变成一份可恢复、可导出的本地事实。

DSH 插件路径与 headless CLI 共用同一份 Core Task/Artifact 数据根；同一数据根只允许一个写者。
按「供应商 + 模型」显式分配能力；空名单会停止新调用，不会自动补入模型池。
0.2.6 支持引用 DSH 已有 API Key 连接，只保存连接标识，操作时读取宿主管理的地址与凭据；独立 CLI 仍使用显式私有配置。
0.2.7 将 Core/DSH 的写队列与任务观察器收归实例所有，并让 DSH 浏览器截图以 PNG 经 Core 保存，浏览器无需获得 Iris 数据根的写权限。
0.3.0-beta.1 基于 alpha.1 的 Core 分离，冻结最小插件契约；网络路由、有界调度、持久文生视频与环境凭据引用进入 beta 范围。
Node.js ≥22.1；图像处理依赖 sharp，视频抽帧依赖系统的 ffmpeg 与 ffprobe。
异步任务可观察、可在重启后接管；作品库与任务历史彼此独立。

图片生成与导入、Qwen 原生改图、文生视频、图生视频与 S2V 数字人视频。
音乐生成、文本转语音、音频转写；看图问答、长图 OCR、目标定位、裁剪与像素差异分析。
视频抽帧与多模态摘要；多供应商模型池、能力分配与故障转移。
独立作品库、媒体播放令牌，以及浏览器上传、会话附件和宿主路径三种文件来源。
0.2.6 新增六类功能的自动池/手选/停用、按需目录同步与能力检测；自动池按登记顺序安全切换，不做跨请求轮转。
0.2.7 修复 DSH HTML 截图，增加主动截图自检与 DSH_WEB_BASE 导航，并新增持久图片编辑流程和默认只读的 loopback 本地 API。
随包 iris-core Skill 可显式安装到 Kimi 或其他 harness，并记录版本与内容哈希；安装不会自动配置模型或 MCP。
0.3.0-beta.1 增加显式网络资源与路由、可选的有界媒体调度、Core Web/MCP 持久文生视频、环境凭据引用和独立插件模板；npm latest 仍为 0.2.7。

sharp 含原生组件；非标准运行环境可能需要额外处理。
视频抽帧与摘要依赖 ffmpeg 和 ffprobe；HTML 截图不加载远程脚本、字体或图片。
WSL、容器和远程部署中，宿主路径不一定可读，优先使用上传文件。
供应商返回的模型清单只是候选，能力是否真正可用仍需实际调用确认。
连接复用依赖宿主提供对应公开接口；缺少服务时仍使用手动配置。
本地 API 默认只读，不包含流程执行与取消；持久图片流程需要新的专用根，同一数据根仍然只允许一个写者。
Skill 安装与 harness 发现是两件事，status 会报告 discovery: not_checked；Android 真机触摸、热升级与长任务重启接管仍需单独验收。
0.3.0-beta.1 仍是 beta；npm latest 仍是 0.2.7，旧数据根不会自动迁移，视频需要新的 v4 根，最低 Node.js 为 22.1，真实 ComfyUI GPU 推理仍未验收。

npm test 覆盖配置合并、模型身份、任务生命周期、生成动作、HTTP/SSE 路由、客户端交互与安全边界。
GitHub Actions 使用 Linux/Windows × Node.js 22.1.0/最新 22.x 矩阵，并检查进程自然退出。
0.3.0-beta.1 的发布检查覆盖 Ubuntu/Windows、Node 22.1.0 至当前 22.x、真实 tarball 消费者、严格 NodeNext 公共类型与 Chromium 工作台场景；不证明对所有模型、GPU、浏览器或 harness 的兼容。
Android 真机触摸、热升级与长任务重启接管仍需单独验收。
支持的 12 个 DSH 版本与 Node.js ≥22.1 要求未变；Skill 发现检查不提交 prompt，也不调用模型。
原生 Windows/WSL 宿主烟测仍待实机验证；兼容范围以仓库的兼容矩阵为准。