YH. 周毅恒PERSONAL PORTFOLIO
菜单 +
← 返回项目列表
CASE STUDY / 04 / MULTIMODAL / CREATIVE TOOLS

AI 漫剧创作平台

组织故事、角色与分镜,让多模态生成连接为完整创作流程。

ShipAny 2多模态生成工作流

打开交互 Demo ↗

内容类型技术案例与方案拆解
阅读重点架构 · 数据 · 失败边界
技术主线身份 · 状态 · 数据一致性
01 / FOLLOW THE REQUEST架构流程 · 节点详解
STEP / 01

故事设定

组织故事大纲、角色和风格。结构化输出需经过校验后进入后续步骤。

{ story, characters[], style }
点击节点查看数据如何流动

场景与技术范围

基于 ShipAny 2 构建 AI 漫剧制作方案。通过 OpenRouter 调用文本模型,通过 Kie AI 接入图像与视频生成,使用 Cloudflare R2 处理素材存储,工作流涵盖故事设定、角色、分镜与生成任务。

项目的核心是组织多阶段生成,而不只是同时展示几个模型入口。前一步内容更新后,后续镜头如何保持一致,是主要工程问题。

系统分层

模块 职责 关键边界
项目工作台 编辑故事、角色与镜头 项目归属和登录校验
文本生成 大纲、角色、分镜提示词 结构化输出校验
图像与视频生成 按镜头提交异步任务 单镜头任务状态与重试
R2 素材层 归档生成文件 资源引用、访问范围与生命周期

工作台按故事与分镜组织步骤,数据层分别管理镜头、生成任务和素材版本。

数据与状态设计

Project(id, owner_id, style, aspect_ratio)
  ├─ Character(id, project_id, description, reference)
  └─ Shot(id, project_id, order, prompt_version)
       ├─ GenerationTask(provider_id, type, status)
       └─ Asset(storage_key, source_task, version)

queued → running → succeeded
                 ↘ failed

数据设计将镜头与生成任务分开存储:同一镜头可以多次生成,但每个任务保留自己的提示词版本、模型标识与状态。这样才能解释当前素材来自哪次生成。

关键工程问题

结构化提示词与角色一致性

故事、风格、角色设定和镜头描述应有明确字段;文本模型返回结果后先做结构校验,再送入图像模型。角色描述变更时,要提示哪些镜头引用了旧版本,而不是悄悄混用。

长任务与断点恢复

生成任务不依赖浏览器一直打开。任务恢复机制持久化任务 ID,通过服务端查询或可信回调更新状态;刷新页面后从已有任务恢复展示。单镜头失败时可重试该镜头,不必重新生成整个项目。

素材保存与成本边界

保存供应商输出前确认内容类型和体积限制;将素材关联到用户、项目与任务。对同一提交使用幂等标识,并设置并发与成本限制,避免连续点击引起多次付费生成。

验收标准

  • 修改故事或角色后,相关镜头的旧版本能被识别。
  • 图像成功但视频失败时,已生成素材不丢失。
  • 刷新与重新登录后能恢复任务状态。
  • 一个用户不能读取另一个用户的私有项目和素材。
  • 重复回调不会创建重复素材,失败任务保留可理解的原因。

参考资料

  • ComfyUI:基于节点组织生成流程,参考其工作流编排与模型组合方式。
  • Wan2.1:开源视频生成项目,提供文生视频、图生视频等任务的推理实现。
NEXT CASE / 01

宠物训练 iOS App ↗