feat(ai): 按参数组接只选已分析素材并轮转保多样性;规划流程识别新建/修改意图 #5

Merged
xhgit merged 1 commits from feat/ai-assemble-plan-flow into main 2026-11-14 11:24:13 +08:00
Owner

问题

「素材乱搞」的另一半:按参数组接(不用模型、按评分组接)会把未分析的素材和占位片段也塞进时间轴,且同一素材连续堆砌;规划流程里用户说「制作一个 45 秒的旅行视频」时,已有时间轴的旧片段会被保留下来和新镜头混在一起。

修改

按参数组接(assemble)

  • 只要存在经 AI 分析(有评分、语义可理解)的素材,就只使用这些素材;未分析素材不再乱入,摘要在列出未使用素材并说明原因
  • 按素材轮转取用镜头(round-robin),每素材数量有上限,保证镜头来源多样
  • 未分析任何素材时回退到整段取用,并明确提示「建议先做 AI 分析」

规划流程(plan handler)

  • 识别新建意图(如「制作/创建/新建…视频」或时间轴无视频片段):先 remove 现有全部片段再重建,避免新旧镜头混排
  • 接入 sanitizeOperations 净化层,重试次数 2 → 3,方案摘要显示「已自动修正 N 处细节」
  • 生成失败时在 AI 聊天中显示失败原因(此前只弹 toast,看不到上下文)
  • 本地模型提示词预算 3800 字符、云端 9000 字符;用户指令上限 3000 字符

测试

新增按参数组接用例:轮转多样性(第 1、2 个镜头来自不同素材)、未分析素材不参与、未分析回退路径。本地 npm test 全绿。

合并顺序

依赖:#2 → #3 → #4(本 PR 为 #5,必须最后合并)。

## 问题 「素材乱搞」的另一半:按参数组接(不用模型、按评分组接)会把未分析的素材和占位片段也塞进时间轴,且同一素材连续堆砌;规划流程里用户说「制作一个 45 秒的旅行视频」时,已有时间轴的旧片段会被保留下来和新镜头混在一起。 ## 修改 ### 按参数组接(assemble) - 只要存在经 AI 分析(有评分、语义可理解)的素材,就只使用这些素材;未分析素材不再乱入,摘要在列出未使用素材并说明原因 - 按素材轮转取用镜头(round-robin),每素材数量有上限,保证镜头来源多样 - 未分析任何素材时回退到整段取用,并明确提示「建议先做 AI 分析」 ### 规划流程(plan handler) - 识别新建意图(如「制作/创建/新建…视频」或时间轴无视频片段):先 remove 现有全部片段再重建,避免新旧镜头混排 - 接入 `sanitizeOperations` 净化层,重试次数 2 → 3,方案摘要显示「已自动修正 N 处细节」 - 生成失败时在 AI 聊天中显示失败原因(此前只弹 toast,看不到上下文) - 本地模型提示词预算 3800 字符、云端 9000 字符;用户指令上限 3000 字符 ## 测试 新增按参数组接用例:轮转多样性(第 1、2 个镜头来自不同素材)、未分析素材不参与、未分析回退路径。本地 `npm test` 全绿。 ## 合并顺序 依赖:#2 → #3 → #4(本 PR 为 #5,必须最后合并)。
xhgit added 2 commits 2026-11-14 11:22:18 +08:00
模型输出中个别小错误(数值越界、引用不存在的素材/片段、视频轨重叠)不再导致整个剪辑方案被校验拒绝:
- add:截断越界数值(speed/volume/fade/色值/字号等),引用不存在或类型不符的素材时忽略该操作
- update:禁止改 id/mediaId/track,字段逐项截断,入点出点矛盾时忽略
- remove:引用不存在片段时忽略
- 视频轨重叠自动右移后置片段,而不是整体报错
- 返回 notes 记录所有自动修正,供方案摘要展示
按参数组接(assemble):
- 存在已分析(有评分)素材时只使用这些素材,未分析素材不再乱入
- 按素材轮转取用镜头,避免单一素材堆砌,每素材数量有上限
- 摘要说明镜头来源数量与未使用素材,未分析时明确提示先做 AI 分析

规划流程(plan handler):
- 识别新建意图(如「制作一个 45 秒旅行视频」):先 remove 现有全部片段再重建,避免旧片段与新材料混在一起
- 接入 sanitizeOperations 净化层与 3 次修正重试,方案摘要显示自动修正数量
- 失败时在聊天中显示原因(此前只弹 toast)
- 本地模型提示词预算 3800 字符、云端 9000 字符;用户指令上限 3000 字符
xhgit force-pushed feat/ai-assemble-plan-flow from ffb57c9868 to 27faeb8e8a 2026-11-14 11:22:18 +08:00 Compare
xhgit merged commit 513edf664b into main 2026-11-14 11:24:13 +08:00
xhgit deleted branch feat/ai-assemble-plan-flow 2026-11-14 11:24:13 +08:00
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: xhgit/AI-cut#5