Compare commits
14
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
452e38e9f7 | ||
|
|
07f7c85b4a | ||
|
|
3e73b46005 | ||
|
|
c7c963ceaa | ||
|
|
c92a807c87 | ||
|
|
2b8cc45023 | ||
|
|
90502dc27e | ||
|
|
2aa0e50f73 | ||
|
|
286beb8ee5 | ||
|
|
e473bc90a3 | ||
|
|
d96ef11fe2 | ||
|
|
ad2a2ba704 | ||
|
|
de12d3ba9e | ||
|
|
d71f9e57c6 |
No files matched your search
@@ -73,6 +73,8 @@ function cleanColor(v){return /^#[0-9a-fA-F]{6}$/.test(String(v))?String(v):unde
|
||||
export function sanitizeOperations(p,operations){
|
||||
if(!Array.isArray(operations)||operations.length>1000)throw Error('模型没有返回有效的操作数组');
|
||||
const ops=[],notes=[],addBySim=new Map(),updById=new Map();
|
||||
const seenRange=new Set();
|
||||
for(const c of p.clips)if(c.mediaId&&c.track!=='subtitle')seenRange.add(c.mediaId+'|'+Math.round(c.in*10)+'|'+Math.round(c.out*10));
|
||||
const note=n=>{if(notes.length<40)notes.push(n);};
|
||||
const handle=op=>{
|
||||
if(!op||typeof op!=='object')return note('忽略无效操作');
|
||||
@@ -91,6 +93,11 @@ export function sanitizeOperations(p,operations){
|
||||
else if(m.type==='image'){clip.in=0;clip.out=Math.min(clampValue(raw.out,'out')??Math.min(5,60),60);}
|
||||
else{clip.in=Math.min(clampValue(raw.in,'in')??0,Math.max(0,m.duration-.1));clip.out=Math.min(clampValue(raw.out,'out')??m.duration,m.duration);}
|
||||
if(!(clip.out>clip.in+.05))return note('忽略 add:出点必须大于入点');
|
||||
if(track!=='subtitle'){
|
||||
const scored=(m.analysis?.segments||[]).filter(s=>s.score!=null);
|
||||
if(scored.length&&!scored.some(s=>clip.in<s.end+.5&&clip.out>s.start-.5))return note('忽略 add:源时间范围不在已分析片段内');
|
||||
const key=clip.mediaId+'|'+Math.round(clip.in*10)+'|'+Math.round(clip.out*10);if(seenRange.has(key))return note('忽略 add:与现有片段重复使用同一源片段');seenRange.add(key);}
|
||||
|
||||
if(raw.text!==undefined)clip.text=cleanText(raw.text);
|
||||
for(const k of ['fade','brightness','contrast','saturation','fontSize']){const v=clampValue(raw[k],k);if(v!==undefined)clip[k]=v;}
|
||||
if(raw.color!==undefined){const col=cleanColor(raw.color);if(col)clip.color=col;}
|
||||
@@ -137,11 +144,25 @@ export function sanitizeOperations(p,operations){
|
||||
if(vids[i].start<end-.02){
|
||||
const at=Math.round(end*100)/100;
|
||||
const add=addBySim.get(vids[i].id);if(add)add.clip.start=at;
|
||||
else{const upd=updById.get(vids[i].id);if(upd)upd.changes.start=at;}
|
||||
else{const upd=updById.get(vids[i].id);if(upd)upd.changes.start=at;
|
||||
else{const entry={type:'update',id:vids[i].id,changes:{start:at}};ops.push(entry);updById.set(vids[i].id,entry);}}
|
||||
vids[i].start=at;
|
||||
note('视频片段重叠,已自动后移至 '+at.toFixed(1)+' 秒');
|
||||
}
|
||||
}
|
||||
// 空隙填补:把视频轨向左压实,镜头之间不留黑场
|
||||
for(let i=1;i<vids.length;i++){
|
||||
const prevEnd=vids[i-1].start+duration(vids[i-1]);
|
||||
const gap=vids[i].start-prevEnd;
|
||||
if(gap>0.02){
|
||||
const at=Math.round(prevEnd*100)/100;
|
||||
const add=addBySim.get(vids[i].id);if(add)add.clip.start=at;
|
||||
else{const upd=updById.get(vids[i].id);if(upd)upd.changes.start=at;
|
||||
else{const entry={type:'update',id:vids[i].id,changes:{start:at}};ops.push(entry);updById.set(vids[i].id,entry);}}
|
||||
vids[i].start=at;
|
||||
note('填补空隙,片段前移至 '+at.toFixed(1)+' 秒');
|
||||
}
|
||||
}
|
||||
try{validateProject({...p,clips:[...sim.values()]});}catch(e){throw Error('AI 操作校验未通过:'+e.message+';'+notes.slice(0,3).join(';'));}
|
||||
return {operations:ops,notes};
|
||||
}
|
||||
|
||||
@@ -85,11 +85,17 @@ export async function visionAnalyze(c,media,analysis,signal,progress){
|
||||
// 规划提示词:只发送经过筛选的高价值片段(按评分排序),并严格控制数据体量,
|
||||
// 避免超出本地模型上下文导致报错;明确选材规则,减少"乱选素材"。
|
||||
const PLACEHOLDER=/尚未|等待|采样窗口|时间采样|语义或动作/;
|
||||
const TITLE_CARD=/标题画面|演职员|职员表|片头|片尾|字幕卡|制作人员/;
|
||||
const JUNK_CARD=/警告|黑屏|黑底|纯黑|全黑|提示卡|敏感|注意事项/;
|
||||
// 动画剧集 OP/ED 区域:前 110 秒与最后 120 秒通常为主题曲/片尾/预告,不适合混剪取镜。
|
||||
// 仅对长素材(>5 分钟,即完整剧集)生效,短片不受影响。
|
||||
const OP_ZONE=110,ED_ZONE=120,LONG_MEDIA=300;
|
||||
const SEG_CAP=60,PER_MEDIA_CAP=8,DESC_MAX=90;
|
||||
const round2=n=>Math.round(n*100)/100;
|
||||
function buildProjectData(p,budget){
|
||||
function buildProjectData(p,budget,fresh){
|
||||
const media=p.media.map(m=>{
|
||||
const all=(m.analysis?.segments||[]).filter(s=>s&&Number.isFinite(s.score)&&s.score!==null&&typeof s.description==='string'&&s.description&&!PLACEHOLDER.test(s.description))
|
||||
const seen=new Set();
|
||||
const all=(m.analysis?.segments||[]).filter(s=>s&&Number.isFinite(s.score)&&s.score!==null&&typeof s.description==='string'&&s.description&&!PLACEHOLDER.test(s.description)&&!TITLE_CARD.test(s.description)&&!JUNK_CARD.test(s.description)&&(m.duration<=LONG_MEDIA||(s.start>=OP_ZONE&&s.end<=m.duration-ED_ZONE))&&!seen.has(s.description)&&(seen.add(s.description),true))
|
||||
.map(s=>({start:round2(s.start),end:round2(s.end),score:round2(s.score),description:String(s.description).slice(0,DESC_MAX),...(s.reason?{reason:String(s.reason).slice(0,50)}:{})}))
|
||||
.sort((a,b)=>b.score-a.score);
|
||||
return {id:m.id,name:String(m.name||'').slice(0,60),type:m.type,duration:round2(m.duration),...(m.tags&&m.tags.length?{tags:m.tags.slice(0,6)}:{}),segments:all,hint:all.length?'':'未分析,必要时可从全片取用'};
|
||||
@@ -97,16 +103,16 @@ function buildProjectData(p,budget){
|
||||
media.sort((a,b)=>(b.segments[0]?.score??-1)-(a.segments[0]?.score??-1));
|
||||
const kept=new Map();let cap=SEG_CAP;
|
||||
for(const m of media){const out=[];for(const s of m.segments){const n=kept.get(m.id)||0;if(n>=PER_MEDIA_CAP||!cap)break;kept.set(m.id,n+1);cap--;out.push(s);}m.segments=out;}
|
||||
const clips=p.clips.map(c=>({id:c.id,...(c.mediaId?{mediaId:c.mediaId}:{}),track:c.track,start:round2(c.start),in:round2(c.in),out:round2(c.out),speed:c.speed??1,volume:c.volume??1,
|
||||
const clips=fresh?[]:p.clips.map(c=>({id:c.id,...(c.mediaId?{mediaId:c.mediaId}:{}),track:c.track,start:round2(c.start),in:round2(c.in),out:round2(c.out),speed:c.speed??1,volume:c.volume??1,
|
||||
...(c.fade!==undefined?{fade:c.fade}:{}),...(c.text?{text:c.text.slice(0,200)}:{}),...(c.color?{color:c.color}:{}),...(c.fontSize?{fontSize:c.fontSize}:{}),
|
||||
...(c.brightness!==undefined?{brightness:c.brightness}:{}),...(c.contrast!==undefined?{contrast:c.contrast}:{}),...(c.saturation!==undefined?{saturation:c.saturation}:{}),...(c.fit?{fit:c.fit}:{})}));
|
||||
const data={settings:p.settings,timelineDuration:round2(Math.max(0,...p.clips.map(c=>c.start+(c.out-c.in)/(c.speed||1)))),media,clips};
|
||||
const data={settings:p.settings,timelineDuration:fresh?0:round2(Math.max(0,...p.clips.map(c=>c.start+(c.out-c.in)/(c.speed||1)))),media,clips};
|
||||
const steps=[
|
||||
d=>{for(const m of d.media)m.segments=m.segments.slice(0,4);},
|
||||
d=>{for(const m of d.media)m.segments=m.segments.slice(0,6);},
|
||||
d=>{for(const m of d.media)for(const s of m.segments)s.description=s.description.slice(0,60);},
|
||||
d=>{for(const m of d.media)for(const s of m.segments)delete s.reason;},
|
||||
d=>{for(const m of d.media)for(const s of m.segments)s.description=s.description.slice(0,30);},
|
||||
d=>{for(const m of d.media)if(m.segments.length)m.segments=m.segments.slice(0,2);},
|
||||
d=>{for(const m of d.media)if(m.segments.length)m.segments=m.segments.slice(0,3);},
|
||||
d=>{for(const c of d.clips)for(const k of ['brightness','contrast','saturation','fit','color','fontSize','fade','volume','speed'])delete c[k];},
|
||||
d=>{d.clips=d.clips.slice(0,120).map(c=>({id:c.id,mediaId:c.mediaId,track:c.track,start:c.start}));},
|
||||
d=>{for(const m of d.media)delete m.tags;},
|
||||
@@ -136,7 +142,7 @@ function buildHistoryBlock(history,budget){
|
||||
}
|
||||
export function plannerPrompt(p,instruction,{fresh=false,target=0,style=null,budget=9000,history=[]}={}){
|
||||
const historyBlock=buildHistoryBlock(history,Math.max(400,Math.round(budget*.35)));
|
||||
const data=buildProjectData(p,Math.max(1200,budget-historyBlock.length));
|
||||
const data=buildProjectData(p,Math.max(1200,budget-historyBlock.length),fresh);
|
||||
const hasSegments=data.media.some(m=>m.segments.length);
|
||||
const mode=fresh?'用户要求创作新的时间轴:先 remove 现有全部片段,再按新要求重新 add;内容全部重新编排,不要保留旧镜头。':'时间轴需要保留:只修改用户明确提到的片段与字段,其余片段保持原样;不要删除未提及的片段,不要重建整个时间轴。';
|
||||
const styleBlock=style?`风格参数(仅用于新添加的片段,不要改动现有片段):${JSON.stringify(style)}`:'';
|
||||
@@ -152,9 +158,9 @@ remove {"type":"remove","id":"已有片段 ID"}。
|
||||
|
||||
必须遵守的规则:
|
||||
1. 只能引用素材列表中的素材 ID,禁止编造;视频/图片放入 video 轨,音频放入 audio 轨,音频素材不能放入 video 轨。
|
||||
2. 视频/音频的 in≥0 且 out≤素材 duration,且 out>in;图片素材 in=0,out 最长 60 秒。
|
||||
2. 视频/音频的 in≥0 且 out≤素材 duration,且 out>in;图片素材 in=0,out 最长 60 秒。in/out 必须取自片段列表中该素材片段的 start/end 值,禁止自行编造源时间范围。
|
||||
3. 视频轨片段不允许重叠;新片段一般接在时间轴末尾(start 等于 timelineDuration),除非用户要求插入特定位置。片段在时间轴上的时长=(out-in)/speed。
|
||||
4. 素材选择:优先使用 score 高的片段;根据用户主题、关键词与片段的 description、reason、tags 匹配内容;尽量使用多个不同素材,避免同一素材连续堆砌;不要使用与主题明显无关的素材;未分析的素材只作补充。
|
||||
4. 素材选择:优先使用 score 高的片段;根据用户主题、关键词与片段的 description、reason、tags 匹配内容;尽量使用多个不同素材,避免同一素材连续堆砌;不要使用与主题明显无关的素材;未分析的素材只作补充。含蓄镜头(背影、牵手、表情特写、物品特写)同样可以表达人物关系,不必要求两人同框或正脸。禁止重复使用同一个源片段(相同素材的相同 in/out 范围只能出现一次)。
|
||||
5. ${mode}
|
||||
6. 不要声称添加了不存在的音乐;音频素材列表为空时不要添加 audio 轨。若素材列表中有音频素材且用户要求配乐 / 配音,应添加 audio 轨并按需要调整 volume。
|
||||
7. 数值范围:speed 0.25–4,volume 0–4,fade 0–10,brightness -1–1,contrast 0–2,saturation 0–3,fontSize 12–160,color 为 #rrggbb。
|
||||
@@ -162,6 +168,9 @@ remove {"type":"remove","id":"已有片段 ID"}。
|
||||
9. 片段描述是采样观察结果,可能不完整;不确定时优先选择 score 更高的片段,并在 summary 中说明取舍。
|
||||
10. 用户指令中的「这个 / 那个 / 现在 / 全部」等指代必须结合对话记录理解;只要对话记录中有可执行的要求,就不得以「未收到具体要求」为由返回空方案。只有确实无法执行时才返回空 operations。没有台词转写数据时,不要虚构字幕台词。
|
||||
|
||||
用户本次要求(需要执行的剪辑指令,必须据此操作):
|
||||
${instruction}
|
||||
|
||||
${styleBlock}
|
||||
${targetBlock}
|
||||
${historySection}
|
||||
|
||||
@@ -50,6 +50,7 @@ test('AI 操作净化:越界数值截断、无效引用忽略、视频轨重
|
||||
{type:'update',id:'c1',changes:{out:25}}, // 延长到 25s
|
||||
{type:'add',clip:{mediaId:'v',track:'video',start:0,in:0,out:999,speed:99,volume:-5,color:'red',fontSize:1,brightness:9}}, // 越界全部截断
|
||||
{type:'add',clip:{mediaId:'v',track:'video',start:1,in:5,out:10}}, // 与 c1 重叠,应后移
|
||||
{type:'add',clip:{mediaId:'v',track:'video',start:9,in:5,out:10}}, // 与上一条同源同范围,应去重忽略
|
||||
{type:'add',clip:{mediaId:'nope',track:'video',start:0,in:0,out:1}}, // 素材不存在,忽略
|
||||
{type:'add',clip:{mediaId:'v',track:'audio',start:0,in:0,out:5}}, // 视频素材进音频轨,忽略
|
||||
{type:'update',id:'ghost',changes:{start:0}}, // 片段不存在,忽略
|
||||
@@ -63,6 +64,36 @@ test('AI 操作净化:越界数值截断、无效引用忽略、视频轨重
|
||||
assert.ok(r.notes.length>=5);
|
||||
const applied=applyOperations(p,r.operations); // 净化后的操作必须能直接通过校验
|
||||
assert.equal(applied.clips.filter(c=>c.track==='video').length,3);
|
||||
// 新增片段把旧片段挤开时,必须生成对应的 update 操作(否则模拟与实装不一致)
|
||||
const p2=newProject('旧片段平移');p2.media=[{id:'v',type:'video',duration:60,name:'v',tags:[]}];
|
||||
p2.clips=[{id:'o1',mediaId:'v',track:'video',start:0,in:0,out:5,speed:1,volume:1},{id:'o2',mediaId:'v',track:'video',start:8,in:20,out:25,speed:1,volume:1}];
|
||||
const r2=sanitizeOperations(p2,[{type:'add',clip:{mediaId:'v',track:'video',start:0,in:5,out:15,speed:1}}]);
|
||||
const shiftUpdate=r2.operations.find(o=>o.type==='update'&&o.id==='o2');
|
||||
assert.ok(shiftUpdate,'旧片段被挤开时必须生成 update 操作');
|
||||
assert.equal(shiftUpdate.changes.start,15);
|
||||
const applied2=applyOperations(p2,r2.operations);
|
||||
assert.equal(applied2.clips.find(c=>c.id==='o2').start,15);
|
||||
// 有分析数据的素材:add 的 in/out 必须落在已分析片段内,否则忽略(防模型编造源时间范围)
|
||||
const p3=newProject('片段范围约束');p3.media=[{id:'v',type:'video',duration:600,name:'v',tags:[],analysis:{segments:[{start:100,end:110,description:'对话场景',score:90},{start:300,end:310,description:'拥抱',score:95}]}}];
|
||||
const r3=sanitizeOperations(p3,[
|
||||
{type:'add',clip:{mediaId:'v',track:'video',start:0,in:100,out:110}},
|
||||
{type:'add',clip:{mediaId:'v',track:'video',start:5,in:200,out:210}}, // 不在已分析片段内,忽略
|
||||
{type:'add',clip:{mediaId:'v',track:'video',start:10,in:305,out:308}},
|
||||
]);
|
||||
assert.equal(r3.operations.length,2);
|
||||
assert.equal(r3.operations[0].clip.in,100);
|
||||
assert.equal(r3.operations[1].clip.in,305);
|
||||
assert.ok(r3.notes.some(n=>n.includes('不在已分析片段内')));
|
||||
// 空隙填补:镜头之间有黑场时自动向前压实
|
||||
const p4=newProject('空隙填补');p4.media=[{id:'v',type:'video',duration:600,name:'v',tags:[]}];
|
||||
p4.clips=[{id:'g1',mediaId:'v',track:'video',start:0,in:0,out:5,speed:1,volume:1},{id:'g2',mediaId:'v',track:'video',start:12,in:30,out:35,speed:1,volume:1}];
|
||||
const r4=sanitizeOperations(p4,[{type:'add',clip:{mediaId:'v',track:'video',start:5,in:10,out:13,speed:1}}]);
|
||||
const gapFix=r4.operations.find(o=>o.type==='update'&&o.id==='g2');
|
||||
assert.ok(gapFix,'空隙应被填补并生成 update');
|
||||
assert.equal(gapFix.changes.start,8);
|
||||
const applied4=applyOperations(p4,r4.operations);
|
||||
const vids4=applied4.clips.filter(c=>c.track==='video').sort((a,b)=>a.start-b.start);
|
||||
assert.equal(vids4[1].start,vids4[0].start+(vids4[0].out-vids4[0].in));
|
||||
});
|
||||
test('按参数组接:只使用已分析素材、按素材轮转保证多样性、忽略未分析素材',()=>{
|
||||
const p=newProject('组接测试');p.media=[
|
||||
|
||||
@@ -34,23 +34,47 @@ test('JSON 解析失败自动重试:第二次不再强制 format 并追加严
|
||||
test('规划提示词:按评分筛选片段、丢弃占位描述、区分新建/修改模式、控制数据体量',()=>{
|
||||
const mk=(id,score)=>({id,name:id,type:'video',duration:120,tags:['海边'],analysis:{segments:[
|
||||
{start:0,end:5,description:'海滩日落,人物走过画面,光线柔和,构图开阔',score,reason:'构图好'},
|
||||
{start:2,end:6,description:'海滩日落,人物走过画面,光线柔和,构图开阔',score:score+2}, // 重复描述应去重
|
||||
{start:8,end:12,description:'动画标题画面,显示作品名称',score:99}, // 片头标题卡应排除
|
||||
{start:10,end:15,description:'尚未进行语义或动作识别',score:null},
|
||||
{start:20,end:25,description:'城市夜景,车流灯光',score:score-10,reason:'节奏感强'},
|
||||
]}});
|
||||
const ep=(id,score)=>({id,name:id,type:'video',duration:1500,tags:[],analysis:{segments:[
|
||||
{start:60,end:68,description:'黑屏上显示中文警告提示卡',score:97}, // 警告卡应排除
|
||||
{start:200,end:208,description:'金发少年与少女在室内对话',score:90}, // 正文内容应保留
|
||||
{start:1480,end:1488,description:'片尾演职员表滚动',score:96}, // ED 区应排除
|
||||
{start:500,end:508,description:'雪地里两人相拥',score:score},
|
||||
]}});
|
||||
const p={settings:{width:1920,height:1080,fps:30},media:[mk('a',90),mk('b',40)],clips:[{id:'c1',mediaId:'a',track:'video',start:0,in:0,out:5,speed:1,volume:1,motion:[{time:0,zoom:1,x:.5,y:.5}],text:'旧字幕'}]};
|
||||
const fresh=plannerPrompt(p,'制作一个旅行短片',{fresh:true,target:45,style:getStyle('cinematic'),budget:9000});
|
||||
assert.ok(fresh.includes('用户本次要求'));
|
||||
assert.ok(fresh.includes('制作一个旅行短片'),'用户指令必须出现在提示词中');
|
||||
assert.ok(fresh.includes('海滩日落'));
|
||||
assert.ok(fresh.includes('城市夜景'));
|
||||
assert.ok(!fresh.includes('尚未进行语义或动作识别'));
|
||||
assert.ok(!fresh.includes('动画标题画面'),'片头标题卡必须排除');
|
||||
assert.ok(!fresh.includes('motion'));
|
||||
assert.ok(fresh.includes('先 remove 现有全部片段'));
|
||||
assert.ok(fresh.includes('45'));
|
||||
// 新建模式:数据中不带旧时间轴(避免模型被旧片段干扰)
|
||||
const freshData=JSON.parse(fresh.slice(fresh.indexOf('{',fresh.indexOf('项目数据'))));
|
||||
assert.equal(freshData.clips.length,0);
|
||||
assert.equal(freshData.timelineDuration,0);
|
||||
assert.ok(fresh.includes('score'));
|
||||
assert.ok(fresh.length<12000);
|
||||
const modify=plannerPrompt(p,'把第一个镜头缩短一点',{fresh:false,budget:9000});
|
||||
assert.ok(modify.includes('时间轴需要保留'));
|
||||
assert.ok(modify.includes('c1'));
|
||||
const modifyData=JSON.parse(modify.slice(modify.indexOf('{',modify.indexOf('项目数据'))));
|
||||
assert.equal(modifyData.clips.length,1);
|
||||
// 大数据量下仍受预算约束
|
||||
// OP/ED 区域与警告卡过滤:只保留正片内容
|
||||
const epP={settings:p.settings,media:[ep('epA',88)],clips:[]};
|
||||
const epPrompt=plannerPrompt(epP,'剪一个混剪',{fresh:true,budget:9000});
|
||||
assert.ok(epPrompt.includes('雪地里两人相拥'));
|
||||
assert.ok(epPrompt.includes('金发少年与少女在室内对话'));
|
||||
assert.ok(!epPrompt.includes('黑屏上显示中文警告提示卡'),'警告卡必须排除');
|
||||
assert.ok(!epPrompt.includes('片尾演职员表滚动'),'ED 区必须排除');
|
||||
const big={settings:p.settings,media:Array.from({length:40},(_,i)=>({id:'m'+i,name:'素材'+i,type:'video',duration:300,tags:['t'],analysis:{segments:Array.from({length:10},(_,j)=>({start:j*30,end:j*30+28,description:'第'+j+'段:这是很长的一段语义描述内容用来填充上下文窗口测试预算裁剪是否生效',score:99-j}))}})),clips:Array.from({length:60},(_,i)=>({id:'c'+i,mediaId:'m0',track:'video',start:i*5,in:0,out:5,speed:1,volume:1}))};
|
||||
const small=plannerPrompt(big,'重新剪一遍',{fresh:true,budget:3800});
|
||||
assert.ok(small.length<6500);
|
||||
|
||||
Reference in new issue
Block a user