feat: 开源轻映 AI 桌面剪辑工作台及抽帧复核功能
This commit is contained in:
1 parent
9af7c2fe86
commit
b51ef85dbd
46 files changed
+6916
-2
No files matched your search
@@ -0,0 +1,65 @@
|
||||
# 0.1.0 实测与需求覆盖
|
||||
|
||||
日期:2026-10-18。环境:Windows 11(10.0.26200)、RTX 5080 16 GB、驱动 610.62、Node 24.18.0、Electron 42.11.15。此文件区分实现、实际执行和未验收项,不代表原始六阶段全部完成。
|
||||
|
||||
## 实际执行过的验证
|
||||
|
||||
| 验证 | 结果与边界 |
|
||||
| --- | --- |
|
||||
| TypeScript / Vite 生产构建 | 通过 |
|
||||
| 核心集成测试 | 4 组通过,包括真实 FFmpeg、SQLite、队列取消和四种 Provider 协议合约 |
|
||||
| 真实 Electron 端到端 | 原生文件选择(测试中定向到实际文件)、媒体 Range 流、预览、编辑、撤销重做、保存重开、MP4 导出通过;无 renderer 异常 |
|
||||
| 打包程序及安装 | NSIS 安装器生成;在本机隔离安装目录安装退出码 0;已安装 EXE 的相同媒体链路通过。不是另一台无开发环境电脑的验收 |
|
||||
| 中文 / 空格路径 | 真实读写、字幕、导出和工程保存通过 |
|
||||
| 多媒体及 45 秒渲染 | 生成 30 个不同的合成视频,实际导入/缩略图/SQLite/渲染 45 秒 MP4 通过;不同文件名相同内容 SHA256 一致。不是 30 个现实场景的语义理解验收 |
|
||||
| 本地文本模型 | 已有 qwen2.5:3b-instruct 的真实文本请求和时间轴操作输出通过 |
|
||||
| 本地模型下载 / 视觉 | 通过官方 Ollama 下载 gemma3:4b(主权重约 2.50 GB、视觉投影约 0.85 GB);真实红色图视觉请求、三段颜色视频多帧分析、AI 修改已有片段并执行/撤销通过。模型输出存在描述和评分偏差;不能据此声称视觉准确率达标 |
|
||||
| GPU 推理观测 | Ollama /api/ps 报告 gemma3:4b size = size_vram = 3,046,606,110 字节,全部模型内存位于 GPU;运行框架最终决定设备分配 |
|
||||
| GPU 编码验证 | RTX 5080 的 h264_nvenc 实际试编码、真实源片段 GPU 解码与中间/最终编码通过 |
|
||||
| 用户真实素材成片 | 初版已撤回:存在描述与画面不符、跨场景乱切及切点偏移。修订版使用第 21 集同一战斗,按源时间递增排列 23 个片段,144 BPM / 72 拍;是人工核选、相同核心引擎渲染,并非全自动 AI 成功验收 |
|
||||
| 成品抽帧复核 | 修订版逐片段提取起帧 / 中帧 / 尾帧,共 69 张、4 页,全部实际查看;对照源片段,多处旧版误标被删除。每个边界的前后帧都包含在相邻行尾帧 / 起帧中 |
|
||||
| 切点精度回归 | 36 个含音频的短片段合成 900 帧:旧实现 35 个切点均偏移一帧;采用无 AAC 预延迟的 PCM 中间音频及帧数量化后,900 帧颜色全部匹配 |
|
||||
| 成品探测 | 修订版 1920×1080、60 FPS、1800 帧、30.000 秒、H.264 / AAC,CUDA 完整解码通过;NVENC 用于中间与最终视频编码 |
|
||||
|
||||
|
||||
机器可读证据在 `.test-output/`:`desktop-e2e-report.json`、`packaged-e2e-report.json`、`ai-e2e-report.json`、`batch-e2e-report.json`、`local-vision-result.json`、`local-plan-result.json`。修订成片与证据在 `output/无职转生_30秒_修订版/`;初版目录只保留问题追溯,不作为交付。详见 [FRAME_REVIEW.md](FRAME_REVIEW.md)。
|
||||
|
||||
## 当前真实可用的功能
|
||||
|
||||
- Electron 桌面与简体中文工作台;缩放、侧栏宽度调整、时间轴高度/缩放调整。
|
||||
- 项目 SQLite 文件、最近项目、另存为、自动恢复、原子保存、上一版本备份;引用原素材与复制整理、缺失素材重定位。
|
||||
- 多文件/文件夹递归/拖放导入;流式 SHA256 去重;FFprobe 元数据、缩略图、兼容代理、搜索/收藏/移除。
|
||||
- 技术镜头切分、静音与响度、带时间戳采样、真实本地/远程视觉调用、分析缓存;基于分析的 AI 搜索,模型推荐分数及理由。相同采样帧去重并注明证据边界。
|
||||
- Ollama / OpenAI 兼容 / Anthropic / Gemini 四种真实协议;账户保存、DPAPI 密钥、手动模型/模型列表、文本及视觉测试、文字/帧独立授权、代理、超时与重试、请求元数据统计。
|
||||
- 视觉与规划分配不同账户;结构化 add/update/remove;确认后执行;已有时间轴修改、过期方案拒绝、错误校验与一次模型修正重试。
|
||||
- 顺序视频轨道、可混音的音频轨道、字幕轨道;拖动/边缘裁剪、分割、删除、复制粘贴、吸附、缩放、速度、倒放、音量、裁切/留边、调色、淡入淡出、缩放/平移关键帧、撤销重做。
|
||||
- 17 个风格预设,实际影响新片段的镜头时长、调色、淡入淡出等参数;无需模型的参数组接明确标记为规则操作。
|
||||
- 本地硬件信息、已有 Ollama 检测/启动、模型下载/取消/重试/删除、服务状态;官方安装器下载和签名校验代码。当前机器已有 Ollama,未执行卸载重装。
|
||||
- 导出后自动从最终视频抽取每个片段的起、中、尾帧,任务页可查看带时间码的抽帧页;不将抽帧成功自动标为语义通过。
|
||||
- 源片段预览与按需合成预览;MP4/MOV/MKV/WebM 编码路径;队列、取消、进度与错误。
|
||||
- 用户指定 CPU / GPU / CPU+GPU:GPU 模式使用硬件视频解码、NVENC 中间及最终编码,硬件失败报错;CPU+GPU 以 CPU 处理解码/滤镜、GPU 编码,并允许最终编码失败回退;CPU 软件编码。字幕、调色、音频和控制流程仍有 CPU 工作,不能宣称整条流水线零 CPU。
|
||||
|
||||
## 尚未完成或尚未取得验收证据
|
||||
|
||||
- 原始验收测试一:30 段不同现实场景视频的准确语义/动作识别。当前是场景切分及稀疏多帧理解,没有专用动作网络、目标跟踪或光流;不满足完整动态理解要求。
|
||||
- 专用 Whisper 语音转写、字级对齐、中英字幕自动生成、说话人分离、OCR、目标检测及管理型独立分析服务。
|
||||
- 通用音频节拍自动检测及自动选歌。当前交付示例使用原创 144 BPM 器乐按明确拍网剪辑,不能把此示例当成通用卡点识别功能已经实现。
|
||||
- 专业视频层叠多轨、特效轨、完整关键帧系统、交叉溶解与高级转场;当前视频轨拒绝重叠,关键帧仅缩放/平移。
|
||||
- 绝大多数云服务商的专有认证协议、OAuth/SigV4、REST 自定义脚本适配器、账单费用估算、全能力元数据目录、自动模型路由/回退;现有云协议只有合约测试,没有用户 API Key 的真实云端联调。
|
||||
- 自动模式硬件/许可推荐目录、LM Studio / llama.cpp 的安装管理、下载容量提前核验、磁盘不足专项演练、暂停/重启下载的独立管理层。现支持连接其本机 OpenAI 兼容端点,Ollama 自行维护已下载层。
|
||||
- 无 GPU 机器、AMD / Intel 实机、Windows 10、干净 Windows、4K 海量素材、极长源视频、资源耗尽及代理故障等完整稳定性矩阵。不能用本机成功代替这些验收。
|
||||
- 应用代码签名、正式发布渠道、英语界面。
|
||||
|
||||
## 复现
|
||||
|
||||
基础:`npm ci` → `npm test` → `npm run build` → `npm run test:desktop` → `npm run test:batch`。
|
||||
|
||||
真实 AI:先启动 Ollama、安装实际视觉模型;默认 `gemma3:4b`,执行 `npm run test:ai`。也可设置 `QY_TEST_MODEL`。此测试不使用模拟 AI 返回。
|
||||
|
||||
打包:`npm run dist`。以 `QY_PACKAGED_EXE` 指向实际安装后的 EXE,再运行 `npm run test:desktop`。测试通过 `QY_TEST_USERDATA` 使用专属目录。
|
||||
|
||||
真实示例保留生成脚本:`scripts/scan-user-media.mjs`(接受用户目录参数)、`scripts/refine-user-shots.mjs`、`scripts/compose-beat.mjs`、`scripts/rebuild-user-cut.mjs`(修订版);旧版 `scripts/render-user-cut.mjs` 仅保留追溯,不用于交付。前两个为核看素材服务,后两个生成原创音乐和实际工程/成片,不更改原素材。
|
||||
|
||||
## 2026-11-14 开源 PR 验证
|
||||
|
||||
在待提交的源码目录中,复用本机已有依赖执行 `npm run build`、`npm test`、`npm run test:desktop`,分别通过生产构建、4 组集成测试及 9 项真实 Electron 桌面检查。GPU 导出与抽帧弹窗均实际执行;未进行干净机器安装或新的云端服务联调。
|
||||
@@ -0,0 +1,13 @@
|
||||
# 轻映 AI 架构与实施边界
|
||||
|
||||
2026-10-18,空目录启动。运行环境 Node 24、Windows,无 Rust 和系统 FFmpeg。
|
||||
|
||||
选用 Electron + React + TypeScript;以随应用分发的 FFmpeg/FFprobe 执行媒体处理,sql.js SQLite 实现项目持久化。初版无需 Python,避免把没有实现的分析服务作为安装依赖。后续专用跟踪、ASR 可由独立打包服务提供。
|
||||
|
||||
模块:renderer(中文工作台)、preload(白名单 IPC)、main(桌面生命周期/文件选择/安全存储)、core/project(SQLite、命令历史)、core/media(探测、代理、分析、导出)、core/providers(真实协议、流式下载、能力检测)、任务队列(取消、进度)。
|
||||
|
||||
安全边界:渲染器无 Node 权限;只接受本窗口 IPC;媒体协议只开放用户导入的文件与应用缓存;模型密钥由 Electron safeStorage 调用 Windows DPAPI 加密;项目不含密钥。云端帧上传默认关闭,单独授权后启用,无自动云端回退。
|
||||
|
||||
项目文件 .qycut 是 SQLite 数据库;state 表保存素材、分析、轨道、完整命令历史,保存通过临时文件+rename 原子替换,保留上一版本备份。媒体原件只读引用。导出使用独立临时片段并拼接,异常和取消清理半成品。
|
||||
|
||||
实施顺序:1 基础媒体链路与 SQLite;2 Provider 与本地管理;3 时间戳场景分析和真实视觉调用;4 可验证的 AI 规划命令及人工修改;5 打包与真实媒体集成测试。全量需求中的专用动作跟踪、说话人分离、专业关键帧与高级适配器等只有实现且实测后才可标记完成。
|
||||
@@ -0,0 +1,24 @@
|
||||
# 成片抽帧复核与修订
|
||||
|
||||
2026-10-18。原始的 38 镜头版本已撤回,保留文件仅用于追溯。
|
||||
|
||||
## 确认的初版问题
|
||||
|
||||
- 描述与实际取到的时间段不符。例如“能量爆裂”实际是人物奔跑,“光球席卷”实际是空景,“兵刃衔接”实际是脚部静态近景;源时间附近存在动作,不代表所选片段包含该动作。
|
||||
- 多集、多场景跳转没有形成清楚的动作顺序,结尾还回到此前蓄力画面。
|
||||
- 中间文件的 AAC 预延迟导致最终切点比时间轴晚一帧。仅检查时长、音轨、是否可解码,无法发现这一问题。
|
||||
- 旧版每秒一帧的总览不足以覆盖短片段及切点,不能据此标记成片合格。
|
||||
|
||||
## 修订与证据
|
||||
|
||||
1. 修订版使用第 21 集同一场战斗,23 个时间轴片段按源时间递增排列。删除错标空景,不加入虚构剧情字幕。
|
||||
2. 剪前查看每段起、中、尾的原素材抽帧;剪后从最终编码视频抽取同样三个位置,共 69 张,4 页全部实际查看。
|
||||
3. 相邻片段的尾帧与起帧覆盖全部 22 个切换边界,检查没有上一片段滞留。音乐为 144 BPM,切点在 60 FPS 下按每拍 25 帧设置。
|
||||
4. 中间音频改为 PCM,视频片段长度量化为精确帧数。新增 36 段、900 帧颜色回归测试,旧版 35 个切点失败,修复后全部逐帧匹配。
|
||||
5. 最终成片 30.000 秒,1920×1080、60 FPS、1800 帧,H.264 / AAC。中间和最终视频编码为 h264_nvenc,GPU 模式使用 CUDA 解码。音频及部分滤镜仍需 CPU。
|
||||
6. 完整 CUDA 解码检查通过。调整混音后综合响度 -15.8 LUFS、真峰值 -2.5 dBFS;重新抽取的四页 JPEG 与已人工检查页面逐字节一致。
|
||||
7. 安装后桌面端真实导出及抽帧弹窗通过;可在「任务 → 查看抽帧」看到每段起、中、尾。抽帧功能提供证据,不自动宣称模型描述准确。
|
||||
|
||||
最终文件位于 `output/无职转生_30秒_修订版/`。其中 `剪辑清单.json` 保存源时间、播放速度、成片时间和实际观察描述,`全片检查.json` 保存探测、响度、抽帧路径和 SHA256。
|
||||
|
||||
这是抽帧对照验收,不是对全片 1800 帧逐帧人工审片,也不代表软件已具备可靠的全自动剧情或动作理解。完整需求的未完成项见 [ACCEPTANCE.md](ACCEPTANCE.md)。
|
||||
@@ -0,0 +1,20 @@
|
||||
# 第三方组件
|
||||
|
||||
轻映 AI 0.1.0 随包提供以下主要组件;各组件保留自身许可证与版权。完整依赖版本见 package-lock.json 和安装目录 resources/app.asar 内的 node_modules。
|
||||
|
||||
| 组件 | 许可 | 上游与源码 |
|
||||
| --- | --- | --- |
|
||||
| Electron / Chromium / Node.js | MIT / BSD 及附属许可证 | https://github.com/electron/electron |
|
||||
| React | MIT | https://github.com/facebook/react |
|
||||
| Lucide 图标 | ISC | https://github.com/lucide-icons/lucide |
|
||||
| sql.js / SQLite | MIT / 公有领域 | https://github.com/sql-js/sql.js |
|
||||
| Undici | MIT | https://github.com/nodejs/undici |
|
||||
| ffmpeg-static 包 | GPL-3.0-or-later | https://github.com/eugeneware/ffmpeg-static |
|
||||
| FFmpeg 静态 Windows 二进制 | GPL(具体配置和许可证随包附带) | https://github.com/eugeneware/ffmpeg-static/releases/tag/b6.1.1 ; https://ffmpeg.org/download.html |
|
||||
| ffprobe-static 包及二进制 | 包本身 MIT,二进制适用 FFmpeg 构建许可 | https://github.com/joshwnj/ffprobe-static |
|
||||
|
||||
安装目录 resources/licenses/ 提供 FFmpeg 构建说明与 GPL 文本。FFmpeg 作为独立进程调用;其版本、构建选项可通过安装目录中二进制的 -version / -buildconf 参数查看。源码与构建脚本链接见上游发布页及随包 FFmpeg-build.txt。
|
||||
|
||||
Ollama 不随安装包分发;用户选择安装时从 https://ollama.com/download/OllamaSetup.exe 获取官方程序并验证 Windows 数字签名。Ollama 运行时 MIT:https://github.com/ollama/ollama 。模型不随应用分发,使用各模型自身的许可。Gemma:https://ai.google.dev/gemma/terms ,Qwen 各标签许可见 https://ollama.com/library/qwen2.5 与 https://ollama.com/library/qwen2.5vl 。
|
||||
|
||||
字幕渲染读取用户 Windows 自带的 Microsoft YaHei 字体,不在应用包中复制分发该字体。应用不捆绑背景音乐或第三方素材。
|
||||
@@ -0,0 +1,19 @@
|
||||
{
|
||||
"packaged": false,
|
||||
"checks": [
|
||||
"Electron IPC 与真实桌面界面启动",
|
||||
"通过原生文件选择 API 导入真实视频",
|
||||
"真实缩略图和媒体协议 Range 流",
|
||||
"技术分析生成镜头时间戳",
|
||||
"时间轴编辑、撤销和重做",
|
||||
"桌面项目 SQLite 保存",
|
||||
"合成预览渲染并加载",
|
||||
"桌面真实 MP4 导出",
|
||||
"真实 Ollama 文本能力测试",
|
||||
"真实 Ollama 视觉能力测试",
|
||||
"真实本地多帧分析,含三个镜头",
|
||||
"真实 AI 修改现有时间轴并确认执行 / 撤销",
|
||||
"关闭后重新打开项目内容一致"
|
||||
],
|
||||
"errors": []
|
||||
}
|
||||
@@ -0,0 +1,12 @@
|
||||
{
|
||||
"mediaCount": 30,
|
||||
"analysis": "此测试验证批量媒体与渲染,不声称完成30个真实场景的语义理解",
|
||||
"checks": [
|
||||
"30个独立媒体真实探测和缩略图",
|
||||
"不同文件名的同内容 SHA256 去重",
|
||||
"真实45秒MP4导出",
|
||||
"30素材SQLite保存恢复",
|
||||
"风格影响镜头长度与实际渲染参数"
|
||||
],
|
||||
"encoder": "h264_nvenc"
|
||||
}
|
||||
@@ -0,0 +1,6 @@
|
||||
{
|
||||
"cuts": 36,
|
||||
"frames": 900,
|
||||
"allFrameColorsMatch": true,
|
||||
"duration": 15
|
||||
}
|
||||
@@ -0,0 +1,15 @@
|
||||
{
|
||||
"packaged": false,
|
||||
"checks": [
|
||||
"Electron IPC 与真实桌面界面启动",
|
||||
"通过原生文件选择 API 导入真实视频",
|
||||
"真实缩略图和媒体协议 Range 流",
|
||||
"技术分析生成镜头时间戳",
|
||||
"时间轴编辑、撤销和重做",
|
||||
"桌面项目 SQLite 保存",
|
||||
"合成预览渲染并加载",
|
||||
"桌面真实 MP4 导出",
|
||||
"关闭后重新打开项目内容一致"
|
||||
],
|
||||
"errors": []
|
||||
}
|
||||
@@ -0,0 +1,13 @@
|
||||
{
|
||||
"installedExe": ".test-output/installed app/轻映 AI.exe",
|
||||
"project": "output/无职转生_30秒_修订版/无职转生_修订版.qycut",
|
||||
"videoClips": 23,
|
||||
"mediaMissing": false,
|
||||
"defaultMode": "gpu",
|
||||
"modes": [
|
||||
"cpu",
|
||||
"gpu",
|
||||
"hybrid"
|
||||
],
|
||||
"passed": true
|
||||
}
|
||||
@@ -0,0 +1,15 @@
|
||||
{
|
||||
"packaged": true,
|
||||
"checks": [
|
||||
"Electron IPC 与真实桌面界面启动",
|
||||
"通过原生文件选择 API 导入真实视频",
|
||||
"真实缩略图和媒体协议 Range 流",
|
||||
"技术分析生成镜头时间戳",
|
||||
"时间轴编辑、撤销和重做",
|
||||
"桌面项目 SQLite 保存",
|
||||
"合成预览渲染并加载",
|
||||
"桌面真实 MP4 导出",
|
||||
"关闭后重新打开项目内容一致"
|
||||
],
|
||||
"errors": []
|
||||
}
|
||||
Reference in new issue
Block a user