Files
webup-cloud/docs/TEST-REPORT.md
T

16 KiB
Raw Blame History

实施与测试报告

2026-11-06 · 插件与主题

PostgreSQL / Redis 全量 129 项通过,Flyway V24 已应用到本地预览。新增覆盖上传权限、压缩包和清单限制、停用隔离、版本冲突和回退、单主题选择及默认配色恢复。Chromium 通过管理页面实际上传两个示例 ZIP 并启用,验证了文字统计脚本运行、插件无法访问宿主文档或会话存储、插件不能请求平台 API、直接打开框架 URL 被拒绝。首页和用户工作台的浅色与深色配色均验证通过,停用后恢复默认主题。前端生产构建包含可下载文档,Nginx 1.28 配置语法检查通过。

2026-11-06 · 支持工单

PostgreSQL 17 / Redis 全量自动化测试共 126 项通过。新增 5 项覆盖工单及项目所有权、客服权限、内部备注与分派隔离、请求重试、状态流转、未读版本、并发创建配额及消息分页,同一组测试在 H2 也通过。Flyway V23 已应用到测试 PostgreSQL 和本地预览 H2。前端 TypeScript 和 Vite 构建通过,已通过原预览账号登录并读取用户及管理员的工单列表。日志见 .runtime/local-cluster/maven-support-tickets.log 和 .runtime/local-cluster/maven-support-tickets-h2.log。

日期:2026-10-31。此报告描述当前实际状态,不代表完整需求已验收。

最新:独立代码验收与费用核算分别运行

最新真实 PostgreSQL / Redis 全量测试 121 项通过,无失败 / 错误 / 跳过(Flyway V1–V22),Python 网关 31 项通过,前端 TypeScript / Vite 构建通过。日志 .runtime/local-cluster/maven-code-reviews.log。测试新增独立模型与价格快照、验收队列幂等 / 全局并发、只读权限、原始开发对话不发送验收模型、模型成本不扣用户钱包、构建失败 / 缺失需求 / HIGH 问题不能通过、源码变化判 STALE、无浏览器最多 PARTIAL、非法报告保留凭据并清理隔离副本。

真实 K3s 验收复制与运行 13 项通过:大 UTF-8 stdin 输入、排除凭证文件、快照指纹一致、独立 namespace / gVisor / runsc、HTML 和本地资源检查、明确未运行浏览器、原目录不变、拒绝任意 shell 请求、真实 npm 依赖 / 构建 / Node 测试成功,以及真实失败构建被标为失败。退出后确认 platform-reviews 的 Pod / PVC 已清理;没有删除用户开发工作区。原始报告 .runtime/local-cluster/code-review-isolation.json。后续新增锚点缺失的单元回归,并已部署到真实网关。

本地示例网站实际运行了两版独立 AI 验收。第一版发现页面结构缺失,修复后再次验收。第二版报告的 AI 建议为 PASS,系统因缺少浏览器和视觉检查给出 PARTIAL。静态页面的构建检查记录为 NOT_APPLICABLE。两版报告和源码指纹均保留,验收模型费用由平台承担。

管理员现在分别查看费用核算记录和代码验收记录,实际检查表明确显示结果与退出码。普通任务所有者无权读取两类内部报告。详细配置、API 和覆盖边界见 代码验收。

前轮:源码生成、自动核算与管理员报告

最新全量真实 PostgreSQL / Redis 测试 111 项通过、无跳过,Python 24 项通过,前端 TypeScript / Vite 构建通过。新增测试覆盖空工作区不能完成、模型继续实际写入源码、扫描不完整暂停、检查期间取消、自动核算幂等与释放预算、AI 估算不能改钱包、报告失败不回滚核算、不执行工具、报告调用不扣用户费用、额度耗尽不调用模型、保留既有人工结算,以及普通任务所有者不能读取报告、普通管理员可读、内部事件与租约不泄露。

本地验证保留了历史人工结算和失败报告。在调整官方 DeepSeek 有限输出请求的思考模式后,重新生成示例页面。隔离环境确认 HTML 可解析、样式和外链引用有效,并检查了响应式 CSS。

AI 管理员报告生成成功。核对钱包流水确认报告费用由平台承担,任务结算后释放了预算预留。该轮验证覆盖静态页面文件及结构检查。自动核算规则与权限见 自动核算说明。

已执行

  • Java 21(本轮使用 Microsoft OpenJDK 21.0.13)、Maven 3.9.11 下执行 mvn verify,编译并打包 Spring Boot 可运行 JAR。
  • 身份 / 权限 / 项目集成测试:覆盖注册持久化与重复邮箱、密码摘要、弱密码、注册关闭、服务器图片验证码、成功 / 失败后验证码不可重放、会话撤销、密码变更撤销所有会话、未认证访问、用户 / 管理权限边界、项目及设备所有者隔离、停用账户即时失效、限流错误传播、管理设置审计及非法批量设置的事务回滚。
  • H2 PostgreSQL 兼容模式及本机真实 PostgreSQL 17.11 均实际运行 Flyway V1–V21,使用真实 Spring MVC、Security、数据库和事务。业务测试中的短期存储使用 Mock;另有 4 项测试直接连接本机真实 Redis 7.4。
  • npm run build:Vue TypeScript 检查及 Vite 生产构建通过。
  • Vite 本地启动并返回 HTTP 200;在应用浏览器检查窄屏登录页,后端不可用时登录按钮保持禁用并显示错误。未声称浏览器端完成登录或全链路业务测试。

当前扩展测试包括身份 / 权限、模型 API 密钥保护、三协议解析、钱包并发预留、预算结算、任务价格快照、自动核算与报告、Agent 工具循环、超时不重放与取消竞态。最新一次全量 mvn verify 在真实 PostgreSQL / Redis 上完成:111 项通过,0 失败,0 错误,0 跳过。原始结果见 backend/target/surefire-reports 的 JUnit XML,构建日志 .runtime/local-cluster/maven-task-reports.log。测试中的模型和其他外部服务仍使用 Mock,真实模型与基础设施测试另见下文。

本机基础设施与未执行项

Docker Desktop 的 Linux Engine 最初不可用。随后已建立专用 WSL2 WebUp-Local,安装原生 Linux Docker、K3s 和 gVisor,真实构建并部署网关与工作区镜像,完成下文的隔离验收;现已不依赖 Docker Desktop。

因此,本机未完成:

  • Compose 全栈启动(当前使用 Windows 预览控制面 + WSL2 隔离集群)。
  • 真实 MinIO 读写、备份恢复演练。
  • 完整浏览器登录、项目编辑、管理操作及移动端全流程。

已提供可选 Redis 集成测试(默认跳过),以及使用 PostgreSQL 17 / Redis 7.4 临时服务的 GitHub Actions。工作流尚未在远程运行,不能把“已提供 CI”当成“CI 已通过”。手动运行真实服务测试需在一次性测试数据库上设置 TEST_DATABASE_URL、TEST_DATABASE_USER、TEST_DATABASE_PASSWORD,并设置 RUN_REDIS_TESTS=true。禁止指向生产数据库:测试会删除本平台身份和项目表的数据。

阶段状态

阶段 当前状态
1 基础 身份、图形验证码、RBAC 基础、配置、审计已实现;真实基础设施验收待完成;邮箱 / 短信验证、密码找回与角色授权编辑尚未实现
2 模型与 Agent 供应商 / 模型 / 加密 / 三协议适配、钱包 / 预留 / 账本、任务状态机与 Worker、工具网关已实现;本机真实模型调用和隔离工具已联通;完整生成交付、自动探测、SSE、浏览器测试、视觉附件待完成
3 项目运行 开发工作区已通过真实 K3s / gVisor / PVC 验收;Git / 源码、OCI 配置、发布队列 / 回滚、K8s 健康切流等已编码;用户镜像构建流水线、托管发布和域名预览联调未完成
4 数据与存储 S3 配置与上传 / 下载 / 用量 / 回收站 / 恢复 / 清理租约 / 异常核对已编码和 Mock 测试;真实 MinIO、用户数据库 / 卷 / 备份恢复待完成
5 Pages / ESA 平台 / 自定义域名、TXT 验证、直接 Ingress / DNS / 证书队列与运营接口已编码和 Mock 测试;ESA / CDN 配置及连接适配器已编码,边缘回源 / 缓存 / 流量业务仍待实现与联调
6 多节点 / 高可用 控制面真实指标、K8s 节点信息、指标缺失状态、RBAC 清单已编码;自动迁移、故障隔离、恢复演练待完成
7 商业化 钱包与托管月度套餐、凭证加密、SMTP / 阿里云 SMS 适配器及管理测试接口已编码;支付回调 / 优惠 / 身份验证流程未完成,真实收付款和消息发送未验收
8 运营与安全 独立后台、运营统计图表和表格、用户 / 网站审核与封禁任务、配置和审计已编码;完整风控、监控告警和安全验收未完成

发现并修复

初次后端测试发现:跨类直接读取事务代理对象字段导致 JdbcTemplate 为空。改为通过代理方法访问服务依赖后,重新运行测试通过。不存在跳过失败用例或将 Mock 联调标为真实成功的处理。

本轮新增测试与验证边界

2026-10-31 本轮结果:快速 H2 测试 96 项通过、当时 2 项 Redis 测试跳过;补充真实 Redis 并发 / 到期、源码检查、自动核算与报告测试后,在真实 PostgreSQL / Redis 上全量运行 111 项 Java 测试全部通过,无跳过。24 项 Python 网关与运行清单测试通过。 Java 21 下 mvnw verify 完成打包,前端 npm run build 通过。此前基础 / ai / hosting profile 的 Compose 静态校验通过。

新增调度测试 13 项:多线程同时领取不超过总并发、同一 Worker 的两次模型调用确实重叠执行、人工 / 付费 / FIFO 排序、管理员指定下一位不抢占运行任务、降低并发保留现有任务、购买并发幂等、取消与开始之间的退费边界、购买 / 领取竞态、过时报价与离线 / 越权拒绝、预算与优先费分账、未确认外部调用保留执行位、管理员权限与本人名次隔离。模型与隔离网关使用 Mock,不能作为真实集群验收。

新增执行环境测试覆盖无 Worker 不预留预算、状态接口认证、失效 / 停止 / 异常心跳、远程 Worker 可接受任务、离线仍可取消释放资金、网关真实探测结果决定心跳,以及实例列表权限。域名测试覆盖平台稳定绑定、自定义 TXT 验证、过期 / 越权、主域名唯一、DNS / 证书 / 路由独立门槛、旧租约拒绝、封禁禁止开通、借用记录不删除、AK 身份变化不删除原记录与管理员审计。

新增存储测试覆盖真实 MVC 多段上传与私有下载、跨项目 / 跨用户拒绝、内容类型幂等冲突、上传超时仍占配额、元数据匹配才恢复可用、缺失对象不虚假成功、清理与恢复竞态、清理失败保留用量及重试、下载完整性。S3 网关使用 Mock,没有访问真实 Bucket。集成与审核测试覆盖密钥加密、留空保留密钥、真实适配器结果记录、封禁阻止发布并排队暂停、解封不伪造运行已恢复。

  • Java 单元与集成测试通过;使用真实 Spring Security / JDBC / 事务与 H2,供应商和隔离执行服务使用 Mock。Worker 工具循环测试会走任务领取、消息持久化、usage 入账、工具返回与预算释放,但不会访问外部模型或真实 Kubernetes。
  • Python 网关测试 24 项通过:受控文件工具的 UTF-8 写读、父路径越界拒绝、读取大小限制、源码 ZIP;模拟 Kubernetes API 的隔离 / 发布 / 品牌注入配置;网关就绪认证与真实查询分支、域名 generation 拒绝、归属保护、证书代际 / 域名 / 有效期与删除幂等;健康检查 RBAC、exec 原始 JSON 保留 / stderr 分离、UTF-8 输出限额和非零 / 未知退出状态;新增非空源码检查、依赖与环境文件排除。没有在宿主机运行用户生成命令。
  • 前端 TypeScript / Vite 生产构建再次通过,新增模型、钱包、AI 开发与任务运营页面均使用真实 API。
  • Compose 配置静态校验通过;Gateway / 工作区镜像已在 WSL2 原生 Docker 构建并导入 K3s。真实 Pod 执行、网络隔离与 PVC 跨 Pod 重建持久化已通过下述验收;Compose 全栈与用户服务发布仍未验收。
  • 测试发现并修复 usage 入库列数错误;随后补充当前价格版本指针,避免按事务时间排序选择错价,并防止引用中的供应商地址 / 协议变更影响历史任务的凭证发送。
  • 新增取消竞态保护:模型调用期间取消后,已产生费用会结算,但不开始新的工具操作。输出达到 Token 上限进入 PAUSED,不能当成正常完成。
  • Kubernetes / gVisor 依据:NetworkPolicy、Restricted Pod Security、gVisor containerd。集群安全配置必须通过实际测试,不能仅以清单存在验收。

本轮真实本机隔离验收

运行 scripts/local/smoke-cluster.py,10 项检查全部通过:未认证拒绝、真实 Kubernetes 健康查询、PVC 创建与写文件、读回、路径越界拒绝、非 root / 无平台凭证 / 根只读 / 内网阻断 / 公网 HTTPS、gVisor RuntimeClass、containerd 实际 runsc、512 进程上限、工作区 Pod 删除重建后文件仍可读。原始报告在 .runtime/local-cluster/smoke-report.json;部署与复验见 本机部署。

真实调用 /runtime/nodes 也已通过:节点 webup-local 为 READY,返回实际 CPU / 内存容量、Kubelet / containerd 版本和 metrics-server 用量,metricsAvailable=true。管理员服务器页面所需节点信息已接入实际网关。

首次真实联调发现 Python Kubernetes SDK 默认 exec 预加载会把 JSON 转为 Python 字典表示,文件实际写入成功但响应解析失败。已改用独立 ApiClient 和非预加载 WebSocket,分别收集 stdout / stderr,验证退出码并限制输出;真实隔离验收随后通过。

预览已接入真实网关并启用 AI Worker,认证 API 实际返回 READY / 1 个 Worker / 容量 4。原排队任务被领取,实际调用用户配置的模型,并通过真实工具完成目录读取和 shell 命令(退出码 0)。随后另一次模型调用的工具 JSON 无效,旧版本将任务置为 REVIEW_REQUIRED,已确认账本消费 ¥0.0058,另一次调用费用尚需核对;没有伪报生成成功、重放请求或擅自填入未知费用。

本次增加 3 项 Java 回归测试:无效工具参数仍保留有效 usage、兼容对象参数规范化、错误反馈不调用沙箱;以及工具输出截断时结算本次 usage、逐个记录未执行结果并暂停,禁止执行残缺工具或自动继续消费。首次新增用例把完成状态误写为 SUCCEEDED,实际业务状态为 COMPLETED;修正断言后通过。该修复覆盖未来调用,不能恢复旧版本未保留的上游 usage。

真实 PostgreSQL / Redis 验收

专用 WSL2 中的 PostgreSQL 17.11 / Redis 7.4 映射回环端口 15432 / 16379,数据库 webup_integration 与预览 H2 数据分开。使用 scripts/local/run-real-tests.ps1 执行全部 100 项 Java 测试并打包通过;实际应用 Flyway 20 个迁移,验证事务、并发预留 / 领取、唯一约束、权限、钱包与业务持久化。供应商、S3 等外部依赖仍为 Mock。

Redis 4 项真实测试通过:GETDEL 顺序单次消费、Lua 限流与 TTL、16 个并发消费者只有一个拿到验证码、实际到期后验证码无效且限流窗口恢复。Redis 启用密码,测试支持本地私有 TEST_REDIS_PASSWORD,未使用 Mock。

check-database-persistence.py 实际重启专用 PostgreSQL 容器,重启前后逐表比较行数与 JSON 数据摘要,并验证 20 条迁移历史。非空用户 / 钱包 / 账本 / 任务数据完全一致;该次快照 usage 表为空,未把空表一致当成非空 usage 重启验证。报告 .runtime/local-cluster/postgres-persistence.json。未重启或改动预览后端的 H2 数据。