Software testing guide

软件测试指南

基于 Google 测试标准和 OWASP 安全最佳实践，为任何软件项目建立世界级的 QA 测试流程。

何时使用此 Skill

在以下场景中触发此 Skill：

• 为新项目或已有项目搭建 QA 基础设施
• 编写标准化测试用例（符合 AAA 模式）
• 执行测试计划并进行进度跟踪
• 实施安全测试（OWASP Top 10）
• 按严重级别提交缺陷（P0-P4）
• 生成 QA 报告（每日摘要、每周进度）
• 计算质量指标（通过率、覆盖率、质量门禁）
• 准备 QA 文档用于外包团队交接
• 启用 LLM 驱动的自主测试执行

快速开始

一键初始化：

python scripts/init_qa_project.py <项目名称> [输出目录]

创建的内容：

• 目录结构（tests/docs/、tests/e2e/、tests/fixtures/）
• 追踪表格（TEST-EXECUTION-TRACKING.csv、BUG-TRACKING-TEMPLATE.csv）
• 文档模板（BASELINE-METRICS.md、WEEKLY-PROGRESS-REPORT.md）
• 用于自主执行的主 QA 提示词
• 包含完整快速入门指引的 README

自主执行（推荐）：参见 references/master_qa_prompt.md，只需复制粘贴即可获得 100 倍效率提升。

核心功能

1. QA 项目初始化

一键初始化完整的 QA 基础设施及所有模板：

python scripts/init_qa_project.py <项目名称> [输出目录]

创建目录结构、追踪表格、文档模板以及用于自主执行的主提示词。

适用场景：从零开始搭建 QA 流程，或将现有流程迁移为结构化 QA 体系。

2. 测试用例编写

按照 AAA 模式（准备-执行-断言）编写标准化、可复现的测试用例：

1. 阅读模板：assets/templates/TEST-CASE-TEMPLATE.md
2. 遵循结构：前置条件（准备）→ 测试步骤（执行）→ 预期结果（断言）
3. 分配优先级：P0（阻塞）→ P4（低）
4. 包含边界场景和潜在缺陷

测试用例格式：TC-[分类]-[编号]（例如 TC-CLI-001、TC-WEB-042、TC-SEC-007）

参考文档：详见 references/google_testing_standards.md，了解完整的 AAA 模式指南和覆盖率阈值。

3. 测试执行与跟踪

唯一真实来源原则（关键）：

• 测试用例文档（如 02-CLI-TEST-CASES.md）= 权威来源，用于查看测试步骤
• 追踪 CSV = 仅记录执行状态（不要依赖 CSV 获取测试规格）
• 详见 references/ground_truth_principle.md，了解如何避免文档/CSV 不同步问题

手动执行：

1. 从分类文档中读取测试用例（如 02-CLI-TEST-CASES.md）← 必须从这里开始
2. 严格按文档执行测试步骤
3. 每执行完一条测试后立即更新 TEST-EXECUTION-TRACKING.csv（禁止批量更新）
4. 测试失败时在 BUG-TRACKING-TEMPLATE.csv 中提交缺陷

自主执行（推荐）：

1. 从 references/master_qa_prompt.md 复制主提示词
2. 粘贴到 LLM 会话中
3. LLM 自动执行测试、自动跟踪、自动提缺陷、自动生成报告

创新优势：效率提升 100 倍 + 追踪零人为错误 + 支持自动续接。

4. 缺陷报告

按严重级别分类提交缺陷：

必填字段：

• 缺陷 ID：顺序编号（BUG-001、BUG-002……）
• 严重级别：P0（24 小时内修复）→ P4（可选修复）
• 复现步骤：编号列出，具体明确
• 环境信息：操作系统、版本号、配置

严重级别分类：

• P0（阻塞）：安全漏洞、核心功能不可用、数据丢失
• P1（严重）：主要功能异常但有临时方案
• P2（高）：次要功能问题、边界场景
• P3（中）：界面外观问题
• P4（低）：文档错别字

参考：完整模板及示例见 BUG-TRACKING-TEMPLATE.csv。

5. 质量指标计算

计算全面的 QA 指标并检查质量门禁状态：

python scripts/calculate_metrics.py <TEST-EXECUTION-TRACKING.csv 路径>

指标面板包含：

• 测试执行进度（X/Y 条测试，Z% 完成）
• 通过率（通过数/已执行数 %）
• 缺陷分析（去重缺陷数、P0/P1/P2 分布）
• 质量门禁状态（✅/❌ 逐项展示）

质量门禁（全部通过方可发版）：

门禁	目标值	是否阻塞发版
测试执行率	100%	是
通过率	≥80%	是
P0 缺陷	0	是
P1 缺陷	≤5	是
代码覆盖率	≥80%	是
安全覆盖率	90% OWASP	是

6. 进度报告

为利益相关方生成 QA 报告：

每日摘要（每日下班前）：

• 已执行测试数、通过率、已提缺陷数
• 阻塞项（或无）
• 次日计划

每周报告（每周五）：

• 使用模板：WEEKLY-PROGRESS-REPORT.md（由初始化脚本创建）
• 与基线对比：BASELINE-METRICS.md
• 评估质量门禁和趋势

参考：详见 references/llm_prompts_library.md，包含 30+ 现成可用的报告提示词。

7. 安全测试（OWASP）

实施 OWASP Top 10 安全测试：

覆盖目标：

1. A01：访问控制缺陷 - RLS 绕过、权限提升
2. A02：加密失败 - 令牌加密、密码哈希
3. A03：注入攻击 - SQL 注入、XSS、命令注入
4. A04：不安全设计 - 限流、异常检测
5. A05：安全配置错误 - 详细错误信息、默认凭据
6. A07：认证失败 - 会话劫持、CSRF
7. 其他：数据完整性、日志记录、SSRF

目标：90% OWASP 覆盖率（10 项威胁中缓解 9 项）。

每个安全测试均遵循 AAA 模式，并记录具体的攻击向量。

首日入职指南

为新加入项目的 QA 工程师提供 5 小时入职指南：

阅读：references/day1_onboarding.md

时间安排：

• 第 1 小时：环境搭建（数据库、开发服务器、依赖安装）
• 第 2 小时：文档学习（测试策略、质量门禁）
• 第 3 小时：测试数据准备（用户、CLI、开发者工具）
• 第 4 小时：执行第一条测试用例
• 第 5 小时：团队入职和第一周计划

检查点：第一天结束时，环境运行正常、第一条测试已执行、为第一周做好准备。

自主执行（⭐ 推荐）

通过一条主提示词启用 LLM 驱动的自主 QA 测试：

阅读：references/master_qa_prompt.md

功能特点：

• 自动续接：从上次完成的测试继续（读取追踪 CSV）
• 自动执行：按周次计划执行测试用例（第 1-5 周递进）
• 自动跟踪：每条测试后更新 CSV
• 自动提缺陷：为失败测试创建缺陷报告
• 自动生成报告：每日摘要、每周报告
• 自动升级 P0 缺陷：停止测试、通知利益相关方

优势：

• 比手动执行快 100 倍
• 追踪零人为错误
• 缺陷文档风格一致
• 进度实时可见

使用方式：复制主提示词，粘贴到 LLM，让它自主运行 5 周。

根据项目规模调整

小型项目（50 条测试）

• 周期：2 周
• 分类：2-3 个（如前端、后端）
• 每日：5-7 条测试
• 报告：仅每日摘要

中型项目（200 条测试）

• 周期：4 周
• 分类：4-5 个（CLI、Web、API、数据库、安全）
• 每日：10-12 条测试
• 报告：每日 + 每周

大型项目（500+ 条测试）

• 周期：8-10 周
• 分类：6-8 个（多个组件）
• 每日：10-15 条测试
• 报告：每日 + 每周 + 双周汇报

参考文档

查阅内置参考文档获取详细指南：

• references/day1_onboarding.md - 新 QA 工程师 5 小时入职指南
• references/master_qa_prompt.md - LLM 自主执行的一键命令（100 倍提速）
• references/llm_prompts_library.md - 30+ 现成可用的 QA 任务提示词
• references/google_testing_standards.md - AAA 模式、覆盖率阈值、快速失败校验
• references/ground_truth_principle.md - 防止文档/CSV 不同步问题（对测试套件完整性至关重要）

资源与模板

测试用例模板和缺陷报告格式：

• assets/templates/TEST-CASE-TEMPLATE.md - 包含 CLI 和安全测试示例的完整模板

脚本

QA 基础设施自动化脚本：

• scripts/init_qa_project.py - 一键初始化 QA 基础设施
• scripts/calculate_metrics.py - 生成质量指标面板

常见使用模式

模式 1：从零搭建 QA

1. python scripts/init_qa_project.py my-app ./
2. 填写 BASELINE-METRICS.md（记录当前状态）
3. 使用 assets/templates/TEST-CASE-TEMPLATE.md 编写测试用例
4. 从 references/master_qa_prompt.md 复制主提示词
5. 粘贴到 LLM → 自主执行启动

模式 2：LLM 驱动测试（自主执行）

1. 阅读 references/master_qa_prompt.md
2. 复制主提示词（一段话）
3. 粘贴到 LLM 对话中
4. LLM 在 5 周内执行全部 342 条测试用例
5. LLM 自动更新追踪 CSV
6. LLM 自动生成每周报告

模式 3：添加安全测试

1. 阅读 references/google_testing_standards.md（OWASP 部分）
2. 为每个 OWASP 威胁编写 TC-SEC-XXX 测试用例
3. 目标 90% 覆盖率（10 项中覆盖 9 项）
4. 在测试用例中记录缓解措施

模式 4：外包 QA 团队交接

1. 确保所有模板已填写
2. 确认 BASELINE-METRICS.md 完整
3. 打包 tests/docs/ 目录
4. 附带 references/master_qa_prompt.md 用于自主执行
5. QA 团队可立即上手（首日入职 → 5 周测试）

成功标准

此 Skill 在以下情况表明使用得当：

• ✅ 测试用例可由任何工程师复现
• ✅ 质量门禁可客观度量
• ✅ 缺陷有完整的复现步骤文档
• ✅ 进度实时可见（CSV 追踪）
• ✅ 自主执行已启用（LLM 可执行完整计划）
• ✅ 外包 QA 团队可立即开始测试