Retro experiment

retro-experiment — ML实验复盘透镜

适用范围与边界

本 skill 覆盖 ML 实验的完整生命周期——实验设计、数据处理、模型训练、结果评估。

与其它 skill 的区分：

• 数据下载和预处理的具体问题 → retro-data
• 模型代码实现中的 bug → retro-coding
• 实验过程中的调试和排错 → retro-debugging

不适用场景：纯数据分析（无模型训练）、简单的脚本调参（无实验设计）、数据处理管道（用 retro-data）。

如果一个发现涉及多个领域，归入最相关领域深度复盘，其他领域在综合时简述。

评估维度

1. 实验设计

• 假设链是否清晰？（每个实验验证一个具体假设，还是一股脑试很多变量？）
• 消融设计是否合理？（变量控制是否干净？一次只改一个变量？）
• 基线是否公平？（有没有给基线同等的调参预算？）
• 有没有"为了解决不需要解决的问题"而设计实验？（先问：这个问题真的需要 ML 吗？）

2. 数据完整性

• 下载数据后是否验证了文件大小？（不只是文件数量！）
• 数据格式是否与模型/ pipeline 期望匹配？（KID-PPG 格式 vs 实际数据格式的教训）
• 标签是否正确？有没有手工抽查过？
• 数据划分是否避免了泄漏？（同一个人/同一设备的数据不能同时出现在 train 和 test 中）

3. 模型选择与复杂度

• 模型复杂度是否与数据规模和任务难度匹配？（小数据+大模型=过拟合）
• 有没有试过更简单的模型作为 baseline？（不是 SOTA，是最简单的能 work 的方案）
• 模型结构选择的依据是什么？（有消融吗？还是凭经验/流行度？）

4. 结果可靠性

• 是否多 seed 跑了？（至少 3 seed，报告均值±标准差）
• 方差大吗？（方差大说明不稳定，需要分析原因）
• 有没有过拟合迹象？（train 远好于 val/test）
• 单个指标好了是否就下结论了？（需要多个指标交叉验证）
• 高 AUC/Accuracy ≠ 模型有效（需要检查模型实际在看什么，是否有捷径学习）
• 超参搜索空间是否合理？搜索策略是否有效？baseline 和实验方法的调参预算是否对等？
• 这个结果对下一步行动的具体指导意义是什么？结论是否足够强到做出决策？

5. 实用约束

• 模型大小/推理延迟/内存占用是否在目标平台约束内？
• 训练成本（时间、算力）是否合理？是否随数据量可扩展？
• 如果这是用于嵌入式/MCU 的场景——INT8 量化损失可接受吗？Flash/RAM 够吗？

6. 可复现性

• 关键参数是否记录完整？（learning rate, batch size, seed, 数据预处理步骤）
• 数据处理步骤是否有文档？
• 别人（或未来的自己）能不能用这些信息复现结果？
• 有没有记录失败的尝试？（失败路径也是重要产出，避免后人踩坑）

7. 效率与方法论

• 根因分析路径是否高效？（先验证输入数据，再怀疑模型）
• 有没有在错误方向上花太多时间？（调参 vs 定位根因）
• "简单方法优先"原则是否被遵守？（先试最简单的 baseline，再逐步加复杂度）

常见反模式

反模式	检测信号
只看一个 seed 就下结论	对话中只出现一个数值结果，没有"均值±std"
数据泄漏	train/test 划分存在信息跨区——按时间划分用了未来信息、按组划分同组跨了 train/test、预处理从 test 集计算统计量、同一实体出现在两边
数据没验证完整性就开始实验	下载命令后直接跑训练，没有检查文件大小/格式
调参过拟合到 val 集	val 指标一直涨但从未提到 test 集
把相关性当因果	"用了 X 方法所以好了"但没有消融实验排除其他因素
没跑 baseline 就追 SOTA	花大量时间复现复杂方案，但没先跑简单 baseline 作为性能下界参照
数据格式与模型期望不匹配	直接套用开源代码，没检查数据格式差异
预处理隐藏错误	bandpass/decimate 参数不当反而引入噪声（用户真实教训）
跨实验数据版本不一致	实验中使用了不同版本/来源的数据，未显式记录差异。后续无法回溯哪个版本产生了哪个结果

已固化模式

| 模式 | 适用信号 | 验证 | 来源 | |------|----------|------| | （待复盘时自动追加） | | | |

关键追问

挑刺式（找改进空间）

• 这个实验的核心假设是什么？验证了吗？
• 如果结果是正确的，什么可能导致它是假阳性？
• 有什么该做但没做的对照实验？
• 数据处理有没有隐藏的坑？（每个 transform 都验证过效果吗？）
• 这次实验的失败（如果有）最有价值的教训是什么？
• 降级/兜底方案是否被考虑？（如果这个方法不行，plan B 是什么？）
• 模型的选择有依据吗？有没有更简单但可能有效的方案被跳过了？

正向式（找值得复用的）

• 这次实验中做得最漂亮的环节是什么？下次怎么做能复现这个成功？ （信号：某个做法被反复使用且每次都有好效果、某个步骤出乎意料地顺利、用户主动表扬了某个流程）
• 有没有某个做法或配置在当前场景下特别有效，值得固化为默认？ （信号：换了场景/数据集后仍然有效、比之前的做法明显更好）
• 实验设计中有什么特别干净的地方？（变量控制得好、假设链清晰、结果解释力强）
• 结果分析中有什么洞察特别有价值，改变了后续方向或从根本上改变了某个假设？

反证条件指引

对于核心实验结论，追问：什么具体实验结果会提示这个结论是错的？ （引导写出可操作的反证条件——如"如果在新数据集上 MAE > 5.0"而非空洞的"如果结论不对"）