Pm trace eval

Skill Nyota-tree/pm-trace-eval/skills/pm-trace-eval

Evaluates AI agent conversation traces for product managers and produces PM-ready reports with user-defined north-star metrics, 1-5 rubric scores, red/yellow/green signals, and per-turn good/bad original quotes. Use when the user asks to review, score, or audit a dialogue trace, conversation log, persona eval, agent chat eval, LangSmith export, eval transcript, multi-turn assistant quality, or PM review of agent logs (Markdown, JSON, or pasted text). Do NOT use for code review, prompt editing, LangGraph or engineering root-cause debugging, or modifying agent configuration.From its SKILL.md

Install

npx -y skills add Nyota-tree/pm-trace-eval --skill pm-trace-eval

Assembled from the repository path, not quoted from the project. Check it against their README if it does not work.

One thing to look at

0 stars0 stars. Stars are a popularity signal and not a quality one, but at this level it is likely that nobody has read this closely except its author, and you would be relying on your own review.

SKILL.md

5.8 KB, ~1.9k tokens by cl100k_base, as published. Nobody here has run it

PM Trace Eval

通用对话 trace 评测 skill。不绑定任何特定产品、框架或业务域。输入是 trace，输出是产品经理能直接用的评测报告。

适用输入

以下任一即可，不要求特定格式：

Markdown 对话记录（含 Turn / User / Assistant 分段）
JSON trace（含 turns、messages、transcript 等字段）
LangSmith / eval runner 导出的可读报告
用户粘贴的多轮对话原文

开始前：必须向用户收集

在读取 trace 之前，用 AskQuestion 或对话确认以下三项。用户没给全就先问，不要假设。

1. 北极星指标（North Star）

用户自己定义，1–3 条。示例（仅作说明，不要用这些替代用户输入）：

「用户感到被理解，而不是被引导进漏斗」
「每轮回复都推进用户真实问题，不空转」

记录原话，评测时逐条对照。

2. 评测目标（Evaluation Goals）

本轮评测想回答什么，2–5 条。示例：

「前 5 轮是否建立信任」
「是否存在重复追问或话术疲劳」
「结束时机是否自然」

3. Trace 来源

文件路径，或
用户直接粘贴内容

可选收集（有则加分，无则跳过）：

目标用户画像（一句话）
场景（客服 / 教练 / 调研 / 销售 / 其他）
通过线：哪些维度必须绿灯才算「可上线」

执行步骤

- [ ] Step 1 确认北极星指标、评测目标、trace 输入
- [ ] Step 2 读取 trace，整理轮次索引（判定 + 一句话摘要）
- [ ] Step 3 标出关键转折点、阅读障碍（见下）
- [ ] Step 4 按 rubric 维度打分（见 rubric.md）
- [ ] Step 5 北极星 + 评测目标：结论 + 关联 Turn
- [ ] Step 6 填写「逐轮原文判读」：🟢好 / 🔴不好 / 🟡存疑 / ⚪中性 + 当轮原话摘录
- [ ] Step 7 按 report-template.md 输出完整报告（不得省略逐轮表）

读 trace 时注意

以用户侧体验为准，不以系统内部字段（token、tool call、node 名）为主叙事
逐轮原文判读必须从 trace 复制原话，可截断用 …，不得润色或升级情绪
信息不足时写「证据不足」，列入「待人工核实」，不编造用户没说过的话
trace 过长时：先首尾各 5 轮 + 转折点 + 全部问题轮；在「阅读说明」写明抽样范围

阅读障碍（有则写入「阅读说明」）

评测时主动检查这些影响 PM 看 trace 体验的因素：

障碍	说明
内部字段泄露	助手回复出现系统标签、调试串、JSON 字段名
上下文断裂	引用了 trace 外前文，单读本轮看不懂
用户原话被改写	助手复述时升级/弱化用户程度词
回复体量失衡	用户极短、助手极长，或连续多段压迫感
重复话术	同义追问/套话在多轮出现
话题跳跃	未承接上一轮就收束或跳转
结束突兀	无收尾、强推、或用户已告别仍追问

评分与红绿灯

每个维度 1–5 分，同时给 红绿灯：

灯	含义	建议分数带
🟢 绿灯	达标，可保留	4–5
🟡 黄灯	有风险，需优化	3
🔴 红灯	未达标，需修复	1–2

逐轮判定（与维度分独立）：

判定	含义
🟢 好	该轮助手回复值得保留，可作正例
🔴 不好	该轮明显伤害体验或违背北极星
🟡 存疑	有风险但证据不够斩钉截铁
⚪ 中性	无功无过，或仅承接过渡

分数与灯不一致时，在报告中说明原因。

输出

严格使用 report-template.md 结构输出。不得省略：

执行摘要 + 快速跳转（问题轮/亮点轮/转折点）
阅读说明（总轮次、覆盖范围、主线、阅读障碍）
关键转折点
北极星指标达成表
分维度评分表（1–5 + 红绿灯）
评测目标逐项结论
逐轮原文判读（含好坏原话 + 判读理由）
Top 3 问题 / Top 3 亮点（关联到 Turn）
建议优先级（含关联轮次）
待人工核实（如有）
附录轮次索引

边界

本 skill 不做：

修改 prompt、代码或配置
替工程师做 root-cause 调试
绑定特定业务名词——即使用户 trace 里出现，也翻译成通用产品语言
在没有 trace 原文时给出具体轮次结论或伪造引文

不应触发本 skill 的请求（即使用户提到「trace」「eval」等词）：

代码 review、PR 评审、单元测试失败排查
修改或优化 agent prompt / system prompt
LangGraph node、tool call、token 等工程向 debug
没有对话 trace 原文，只要「泛泛聊评测方法论」

参考

评分维度默认值：rubric.md（用户可声明「只评其中几项」）
报告格式：report-template.md
完整样例：examples.md

What ships with it: 3 files

7.9 KB alongside SKILL.md