agentsclimarketplace

Pm trace eval

Skill Nyota-tree/pm-trace-eval/skills/pm-trace-eval

PM-facing AI conversation trace eval skill: north-star metrics, 1-5 scores, red/yellow/green, per-turn quote review

Install
npx -y skills add Nyota-tree/pm-trace-eval --skill pm-trace-eval

Assembled from the repository path, not quoted from the project. Check it against their README if it does not work.

2 things to look at

  • 25 days oldThe repository was created 25 days ago. New is not bad, but a brand new repository carrying a familiar-sounding name is the shape a typosquat arrives in, and there has been no time for anyone else to find a problem with it.
  • 0 stars0 stars. Stars are a popularity signal and not a quality one, but at this level it is likely that nobody has read this closely except its author, and you would be relying on your own review.

What its author says it does

Copied from the file, not written here

Evaluates AI agent conversation traces for product managers and produces PM-ready reports with user-defined north-star metrics, 1-5 rubric scores, red/yellow/green signals, and per-turn good/bad original quotes. Use when the user asks to review, score, or audit a dialogue trace, conversation log, persona eval, agent chat eval, LangSmith export, eval transcript, multi-turn assistant quality, or PM review of agent logs (Markdown, JSON, or pasted text). Do NOT use for code review, prompt editing, LangGraph or engineering root-cause debugging, or modifying agent configuration.

SKILL.md

5.8 KB, as published. Nobody here has run it

PM Trace Eval

通用对话 trace 评测 skill。不绑定任何特定产品、框架或业务域。输入是 trace，输出是产品经理能直接用的评测报告。

适用输入

以下任一即可，不要求特定格式：

  • Markdown 对话记录（含 Turn / User / Assistant 分段）
  • JSON trace（含 turns、messages、transcript 等字段）
  • LangSmith / eval runner 导出的可读报告
  • 用户粘贴的多轮对话原文

开始前：必须向用户收集

在读取 trace 之前，用 AskQuestion 或对话确认以下三项。用户没给全就先问，不要假设。

1. 北极星指标（North Star）

用户自己定义，1–3 条。示例（仅作说明，不要用这些替代用户输入）：

  • 「用户感到被理解，而不是被引导进漏斗」
  • 「每轮回复都推进用户真实问题，不空转」

记录原话，评测时逐条对照。

2. 评测目标（Evaluation Goals）

本轮评测想回答什么，2–5 条。示例：

  • 「前 5 轮是否建立信任」
  • 「是否存在重复追问或话术疲劳」
  • 「结束时机是否自然」

3. Trace 来源

  • 文件路径，或
  • 用户直接粘贴内容

可选收集（有则加分，无则跳过）：

  • 目标用户画像（一句话）
  • 场景（客服 / 教练 / 调研 / 销售 / 其他）
  • 通过线：哪些维度必须绿灯才算「可上线」

执行步骤

- [ ] Step 1 确认北极星指标、评测目标、trace 输入
- [ ] Step 2 读取 trace，整理轮次索引（判定 + 一句话摘要）
- [ ] Step 3 标出关键转折点、阅读障碍（见下）
- [ ] Step 4 按 rubric 维度打分（见 rubric.md）
- [ ] Step 5 北极星 + 评测目标：结论 + 关联 Turn
- [ ] Step 6 填写「逐轮原文判读」：🟢好 / 🔴不好 / 🟡存疑 / ⚪中性 + 当轮原话摘录
- [ ] Step 7 按 report-template.md 输出完整报告（不得省略逐轮表）

读 trace 时注意

  • 以用户侧体验为准，不以系统内部字段（token、tool call、node 名）为主叙事
  • 逐轮原文判读必须从 trace 复制原话，可截断用 …，不得润色或升级情绪
  • 信息不足时写「证据不足」，列入「待人工核实」，不编造用户没说过的话
  • trace 过长时：先首尾各 5 轮 + 转折点 + 全部问题轮；在「阅读说明」写明抽样范围

阅读障碍（有则写入「阅读说明」）

评测时主动检查这些影响 PM 看 trace 体验的因素：

障碍说明
内部字段泄露助手回复出现系统标签、调试串、JSON 字段名
上下文断裂引用了 trace 外前文，单读本轮看不懂
用户原话被改写助手复述时升级/弱化用户程度词
回复体量失衡用户极短、助手极长，或连续多段压迫感
重复话术同义追问/套话在多轮出现
话题跳跃未承接上一轮就收束或跳转
结束突兀无收尾、强推、或用户已告别仍追问

评分与红绿灯

每个维度 1–5 分，同时给 红绿灯：

灯含义建议分数带
🟢 绿灯达标，可保留4–5
🟡 黄灯有风险，需优化3
🔴 红灯未达标，需修复1–2

逐轮判定（与维度分独立）：

判定含义
🟢 好该轮助手回复值得保留，可作正例
🔴 不好该轮明显伤害体验或违背北极星
🟡 存疑有风险但证据不够斩钉截铁
⚪ 中性无功无过，或仅承接过渡

分数与灯不一致时，在报告中说明原因。

输出

严格使用 report-template.md 结构输出。不得省略：

  • 执行摘要 + 快速跳转（问题轮/亮点轮/转折点）
  • 阅读说明（总轮次、覆盖范围、主线、阅读障碍）
  • 关键转折点
  • 北极星指标达成表
  • 分维度评分表（1–5 + 红绿灯）
  • 评测目标逐项结论
  • 逐轮原文判读（含好坏原话 + 判读理由）
  • Top 3 问题 / Top 3 亮点（关联到 Turn）
  • 建议优先级（含关联轮次）
  • 待人工核实（如有）
  • 附录轮次索引

边界

本 skill 不做：

  • 修改 prompt、代码或配置
  • 替工程师做 root-cause 调试
  • 绑定特定业务名词——即使用户 trace 里出现，也翻译成通用产品语言
  • 在没有 trace 原文时给出具体轮次结论或伪造引文

不应触发本 skill 的请求（即使用户提到「trace」「eval」等词）：

  • 代码 review、PR 评审、单元测试失败排查
  • 修改或优化 agent prompt / system prompt
  • LangGraph node、tool call、token 等工程向 debug
  • 没有对话 trace 原文，只要「泛泛聊评测方法论」

参考

Keep looking

Skills are one crate of 328,083. Ordering is by how many stacks a row turns up in, so the top of any crate is what has actually been picked rather than what has the most stars.