P8a rax risk assessor

RAX 风险评估器

一句话定位

系统性评估 AI 产品的风险（Risk）、模糊性（Ambiguity）和暴露程度（eXposure），找出用户体验的弱点。

何时触发

• AI 产品即将上线或已上线，需要评估用户体验风险
• 用户反馈产品"不可靠"或"不透明"
• 需要优先级排序风险修复
• 需要向利益相关者展示风险管理能力

输入

产品描述 + 用户场景 + 已知问题。

示例输入：

产品: AI 医疗诊断助手
场景: 帮助医生诊断疾病
用户: 临床医生
已知问题: 医生担心 AI 诊断错误导致误诊

RAX 框架

R - Risk（风险）

定义：AI 出错时用户要承担什么后果？

评估项：

• 出错的概率是多少？
• 出错的代价是多少（金钱、职业、健康、法律）？
• 出错是否可逆？
• 是否有回滚机制？

输出格式：

Risk 评估:
  error_probability: "出错概率"
  error_cost:
    financial: "金钱损失"
    career: "职业风险"
    health: "健康风险"
    legal: "法律风险"
    reputation: "声誉风险"
  reversibility: "是否可逆"
  rollback: "回滚机制"
  risk_level: "低/中/高/极高"

A - Ambiguity（模糊性）

定义：用户能不能理解 AI 在做什么？

评估项：

• AI 的行为是否可解释？
• 用户是否知道 AI 的能力边界？
• 系统的输出是否一致可预测？
• 用户是否知道什么时候应该不信任 AI？

输出格式：

Ambiguity 评估:
  explainability: "可解释性"
  boundary_clarity: "能力边界清晰度"
  output_consistency: "输出一致性"
  trust_boundary: "信任边界"
  ambiguity_level: "低/中/高"

X - eXposure（暴露程度）

定义：用户在多大程度上依赖 AI 的输出？

评估项：

• 用户是否可以选择不使用 AI？
• 用户是否可以审核 AI 的输出？
• AI 是辅助还是决策？
• 用户有没有退出机制？

输出格式：

eXposure 评估:
  optional_usage: "使用是否可选"
  output_review: "输出是否可审核"
  ai_role: "辅助/决策"
  exit_option: "退出机制"
  exposure_level: "低/中/高"

综合评估

RAX 矩阵

        低暴露        中暴露        高暴露
低风险  ✓ 安全      ✓ 可接受    ⚠ 需要监控
中风险  ✓ 可接受    ⚠ 需要监控  ⚠ 需要改进
高风险  ⚠ 需要监控  ⚠ 需要改进  ✗ 危险

优先级排序

高优先级：

• 高风险 + 高暴露：立即停止使用，重新设计
• 高模糊性 + 高暴露：用户不知道在信什么，危险

中优先级：

• 中风险 + 高暴露：需要改进
• 高风险 + 中暴露：需要改进

低优先级：

• 低风险 + 低暴露：可以接受
• 低模糊性 + 低暴露：可以接受

综合输出格式

rax_assessment:
  input:
    product: "产品名称"
    scenario: "使用场景"
    user: "目标用户"
    known_issues: ["已知问题"]
  
  risk:
    error_probability: "出错概率"
    error_cost: "出错代价"
    reversibility: "可逆性"
    rollback: "回滚机制"
    level: "低/中/高/极高"
  
  ambiguity:
    explainability: "可解释性"
    boundary_clarity: "能力边界"
    output_consistency: "输出一致性"
    trust_boundary: "信任边界"
    level: "低/中/高"
  
  exposure:
    optional_usage: "使用可选性"
    output_review: "输出可审核性"
    ai_role: "辅助/决策"
    exit_option: "退出机制"
    level: "低/中/高"
  
  matrix:
    risk_level: "风险等级"
    exposure_level: "暴露等级"
    ambiguity_level: "模糊等级"
    overall_status: "安全/可接受/需改进/危险"
  
  recommendations:
    critical: ["立即要做的"]
    high: ["高优先级改进"]
    medium: ["中优先级改进"]
    low: ["低优先级改进"]

示例：AI 医疗诊断助手

维度	评估	等级
Risk	出错可能导致误诊，代价极高	高
Ambiguity	医生不太理解 AI 的判断逻辑	中
eXposure	AI 只是辅助，最终诊断权在医生	中

综合判断：需要改进

建议：

• 立即：加强错误检测和告警机制
• 短期：提升可解释性，让医生理解 AI 的判断依据
• 长期：建立人机协同诊断流程

常见误判

• 只关注准确率：高准确率不等于低风险，出错代价更重要
• 忽视模糊性：用户不理解 AI 的行为，即使结果正确也会不信任
• 高估用户能力：假设用户能够判断 AI 是否出错

核心概念

1. Risk Exposure（风险暴露量）

定义：当 AI 出错时，预期损失有多大。不是简单的"出错概率"或"损失金额"，而是概率、后果和不可逆性三者的有机结合。

关键点：

• 核心公式：Risk Exposure = P × C × I（概率 × 后果 × 不可逆性）
• 三个变量是乘积关系：低概率的严重不可逆错误，可能远超高概率的可逆小错
• 降低 RE 不一定非要降低 P，还可以降低 C（如增加人工审核）或降低 I（如设计快速撤销机制）

来源：书稿 ch08「Risk Exposure——不可逆错误的量化」

2. 不可逆性光谱（Irreversibility Spectrum）

定义：AI 错误后果被修复或逆转的难度，不是二元变量（可逆/不可逆），而是一个连续光谱。

关键点：

• I 值 0.0-0.2（几乎可逆）：AI 写作助手的措辞建议，即时撤销无感知
• I 值 0.3-0.5（轻度不可逆）：邮件发送错误，需少量操作修正
• I 值 0.6-0.8（中度不可逆）：账户被误标为风险，需人工介入，损失已部分发生
• I 值 0.9-1.0（极度不可逆）：医疗误诊、自动驾驶事故，后果无法弥补
• 产品设计的资源应优先投入不可逆性高的错误场景

来源：书稿 ch08「不可逆性：AI 时代风险的新维度」

3. 风险缓解的三条路径

定义：基于 RE = P × C × I 的结构，风险缓解可以从三个维度展开。

关键点：

• 降低 P（错误概率）：更好的算法、更多训练数据、更严格测试，但存在边际效益递减
• 降低 C（后果严重度）：设计保护机制限制错误影响范围，如人工复核、降级策略、限速运行
• 降低 I（不可逆性）：设计更好的"撤销"和"恢复"机制，如延迟窗口、确认环节、人工干预入口
• 最有效的策略通常是三者的合理组合，而非单一路径

来源：书稿 ch08「风险缓解策略：从量化到行动」

4. RAX 矩阵（风险-模糊性-暴露矩阵）

定义：将 Risk、Ambiguity、eXposure 三个维度交叉形成评估矩阵，用于快速判断整体风险状态和优先级。

关键点：

• 高风险 + 高暴露 = 危险（立即停止，重新设计）
• 高模糊性 + 高暴露 = 用户不知道在信什么，同样危险
• 低风险 + 低暴露 = 安全（可接受）
• 优先级排序：先处理高风险+高暴露，再处理中风险组合

来源：主 Skill SKILL.md「RAX 矩阵」章节

5. 频率问题与关联性风险

定义：Risk Exposure 衡量单次错误的预期损失，但未直接考量错误事件的频率和错误间的级联效应。

关键点：

• 频繁的小错误和偶尔的大错误给用户的心理感受完全不同——前者摧毁基本信任
• AI 系统之间存在依赖关系，一个组件的错误可能触发连锁反应
• 对于高频使用 AI 的用户，P 会随时间累积趋近于 1（遍历性问题）
• RE 是必要框架但不是唯一的风险考量，还需结合系统性风险视角

来源：书稿 ch08「超越 Risk Exposure：系统性风险的考量」

分步执行

步骤 1：场景枚举与风险分类

操作说明： 列出产品中所有 AI 参与的场景，按业务领域和用户任务分类。对每个场景标注其核心用户任务、AI 的角色（辅助/建议/决策）和已知问题。

输出物：

场景清单：
  场景A: {任务描述, AI角色, 已知问题}
  场景B: {任务描述, AI角色, 已知问题}
  ...

步骤 2：Risk Exposure 三维评估

操作说明： 对每个场景分别评估 P（错误概率）、C（后果严重度）、I（不可逆性）。P 需分场景统计而非笼统平均值；C 使用 1-10 分量表评估多维损失；I 使用 0.0-1.0 操作化量表。计算 RE = P × C × I。

输出物：

risk_exposure:
  场景A:
    P: "错误概率及统计依据"
    C: "后果严重度(1-10分)及多维损失说明"
    I: "不可逆性(0.0-1.0)及理由"
    RE: "计算结果"
    RE_level: "低/中/高/极高"

步骤 3：Ambiguity（模糊性）评估

操作说明： 评估用户对 AI 行为的理解程度：可解释性、能力边界清晰度、输出一致性、信任边界。识别"用户不知道 AI 在做什么"的场景。

输出物：

ambiguity_assessment:
  场景A:
    explainability: "高/中/低"
    boundary_clarity: "清晰/部分清晰/模糊"
    output_consistency: "一致/部分一致/不一致"
    ambiguity_level: "低/中/高"

步骤 4：eXposure（暴露程度）评估

操作说明： 评估用户对 AI 输出的依赖程度：使用是否可选、输出是否可审核、AI 是辅助还是决策、是否有退出机制。

输出物：

exposure_assessment:
  场景A:
    optional_usage: "是/否"
    output_review: "可审核/部分可审核/不可审核"
    ai_role: "辅助/建议/决策"
    exit_option: "有/无"
    exposure_level: "低/中/高"

步骤 5：RAX 综合判定与优先级排序

操作说明： 将 Risk、Ambiguity、eXposure 三个维度的评估结果填入 RAX 矩阵，判定每个场景的整体状态（安全/可接受/需改进/危险）。按优先级排序：先处理危险场景，再处理需改进场景。

输出物：

rax_matrix:
  场景A:
    risk_level: "高"
    exposure_level: "中"
    ambiguity_level: "低"
    overall_status: "需改进"
    priority: "高"

步骤 6：缓解策略设计

操作说明： 针对每个高优先级场景，从三条路径（降低 P、降低 C、降低 I）设计具体缓解策略。优先考虑降低 I（设计撤销/恢复机制），因为这是 AI 时代最具杠杆效应的路径。

输出物：

mitigation:
  场景A:
    降低P: ["策略1", "策略2"]
    降低C: ["人工复核机制", "降级策略"]
    降低I: ["延迟窗口", "快速撤销", "确认环节"]
    critical_actions: ["立即要做的"]

示例

示例 1：AI 风控系统的 RAX 风险评估

场景描述： 蚂蚁集团智能风控系统每天处理数亿笔交易，识别欺诈行为。系统曾将普通用户标记为欺诈嫌疑人，账户被冻结 72 小时，用户无法付款、转账、买高铁票。需要系统性评估该系统的 RAX 风险。

用户输入：

产品: 智能风控系统
场景: 实时交易风控，自动冻结可疑账户
用户: 普通消费者
已知问题: 存在误伤正常用户的情况，冻结后申诉流程耗时长

执行流程：

1. 场景枚举：

   • 场景 A：欺诈交易拦截（AI 自动拒绝交易）
   • 场景 B：账户冻结（AI 自动冻结可疑账户）
   • 场景 C：信用评估（AI 自动调整信用额度）

2. Risk Exposure 评估：

   场景A（欺诈拦截）:
     P = 0.02（2% 误拦截率，分场景统计）
     C = 6（用户无法完成支付，错过促销时机）
     I = 0.4（可通过客服申诉恢复，但损失已部分发生）
     RE = 0.02 × 6 × 0.4 = 0.048
   
   场景B（账户冻结）:
     P = 0.005（0.5% 误冻率）
     C = 8（用户完全无法使用账户，影响出行和支付）
     I = 0.7（申诉需数天，期间损失无法弥补）
     RE = 0.005 × 8 × 0.7 = 0.028
   

3. Ambiguity 评估：

   • 可解释性：低（用户不知道为什么被冻结）
   • 能力边界：模糊（用户不知道系统的判断逻辑）
   • 模糊性等级：高

4. eXposure 评估：

   • 使用可选：否（强制风控）
   • 输出可审核：否（自动执行）
   • AI 角色：决策
   • 退出机制：无（需申诉流程）
   • 暴露程度：高

5. RAX 综合判定：

   场景A: Risk=中, Ambiguity=高, eXposure=高 → 需改进
   场景B: Risk=高, Ambiguity=高, eXposure=高 → 危险
   

输出结果：

rax_assessment:
  product: "智能风控系统"

  risk_exposure:
    欺诈拦截:
      P: "2% 误拦截率"
      C: "6/10 - 支付中断"
      I: "0.4 - 可申诉恢复"
      RE: 0.048
      level: "中"
    账户冻结:
      P: "0.5% 误冻率"
      C: "8/10 - 完全无法使用"
      I: "0.7 - 损失已部分发生"
      RE: 0.028
      level: "高"

  overall_status: "需改进"

  recommendations:
    critical:
      - "账户冻结前增加二次确认环节（降低 I）"
      - "冻结时提供即时申诉入口（降低 I）"
    high:
      - "引入'观察模式'替代直接冻结（降低 C）"
      - "向用户透明展示触发冻结的原因（降低 Ambiguity）"
    medium:
      - "建立分层风控策略，区分高/中/低风险交易（降低 P）"

示例 2：自动驾驶系统的 RAX 风险评估

场景描述： 百度萝卜快跑在武汉运营自动驾驶出租车。需要评估自动驾驶系统在城市复杂路况下的 RAX 风险，为运营策略提供依据。

用户输入：

产品: 萝卜快跑自动驾驶出租车
场景: 城市道路载客运营
用户: 乘客（无驾驶能力）
已知问题: 复杂路况下偶有碰撞事故，公众对安全性存疑

执行流程：

1. 场景枚举：

   • 场景 A：常规道路行驶
   • 场景 B：复杂路口/施工区域
   • 场景 C：极端天气/夜间行驶

2. Risk Exposure 评估：

   场景A（常规行驶）:
     P = 0.0001（每百万英里约 0.1 次需安全员接管）
     C = 8（涉及乘客人身安全）
     I = 0.95（事故后果几乎不可逆）
     RE = 0.0001 × 8 × 0.95 = 0.00076
   
   场景B（复杂路口）:
     P = 0.001（接管频率显著上升）
     C = 9（高风险场景）
     I = 0.95
     RE = 0.001 × 9 × 0.95 = 0.00855
   

3. RAX 综合判定：

   场景A: Risk=高(I高), Ambiguity=中, eXposure=高 → 需改进
   场景B: Risk=极高, Ambiguity=中, eXposure=高 → 危险
   

输出结果：

rax_assessment:
  product: "萝卜快跑自动驾驶"

  risk_exposure:
    常规行驶:
      P: "0.01%"
      C: "8/10"
      I: "0.95"
      RE: 0.00076
      level: "高"
    复杂路口:
      P: "0.1%"
      C: "9/10"
      I: "0.95"
      RE: 0.00855
      level: "极高"

  overall_status: "需改进（场景A）/ 危险（场景B）"

  recommendations:
    critical:
      - "复杂路口区域降速运行（降低 C）"
      - "保留安全员或远程监控机制（降低 C + I）"
    high:
      - "限制运营区域，避开高风险路段（降低 P）"
      - "设计渐进式降级策略：检测到超出能力范围时自动减速靠边（降低 I）"
    medium:
      - "建立实时风险监控仪表盘，动态调整运营策略"

示例 3：AI 推荐算法的信息茧房 RAX 评估

场景描述： 某内容平台使用 AI 推荐算法向用户推送个性化内容。用户长期被投喂单一观点，认知框架逐渐固化。需要评估推荐算法在认知影响维度的 RAX 风险。

用户输入：

产品: AI 内容推荐引擎
场景: 个性化内容推送
用户: 普通用户
已知问题: 用户反馈"看到的内容越来越同质化"

执行流程：

1. Risk Exposure 评估：

   场景（信息茧房）:
     P = 0.8（高概率持续推送同质内容）
     C = 5（认知能力退化、观点极化，长期累积）
     I = 0.8（认知一旦形成极难改变，不可逆性高）
     RE = 0.8 × 5 × 0.8 = 3.2（相对高风险）
   

2. RAX 综合判定：

   • Risk = 高（I 极高，认知影响不可逆）
   • Ambiguity = 高（用户不知道算法在做什么）
   • eXposure = 高（用户无法选择不使用推荐）
   • 整体状态：需改进

输出结果：

rax_assessment:
  product: "AI 内容推荐引擎"

  risk_exposure:
    信息茧房:
      P: "80% 持续推送同质内容"
      C: "5/10 - 认知退化（长期累积）"
      I: "0.8 - 认知固化不可逆"
      RE: 3.2
      level: "高"

  overall_status: "需改进"

  recommendations:
    critical:
      - "提供'关闭推荐'选项，让用户回归时间线（降低 eXposure）"
    high:
      - "引入多样化推荐机制，主动推送异质内容（降低 P）"
      - "展示推荐逻辑透明度，让用户知道为什么看到这些内容（降低 Ambiguity）"
    medium:
      - "定期推送'信息茧房报告'，让用户了解自己的内容消费结构"

  note: >
    这些功能帮助用户在事前和事中调整信息摄入（降低 C），
    但一旦认知固化已经发生，这些功能并不能逆转用户的认知框架（I 的局限）。
    降低 C ≠ 降低 I，两者需要区分对待。

一句判断

RAX 的核心不是消除风险，而是让风险可见、可管理、可接受。