Bad Case 归因模板
| 字段 |
值 |
| 版本 |
v1.0 |
| 最后更新 |
2026-07 |
| 使用时机 |
发现失败样本后根因分析时 |
| 填写角色 |
评测工程师+对应组件 Owner |
| 下游消费者 |
优化团队、回归测试 |
适用场景
用于将失败样本从“系统错了”拆解为具体层级、证据和根因。
字段说明
| 字段 |
说明 |
| case_id |
Bad Case 标识 |
| error_type |
错误类型 |
| risk_level |
风险等级 |
| evidence |
证据链 |
| layer_analysis |
分层分析 |
| root_cause |
根因 |
| confidence |
归因置信度 |
| next_action |
后续动作 |
模板
# Bad Case 归因
## 基本信息
- case_id:
- 场景：
- 风险等级：
- 错误类型：
## 错误现象
- 用户输入：
- Agent 回答：
- 期望行为：
## 证据链
- 检索结果：
- 上下文：
- 工具调用：
- Agent Trace：
- 版本信息：
- 人工复核：
## 分层归因
| 层级 | 是否相关 | 证据 | 结论 | 置信度 |
| --- | --- | --- | --- | --- |
| 模型 | | | | |
| Prompt | | | | |
| RAG | | | | |
| Tool | | | | |
| Agent 编排 | | | | |
| 系统 | | | | |
| 业务规则 | | | | |
## 归因结论
- 主根因：
- 次要根因：
- 置信度：
- 对照验证：
## 后续动作
| 动作 | Owner | 验证方式 |
| --- | --- | --- |
| | | |
填写示例
## 归因结论
- 主根因：RAG Query 未召回会员积分扣回规则
- 次要根因：Agent 未在金额权益场景强制调用退款规则工具
- 置信度：高
- 对照验证：注入正确政策片段后，模型能给出正确回答
常见误区
| 误区 |
修正方式 |
| 直接归因到模型 |
按模型、Prompt、RAG、Tool、Agent、系统和业务规则排查 |
| 只看最终回答 |
保存检索、工具、Trace 和版本 |
| 没有置信度 |
给出高、中、低置信度和证据 |
| 归因后没有动作 |
转入修复验证和防复发流程 |