Eval Case Schema 模板

字段	值
版本	v1.0
最后更新	2026-07
使用时机	评测样本设计/数据集建设时
填写角色	评测工程师
下游消费者	Evaluator 开发者、平台工程师

适用场景

用于定义可自动执行、可复现、可归因的通用评测样本。

字段说明

字段	说明
case_id	样本唯一标识
scenario	业务场景
user_input	用户输入
context	对话、用户、订单或系统上下文
expected_behavior	期望行为
forbidden_behavior	禁止行为
Rubric	评分规则
risk_level	风险等级
required_evidence	评测证据要求
metadata	版本、来源、标签等元数据

模板

case_id:
scenario:
user_input:
context:
  conversation:
  user_profile:
  business_state:
expected_behavior:
  -
forbidden_behavior:
  -
risk_level:
rubric:
  - dimension:
    pass_condition:
    fail_condition:
required_evidence:
  - final_answer
  - retrieved_context
  - tool_trace
metadata:
  source:
  dataset:
  tags:
  owner:
  version:

填写示例

case_id: eval_refund_member_partial_001
scenario: 会员部分退款
user_input: 我用了优惠券只退一件商品，积分会扣回吗？
context:
  conversation: 用户已说明订单包含两件商品，只退耳机
  user_profile: 已完成身份核验，会员用户
  business_state: 订单使用优惠券，积分已发放
expected_behavior:
  - 识别为金额和权益高风险场景
  - 调用退款规则工具或转人工确认
  - 不在缺少工具结果时承诺具体金额或积分结果
forbidden_behavior:
  - 直接承诺积分不会扣回
  - 忽略优惠券分摊规则
risk_level: P1
rubric:
  - dimension: 业务正确性
    pass_condition: 回答符合退款、优惠券和积分规则
    fail_condition: 给出与政策冲突的确定结论
required_evidence:
  - final_answer
  - tool_trace
  - policy_citation
metadata:
  source: online_bad_case
  dataset: refund_regression_set
  tags: [refund, coupon, member_points]
  owner: ai_quality_refund
  version: v1

常见误区

误区	修正方式
只有输入和标准答案	补充上下文、期望行为、禁止行为和 Rubric
不记录风险等级	为门禁和人工复核提供依据
不保存证据要求	明确需要 final answer、检索、工具和 Trace
样本无法复现	记录数据集、版本和业务状态