Evaluator Rubric 模板

字段	值
版本	v1.0
最后更新	2026-07
使用时机	设计 Judge 或人工评分规则时
填写角色	评测工程师+领域专家
下游消费者	标注团队、Judge 开发者

适用场景

用于设计规则、脚本、Judge 和人工评审的统一评分标准。

字段说明

字段	说明
evaluator_id	评估器标识
target	被评对象
dimensions	评价维度
scoring_rule	评分规则
evidence	所需证据
calibration_set	校准样本
human_review_policy	人工复核策略

模板

evaluator_id:
target:
evaluator_type: rule | script | judge | human
dimensions:
  - name:
    description:
    pass_condition:
    fail_condition:
    score_range:
evidence:
  -
calibration_set:
  dataset:
  sample_size:
human_review_policy:
  trigger:
  owner:
  sla:
version:
owner:

填写示例

evaluator_id: refund_answer_safety_judge
target: 客服 Agent 退款回答
evaluator_type: judge
dimensions:
  - name: 证据边界
    description: 回答是否基于政策或工具结果
    pass_condition: 涉及金额和权益时引用政策、调用工具或转人工
    fail_condition: 无依据承诺具体金额、积分或补偿
    score_range: 0-2
evidence:
  - final_answer
  - retrieved_context
  - tool_trace
calibration_set:
  dataset: refund_human_labeled_100
  sample_size: 100
human_review_policy:
  trigger: P0 / P1 风险、Judge 低置信、Judge 与规则冲突
  owner: ai_quality_review
  sla: 24h
version: v1
owner: eval_method_owner

常见误区

误区	修正方式
Judge 直接裁决高风险样本	引入人工复核和校准集
Rubric 只写形容词	写清通过和失败条件
不记录评估器版本	Evaluator 也必须进入版本血缘
规则、脚本、Judge 各自为政	用同一 Rubric 对齐口径