评测 Run 血缘模板

字段	值
版本	v1.0
最后更新	2026-07
使用时机	评测执行和结果记录时
填写角色	平台工程师（自动生成）
下游消费者	发布评审、问题归因

适用场景

用于记录一次评测执行涉及的所有版本依赖，保证结果可复现、可对比、可审计。

字段说明

字段	说明
run_id	评测运行标识
trigger	触发原因
model / Prompt / dataset / Evaluator	核心版本
tool / index / environment	外部依赖版本
execution_config	执行配置
result_summary	结果摘要

模板

run_id:
trigger:
scope:
versions:
  model:
  system_prompt:
  app_prompt:
  dataset:
  evaluator:
  knowledge_base:
  index:
  embedding_model:
  tool_schema:
  agent_config:
  environment:
execution_config:
  temperature:
  top_p:
  max_tokens:
  concurrency:
  timeout:
  retry_policy:
result_summary:
  total_cases:
  pass_rate:
  high_risk_failures:
  cost:
  latency:
artifacts:
  report:
  traces:
  logs:
owner:

填写示例

run_id: run_refund_release_20260708_001
trigger: refund_prompt_v12 发布前评测
scope: 客服 Agent 退款场景
versions:
  model: model_a_202607
  system_prompt: system_prompt_v5
  app_prompt: refund_prompt_v12
  dataset: refund_eval_set_v8
  evaluator: refund_judge_v3
  knowledge_base: refund_kb_20260701
  index: refund_index_20260701_02
  tool_schema: refund_tool_schema_v4
  agent_config: refund_agent_config_v6
  environment: eval_env_202607
execution_config:
  temperature: 0.2
  top_p: 0.9
  max_tokens: 2048
  concurrency: 20
  timeout: 60s
  retry_policy: retry_once_on_timeout
result_summary:
  total_cases: 1200
  pass_rate: 0.982
  high_risk_failures: 0
  cost: 86.4
  latency: p95_7s
owner: evalops_owner

常见误区

误区	修正方式
只记录模型版本	同时记录 Prompt、数据、Evaluator、工具和环境
评测结果无法复现	保存执行参数和外部依赖版本
版本对比不公平	对比时锁定无关变量
报告与日志分散	在 Run 中记录 artifacts