RAG Eval Case 模板

字段	值
版本	v1.0
最后更新	2026-07
使用时机	RAG 组件专项评测设计时
填写角色	评测工程师+RAG 工程师
下游消费者	RAG 优化团队

适用场景

用于评测知识链路，区分文档解析、Chunk、索引、召回、Rerank、上下文组装、生成和引用问题。

字段说明

字段	说明
query	用户问题
gold_evidence	标准证据片段
retrieved_chunks	实际召回片段
context	进入模型上下文的内容
answer	模型回答
citations	引用
versions	文档、索引、Embedding、Rerank 和 Prompt 版本
metrics	RAG 指标

模板

case_id:
scenario:
query:
gold_evidence:
  - document_id:
    section_id:
    text:
    effective_time:
retrieved_chunks:
  - rank:
    chunk_id:
    text:
    score:
context:
answer:
citations:
versions:
  document_version:
  parser_version:
  chunk_strategy:
  embedding_model:
  index_version:
  retriever_version:
  reranker_version:
  prompt_version:
metrics:
  recall_at_k:
  mrr:
  context_recall:
  faithfulness:
  citation_accuracy:

填写示例

case_id: rag_refund_member_points_001
scenario: 会员部分退款
query: 我用了优惠券只退一件商品，积分会扣回吗？
gold_evidence:
  - document_id: refund_policy_member_points
    section_id: section_2
    text: 部分退款后，会员积分按实际保留金额重新计算
    effective_time: 2026-07-01
versions:
  document_version: refund_policy_20260701
  parser_version: parser_v3
  chunk_strategy: policy_chunk_v2
  embedding_model: embedding_v1
  index_version: refund_index_20260701
  retriever_version: hybrid_retriever_v2
  reranker_version: rerank_v1
  prompt_version: refund_prompt_v12
metrics:
  recall_at_k: Top5
  mrr: 0.5
  context_recall: pass
  faithfulness: fail
  citation_accuracy: fail

常见误区

误区	修正方式
只看最终答案	同时保存 gold evidence、召回、上下文和引用
没有知识版本	记录文档、索引和 Prompt 版本
引用不评测	检查引用是否支持答案
把生成错误当召回错误	用正确上下文对照验证