读者指南：如何使用本书
读者指南：如何使用本书
全书结构
本书共六篇 26 章，围绕一条主线展开：
业务目标 → 风险识别 → 被评对象分层 → 指标树 → 评测数据 → Evaluator / Judge / 人评 → 自动化执行 → 发布门禁 → 线上监控 → Bad Case 归因 → 系统与数据优化 → 回归验证
| 篇章 | 章节 | 核心问题 |
|---|---|---|
| 第一篇：重新定义 AI 评测问题 | 第 1-4 章 | 为什么传统测试失效？企业级评测解决什么？完整闭环长什么样？ |
| 第二篇：理解被评系统 | 第 5-8 章 | LLM、RAG、Tool、Memory、Agent 到底应该分层评什么？ |
| 第三篇：设计可信评测方案 | 第 9-16 章 | 如何把业务目标变成指标、数据、Evaluator、Trace 与可信结论？ |
| 第四篇：建设 EvalOps 平台 | 第 17-20 章 | 如何把评测从脚本和报告升级为持续运行的平台与门禁？ |
| 第五篇：从评测走向改进闭环 | 第 21-23 章 | 如何归因 Bad Case，并反哺 Prompt、RAG、Agent 和训练数据？ |
| 第六篇：安全、垂类与组织化 | 第 24-26 章 | 如何处理安全合规、垂类适配和组织级成熟度？ |
不同角色的阅读路径
你不需要按顺序读完每一章。根据你的角色和当前工作重点，可以选择不同路径。
路径一：AI 评测工程师 / 质量负责人
如果你负责从 0 到 1 建设 AI 评测体系，建议按以下顺序：
| 阶段 | 阅读章节 | 目标 |
|---|---|---|
| 建立认知 | 第 1-4 章 | 理解为什么传统测试不够、企业评测解决什么问题、完整闭环 |
| 理解对象 | 第 5-8 章 | 掌握 LLM/RAG/Tool/Agent 分层模型和失效模式 |
| 设计评测 | 第 9-16 章 | 学会指标树设计、数据建设、Case Schema、Evaluator 设计、Trace 评测、统计可信性、成本控制 |
| 落地平台 | 第 17-20 章 | 理解 EvalOps 对象模型、自动化执行、CI/CD 门禁、线上监控 |
| 闭环优化 | 第 21-23 章 | 掌握 Bad Case 归因、优化回流、数据反哺训练 |
| 治理提升 | 第 24-26 章 | 安全红队、垂类适配、成熟度模型 |
重点关注：第 9 章（指标树）、第 12 章（Eval Case Schema）、第 13 章（Evaluator 设计）、第 21 章（归因）是你日常工作最常用的内容，建议精读并配套使用模板。
路径二：EvalOps / LLMOps 平台工程师
如果你负责评测平台或质量基础设施建设：
| 必读章节 | 原因 |
|---|---|
| 第 4 章 | 理解完整闭环，知道平台要服务哪些环节 |
| 第 5 章 | 理解分层对象模型，平台数据模型以此为基础 |
| 第 12 章 | Eval Case Schema 是平台核心数据结构 |
| 第 14 章 | Trace Schema 决定 Agent 观测能力 |
| 第 17 章 | EvalOps 平台对象模型与架构，是平台设计蓝图 |
| 第 18 章 | 自动化执行、版本血缘、可复现是平台核心能力 |
| 第 19 章 | CI/CD 集成和发布门禁是平台价值落地的关键 |
选读章节：第 9-11 章理解评测方法论（帮助你理解平台使用者的需求）；第 13 章理解 Evaluator 插件机制；第 20 章理解线上监控和看板需求。
路径三：LLM / Agent 应用工程师
如果你是开发 Agent 或 RAG 应用的工程师，想理解系统会如何被评测、如何根据评测结果优化：
| 阅读章节 | 目标 |
|---|---|
| 第 1-3 章 | 建立评测思维转换，理解 AI 系统质量不同于传统软件 |
| 第 5-8 章 | 理解你开发的每个组件（RAG/Tool/Memory/Workflow）的失效模式和评测点 |
| 第 14 章 | 理解 Trace 对 Agent 可观测性的重要性，知道怎么记录过程 |
| 第 21-22 章 | 理解 Bad Case 如何被归因，知道优化方向是 Prompt/RAG/工具/编排而非盲目调参 |
| 第 13 章（选读） | 理解 Evaluator 怎么评判你的系统输出，有助于写出更易评测、更鲁棒的 Agent |
重点关注：失效模式（第 6-8 章）和归因方法（第 21 章）。评测团队给你一份 Bad Case 报告时，你需要能快速定位问题在哪一层。
路径四：AI 产品负责人 / 技术管理者
如果你需要做发布决策、组织跨团队质量协作、判断团队评测成熟度：
| 阅读章节 | 目标 |
|---|---|
| 第 1-4 章 | 建立对 AI 评测的整体认知，理解为什么需要体系化建设 |
| 第 9 章 | 理解如何从业务目标拆到指标和门禁，学会问对问题 |
| 第 15 章 | 理解统计可信性，不被“提升了 2 分”的报告误导 |
| 第 19 章 | 理解发布门禁和灰度策略，建立质量决策框架 |
| 第 20 章 | 理解线上监控和多角色报告，知道上线后看什么 |
| 第 24 章 | 理解安全红线和合规要求 |
| 第 26 章 | 用成熟度模型判断团队现状，规划路线图 |
你不需要深入读 Case Schema、Evaluator Prompt 设计、平台实现细节等技术章节。重点是建立决策框架：什么指标可信、什么风险必须阻断、什么问题该谁修、团队处于哪个成熟度阶段。
路径五：从传统测试转向 AI 质量
如果你有丰富的传统测试经验，正在进入 AI 评测领域：
| 阶段 | 阅读章节 | 重点 |
|---|---|---|
| 思维转换 | 第 1-3 章 | 理解确定性测试和概率性评测的本质区别，这是最难也最关键的一步 |
| 建立新认知 | 第 4-8 章 | 理解闭环框架、分层对象模型、LLM/RAG/Agent 的失效模式 |
| 学习新方法 | 第 9-14 章 | 指标树、Eval Case、Evaluator（包括 LLM-as-Judge）、Trace 评测都是传统测试中没有的新概念 |
| 保留已有能力 | 第 17-19 章 | CI/CD、自动化、门禁这些你熟悉的概念在 AI 时代仍然核心，只是对象变了 |
关键提醒：你的传统测试经验（接口测试、集成测试、流程测试、CI/CD）仍然是 AI 系统工程质量的底座，不要丢弃。AI 评测是在这之上增加一层面向概率行为、开放任务和业务风险的质量体系。参考第 1.2 节“传统测试仍是底座”。
如何使用模板
本书配套 11 个可直接使用的模板，位于 book/templates/ 目录：
| 模板 | 对应章节 | 用途 |
|---|---|---|
| 业务目标到指标树模板 | 第 9 章 | 将模糊业务目标拆为可评测指标 |
| Eval Case Schema 模板 | 第 12 章 | 设计结构化评测样本 |
| RAG Eval Case 模板 | 第 7 章 | 设计 RAG 专项评测样本 |
| Evaluator Rubric 模板 | 第 13 章 | 设计评分规则和 Judge Prompt |
| Agent Trace Schema 模板 | 第 14 章 | 记录 Agent 执行过程 |
| 评测 Run 血缘模板 | 第 18 章 | 记录评测运行的版本依赖 |
| 发布门禁规则模板 | 第 19 章 | 定义发布准入规则 |
| 线上质量报告模板 | 第 20 章 | 输出多角色质量报告 |
| Bad Case 归因模板 | 第 21 章 | 结构化归因失败根因 |
| 修复验证与防复发模板 | 第 22 章 | 跟踪修复和回归验证 |
| 红队样本与合规证据链模板 | 第 24 章 | 设计安全测试和合规审计 |
建议你先读对应章节理解方法论，再使用模板。模板字段是建议起点，你需要根据自己的业务场景调整字段和阈值。
阅读建议
不要跳过第一篇。第 1-4 章建立全书认知框架，直接跳到方法或平台章节容易“知其然不知其所以然”。
跟着客服 Agent 案例走。全书以企业客服 Agent 为主案例，第 8、14、16、19、21 章有代码 Agent 对照。同一问题在不同章节反复出现（如“会员部分退款”），这是刻意设计——帮你看到同一个 Bad Case 在评测、归因、优化各环节如何被处理。
边读边做最小闭环。读完前四章后，不要等全部读完再动手。选你业务中最核心的一个场景（比如退款、查询、下单），尝试建 50 条 Eval Set、设计基础指标、写一个简单的 Evaluator、跑一次版本对比。实践中的问题会驱动你更好地理解后续章节。
关注“反模式”和“为什么”。这本书不仅讲“怎么做”，也花大量篇幅讲“不要怎么做”和“为什么这样做”。AI 评测领域还在快速演进，理解底层原则比记住具体工具更重要。
术语表放在手边。书后有术语表，遇到 Eval Set、Rubric、Trace、Meta-Eval 等术语时可以快速查阅。