阅读路径

1. 完整阅读路径

完整阅读建议按六篇顺序推进：

1. 第 1-4 章：建立 AI 评测的认知地基和企业级闭环全景。
2. 第 5-8 章：理解 LLM、RAG、Tool、Memory、Workflow 和 Agent 的被评对象。
3. 第 9-16 章：学习如何设计可信评测方案，包括指标、数据、Case、Evaluator、Trace、统计和成本。
4. 第 17-20 章：将评测平台化，并接入自动化执行、发布门禁和线上监控。
5. 第 21-23 章：把 Bad Case 归因、系统优化和数据生产连接成改进闭环。
6. 第 24-26 章：处理安全合规、垂类适配和组织化成熟度。

完整阅读适合评测负责人、AI 应用负责人和准备系统建设评测体系的团队。

2. AI 评测工程师路径

目标：从执行评测升级为设计评测体系。

推荐顺序：

1. 第 1 章：理解传统测试和 AI 评测的差异。
2. 第 3 章：建立可信评测原则。
3. 第 9 章：学习业务目标到指标树。
4. 第 11-13 章：掌握评测数据、Eval Case 和 Evaluator。
5. 第 14-15 章：掌握 Agent Trace、统计和 Meta-Eval。
6. 第 21-22 章：学习 Bad Case 归因和修复闭环。
7. 第 26 章：对照个人能力矩阵规划成长路径。

重点产物：

• 业务目标到指标树模板。
• Eval Case Schema。
• Evaluator 设计模板。
• Bad Case 分类与归因模板。
• 评测体系质量回检表。

3. EvalOps / LLMOps 平台工程师路径

目标：把评测从脚本升级为平台能力。

推荐顺序：

1. 第 4 章：理解企业级评测闭环。
2. 第 5 章：理解被评对象层级。
3. 第 12-14 章：理解 Case、Evaluator 和 Trace 数据结构。
4. 第 16-18 章：学习成本、自动化执行、版本血缘和可复现。
5. 第 19-20 章：学习门禁、灰度、看板和报告。
6. 第 24 章：理解安全证据链和审计字段。

重点产物：

• EvalOps 平台对象模型。
• 评测 Run 血缘字段表。
• 自动化执行引擎能力清单。
• 可复现运行检查表。
• 质量看板信息架构。

4. AI 产品负责人路径

目标：用评测支撑产品上线、灰度和优化。

推荐顺序：

1. 第 2 章：理解企业级评测解决的问题。
2. 第 4 章：理解完整质量闭环。
3. 第 9-10 章：学习如何拆业务目标、风险场景和评测组合。
4. 第 19-20 章：学习发布门禁、灰度和线上质量报告。
5. 第 21-22 章：学习如何把 Bad Case 转成产品与系统优化动作。
6. 第 26 章：理解团队协作与成熟度建设。

重点产物：

• 企业级 AI 评测五大核心命题。
• 风险场景优先级矩阵。
• 多层评测防线设计模板。
• 多角色评测报告模板。
• 修复验证与防复发流程。

5. RAG / Agent 工程师路径

目标：把评测结果转化为系统修复。

推荐顺序：

1. 第 5 章：理解 Agent 应用分层评测对象模型。
2. 第 6 章：理解 LLM 失效模式。
3. 第 7 章：学习 RAG 链路评测。
4. 第 8 章：学习 Tool、Memory、Workflow 和 Agent 编排评测。
5. 第 14 章：学习 Trace 过程评分。
6. 第 21-22 章：学习分层归因和系统优化闭环。

重点产物：

• LLM 失效模式清单。
• RAG Eval Case Schema。
• Tool / Memory / Workflow 组件评测清单。
• Agent Trace Schema。
• 根因到优化动作映射表。

6. AI 安全与合规负责人路径

目标：将安全合规转化为评测、门禁和审计证据链。

推荐顺序：

1. 第 3 章：理解可信评测原则。
2. 第 9 章：学习风险场景和门禁指标。
3. 第 10 章：理解 Red Team Set 在多层防线中的位置。
4. 第 19 章：学习安全门禁和灰度。
5. 第 20 章：学习线上安全信号与报告。
6. 第 24 章：系统学习安全红队与合规证据链。
7. 第 26 章：建立安全评测 Owner 和组织机制。

重点产物：

• LLM / Agent 安全风险清单。
• 红队样本设计模板。
• 合规证据链字段表。
• 发布门禁规则模板。

7. 团队负责人路径

目标：建立组织级 AI 质量能力。

推荐顺序：

1. 第 2 章：理解评测作为质量基础设施的价值。
2. 第 4 章：理解闭环全景。
3. 第 17-20 章：理解平台、执行、门禁和线上运营。
4. 第 21-23 章：理解问题修复和数据回流。
5. 第 24-26 章：理解安全、垂类和组织成熟度。

重点产物：

• AI 评测体系成熟度模型。
• 评测团队角色与能力矩阵。
• 90 天企业级评测体系启动路线图。
• 全书模板库。

8. 快速落地路径

如果团队只想先在一个业务场景建立最小闭环，建议按以下顺序执行：

1. 阅读第 2、4、9、10 章，明确目标、风险和评测组合。
2. 阅读第 11-13 章，建立数据、Case 和 Evaluator。
3. 阅读第 17-19 章，接入自动化执行和发布门禁。
4. 阅读第 20-22 章，建立线上回流、归因和修复验证。
5. 使用 book/templates/ 下模板建立项目工作台。