E AI 评测 企业级质量体系
导航
导读 / 书前导读

前言

前言

2023 年到 2025 年，我在多家企业接触 LLM 与 Agent 落地时，反复看到同一个场景：

团队花了三个月做了一个客服 Agent，接口全通、标准问答准确、Demo 演示流畅，于是信心满满地上线灰度。一周后投诉暴增，退款政策答错题、越权查订单、工具调用失败后还在瞎编承诺、多轮对话记不住用户已经说过的信息。所有人都在问：为什么测试全绿，线上却翻车了？

因为传统软件测试的五个前提——确定性、可断言性、稳定性、可分解性、可观测性——在 AI 系统上全部被打破了。同样的输入可能产生不同输出，开放问题没有唯一标准答案，模型版本、Prompt、知识库每天都在变，一个错误回答背后可能是检索、工具、Prompt、编排、业务规则多层共同作用，最终答案看起来自然但事实是错的。

很多团队的第一反应是“多写点测试用例”或“找个 Judge 打个分”。但很快他们会发现：跑了一堆公开 Benchmark，不知道业务场景能不能上线；写了 Judge Prompt，发现 Judge 偏好长回答且看不出工具参数错误；有了评测报告，发布时还是靠人拍板；线上出了问题，不知道该改模型、改 Prompt、改知识库还是改编排。

AI 评测不是跑分，也不是传统测试的延伸。它是一套围绕企业 LLM/Agent 系统的质量基础设施：从业务目标出发，拆解风险场景，设计指标树，构建评测数据，实现规则/脚本/Judge/人评混合评估，自动化执行并记录版本血缘，通过门禁决定发布，在线上监控中持续回流 Bad Case，归因根因后反哺 Prompt、RAG、工具、Agent 架构和训练数据，再进入下一轮回归。

这是一个完整的闭环，而不是某个工具或某份报告。

这本书为什么存在

市面上关于大模型的书已经很多，但我发现它们大多停留在三个方向：一是大模型原理教材，讲 Transformer、预训练、SFT、RLHF；二是 Prompt Engineering 和 RAG 实战教程，教你怎么写提示词、怎么搭知识库；三是评测论文综述，罗列各种 Benchmark 和指标。

企业真正需要的不是这些。当你要把一个 Agent 放进生产环境，你需要回答的是：怎么定义“可以上线”？怎么证明这个版本比上个版本好？出了问题怎么快速定位到是哪一层错了？怎么让评测结果真正改变模型迭代和发布决策，而不是停留在一份报告里？

这本书就是为回答这些问题而写的。

这本书讲什么，不讲什么

讲：

  • 企业级 AI 评测的完整闭环：从业务目标到指标树、数据集、Evaluator、平台、门禁、线上监控、归因优化
  • LLM、RAG、Tool Call、Memory、Workflow、Agent 的分层评测对象模型
  • 如何设计可信的 Eval Case、Rubric、LLM-as-Judge 和人工校准流程
  • Agent 轨迹级评测：不只看最终结果，还要看过程、工具调用、状态变化和副作用
  • EvalOps 平台的核心对象模型、版本血缘、可复现执行和 CI/CD 集成
  • Bad Case 分层归因方法：如何把“模型不行”拆解为可修复的具体根因
  • 安全红队、垂类适配和组织级评测成熟度模型

不讲：

  • Transformer 原理、训练细节或算法推导（评测人需要理解失效模式，但不需要成为训练专家）
  • 某个具体开源框架的使用教程（工具会过时，方法论不会）
  • 人工标注平台操作手册（讲数据资产原则，不讲平台按钮在哪）
  • 如何从零开发一个 Agent（讲如何评测和治理 Agent，不讲如何搭 Demo）

这本书写给谁

  • AI 评测工程师 / 质量负责人：你会系统地学会如何从零建设企业级评测体系，而不只是跑 Benchmark 和写 Judge。
  • EvalOps / LLMOps 平台工程师：你会理解评测平台应该管理哪些对象、如何保证可复现、如何把评测接入发布流程。
  • LLM / Agent 应用工程师：你会理解你的系统会在哪些环节失效、评测如何发现这些问题、如何根据评测结果优化而非盲目调参。
  • AI 产品负责人 / 技术管理者：你会学会如何把“效果好”拆成可决策的指标和门禁，如何组织跨团队质量协作，如何判断团队评测成熟度。
  • 从传统测试转向 AI 质量的资深工程师：你会看到传统测试在 AI 时代哪里失效、什么需要保留、什么需要重建。

如何使用这本书

书前有“读者指南”，会按不同角色给出阅读路径建议。如果你是第一次系统接触 AI 评测，建议按顺序读完前四章，它们建立全书的认知框架——为什么传统测试不够、企业评测解决什么问题、如何在不确定性下做可信决策、完整闭环长什么样。之后可以根据工作需要跳读特定章节。

每章都围绕一个真实问题展开（用贯穿全书的企业客服 Agent 作为主案例），章末有可直接拿走使用的模板、检查表或决策表，以及常见反模式提醒。配套资源中整理了术语表、模板库、端到端案例，以及工具生态和公开 Benchmark 参考。

一个邀请

AI 评测是一个快速演进的领域。这本书里的方法不是标准答案，而是我在企业落地中验证过的一套可操作系统。如果你在实践中发现更好的方法，或者遇到书中没覆盖到的场景，欢迎交流。

构建可信赖的 AI 系统，需要评测成为基础设施，而不是事后补救。希望这本书能帮你少走一些弯路。

——作者 2026 年 7 月