在线书 / 方法地图 / 模板工具包
AI 评测:构建企业级 LLM 与 Agent 质量体系
从业务目标、风险场景、指标树、Eval Case、Evaluator、Agent Trace,到 EvalOps、发布门禁、线上监控和优化闭环。
Quality Loop 11 个关键节点
业务目标风险识别对象分层指标树评测数据EvaluatorTrace门禁线上监控归因优化回归验证
Book Structure
从认知、方法到组织能力的六篇路径
01
第一篇:重新定义 AI 评测问题
第 1 章:为什么传统测试方法在 AI 时代失效了 → 第 4 章:企业级评测闭环全景图
02第二篇:理解被评系统
第 5 章:Agent 应用的分层评测对象模型 → 第 8 章:Tool Call、Memory、Workflow 与 Agent 编排
03第三篇:设计可信评测方案
第 9 章:从业务目标到风险场景和指标树 → 第 16 章:成本、延迟与规模化评测
04第四篇:建设 EvalOps 平台
第 17 章:EvalOps 平台对象模型与架构 → 第 20 章:线上监控、质量看板与多角色报告
05第五篇:从评测走向改进闭环
第 21 章:Bad Case 分类与根因归因 → 第 23 章:评测结果如何反哺后训练与数据生产
06第六篇:安全、垂类与组织化
第 24 章:安全红队与合规证据链 → 第 26 章:成熟度模型、团队能力与路线图