附录 / 书后附录
术语表
术语表
1. 使用原则
全书采用“中文概念 + 英文术语”的方式保持准确性。第一次出现关键术语时可给出英文，后文使用固定中文或英文缩写，不随意切换。
“评测”用于本书主语境，指围绕 AI 系统质量、能力、风险、版本和闭环的系统性度量与判断。
2. 核心术语
| 术语 | 推荐写法 | 定义 | 使用边界 |
|---|---|---|---|
| AI 评测 | AI 评测 | 对 LLM / RAG / Agent 系统能力、风险和质量的系统性度量 | 本书主术语 |
| 测试 | 测试 | 软件工程中验证功能、接口、状态和流程是否符合预期的活动 | 讨论传统软件质量或确定性组件时使用 |
| 评估 | 评估 | 对方案、效果或价值的综合判断 | 用于宽泛评价，不替代“评测” |
| LLM | LLM | 大语言模型，负责语言理解、生成、推理和工具调用决策 | 不把 LLM 等同于完整 AI 应用 |
| RAG | RAG | Retrieval-Augmented Generation，检索增强生成 | 强调知识链路，不仅是最终答案 |
| Agent | Agent | 能围绕目标进行规划、调用工具、管理状态并执行任务的 AI 系统 | 不与普通 Chatbot 混用 |
| Tool Call | Tool Call | 模型或 Agent 调用外部工具、API 或函数的动作 | 需评测工具选择、参数、权限和结果使用 |
| Memory | Memory | Agent 使用的短期状态或长期记忆 | 需关注隐私、隔离、过期和污染 |
| Workflow | Workflow | 固定或半固定业务流程 | 高风险场景中用于约束 Agent 行为 |
| Trace | Trace | Agent 执行过程的结构化记录 | 包含 goal、state、action、observation、Tool Call、error、cost、latency |
| EvalOps | EvalOps | 支撑评测数据、执行、评估器、报告、门禁和血缘的平台化能力 | 不等同于 LLMOps，但与其协作 |
| Evaluator | Evaluator | 对输出、过程或终态进行评价的组件或机制 | 可包括规则、脚本、Judge 和人工 |
| Judge | Judge | 使用模型对语义质量、忠实性、风格或复杂回答进行评价的评估器 | 不作为高风险场景的唯一裁决 |
| Rubric | Rubric | 评分规则或评价准则 | 用于统一人评、Judge 和报告口径 |
| Meta-Eval | Meta-Eval | 对评估器本身可靠性的评测 | 关注 Judge 与人工一致性、偏差和漂移 |
3. 数据集术语
| 术语 | 推荐写法 | 定义 |
|---|---|---|
| Eval Set | Eval Set | 用于评测的样本集合统称 |
| Golden Set | Golden Set | 长期稳定衡量核心能力的数据集 |
| Regression Set | Regression Set | 防止已修复问题复发的数据集 |
| Hard Case Set | Hard Case Set | 覆盖复杂、长尾、边界任务的数据集 |
| Red Team Set | Red Team Set | 用于安全攻击、越权、诱导和滥用风险的样本集 |
| Hidden Set | Hidden Set | 严格控制访问、用于独立验收和防过拟合的数据集 |
| Bad Case | Bad Case | 线上或离线发现的失败样本及其证据链 |
| Eval Case | Eval Case | 结构化评测样本，包含输入、上下文、期望行为、证据、Rubric、版本等字段 |
4. 指标术语
| 术语 | 定义 |
|---|---|
| 门禁指标 | 影响发布、灰度、阻断或审批的指标 |
| 诊断指标 | 用于定位问题来源的指标 |
| 观察指标 | 不直接阻断发布，但进入趋势监控的指标 |
| 业务指标 | 与业务结果相关的指标，如转人工率、投诉率、自助解决率 |
| 误放率 | 不该通过的高风险请求被系统放行的比例 |
| 误拒率 | 合法请求被系统错误拒绝的比例 |
| 忠实性 | 回答是否忠实于给定证据或上下文 |
| 引用准确率 | 引用是否真实支持答案结论 |
| 工具调用准确率 | 工具选择、参数和结果使用是否正确 |
| 轨迹通过率 | Agent 执行过程是否满足步骤、状态、工具和终态要求 |
5. RAG 术语
| 术语 | 定义 |
|---|---|
| 文档解析 | 将 PDF、网页、表格等知识源转成可检索文本的过程 |
| Chunk | 知识库切分后的检索单元 |
| Embedding | 将文本转为向量表示的过程或模型 |
| Index | 检索索引，包括向量索引、关键词索引或混合索引 |
| Query 改写 | 将用户问题转化为更适合检索的查询 |
| Recall@K | 正确证据进入前 K 个召回结果的比例 |
| MRR | 正确证据排名的倒数均值，用于衡量排序位置 |
| Rerank | 对召回结果进行重排的模型或策略 |
| Context | 放入模型上下文的检索结果、用户信息和系统提示 |
| Citation | 回答中引用的证据来源 |
6. 风险等级定义（P0-P3）
全书统一使用以下风险等级定义，在指标树、门禁规则、Bad Case 归因、发布决策中保持一致：
| 等级 | 定义 | 典型场景 | 处理策略 |
|---|---|---|---|
| P0（阻断级） | 一旦发生会造成用户权益损害、财务损失、合规风险、隐私泄露或严重信任危机 | 越权查询他人订单、错误承诺退款金额、泄露隐私数据、输出违法内容、高金额交易错误 | 一票否决，必须硬门禁阻断，不可豁免，必须修复后重新全量评测 |
| P1（高优先级） | 影响核心任务完成或业务规则正确执行，但不直接造成安全事故 | 退款政策答错、工具参数错误导致查询失败、高风险场景未转人工、关键知识未召回 | 门禁阻断，需补测验证后方可灰度，原则上不豁免 |
| P2（中优先级） | 影响用户体验但不影响核心任务正确性或安全性 | 回答冗长啰嗦、表达不自然、多轮中偶尔遗忘非关键信息、追问率偏高 | 不阻断发布，但必须进入问题池跟踪修复，趋势监控 |
| P3（低优先级） | 体验瑕疵或优化建议，不影响功能和体验核心 | 格式不统一、表情使用不当、非关键信息重复 | 记录即可，随迭代优化，不进入门禁 |
风险等级的判定基于业务影响而非技术难度。一个 Prompt 写错导致越权（P0）和一个 RAG 索引过期导致旧知识未召回（P2），可能技术修复难度类似，但业务影响完全不同。
7. 发布与运营术语
| 术语 | 定义 |
|---|---|
| Run | 一次评测执行记录，绑定模型、Prompt、数据、Evaluator、工具和环境版本 |
| 版本血缘 | 记录一次评测涉及的所有版本依赖 |
| 发布门禁 | 根据评测结果决定放行、阻断、灰度或审批的规则 |
| 灰度 | 将候选版本逐步暴露给部分流量以验证真实表现 |
| 回滚 | 将线上系统或某个配置恢复到更安全版本 |
| 豁免 | 在明确风险、Owner 和补救计划下绕过某些门禁的受控行为 |
| 线上回流 | 将线上信号和 Bad Case 转化为离线评测资产 |
8. 统一写法
| 不推荐 | 推荐 |
|---|---|
| AI 测试 | AI 评测 |
| 模型评估体系 | AI 评测体系 |
| Agent 日志 | Agent Trace |
| 自动打分模型 | Judge |
| 样本库 | 评测数据资产 |
| 失败样本 | Bad Case |
| 一键上线 | 发布门禁与灰度 |
| 用户反馈数据 | 线上质量信号 |
9. 用词边界
9.1 "评测"与"测试"
"测试"用于确定性软件组件，例如接口、数据库、权限、Schema、工具幂等性和状态机。
"评测"用于 AI 系统质量判断，例如答案正确性、忠实性、指令遵循、RAG 质量、Agent 轨迹、安全风险和线上效果。
9.2 "Judge"与"Evaluator"
Evaluator 是上位概念，Judge 是其中一种。
规则、脚本、状态检查器、人工复核和 Judge 都可以是 Evaluator。
9.3 "Agent"与"Chatbot"
Chatbot 主要生成回答。Agent 还会规划、调用工具、管理状态和执行任务。涉及工具、副作用和流程控制时，应使用 Agent。