FDE大模型评估的核心维度拆解

各维度的定义与区分

针对企业知识库类FDE（Forward Deployed Engineer，前沿部署工程师）大模型评估，核心需区分6个关键维度，避免混淆评估优先级：

  • 检索召回：是否从允许访问的知识库中准确匹配到对应证据片段（例如有相关证据的问题中，正确证据出现在Top-k结果中的比例；检索精确率需另行统计）；
  • 正确性：生成回答是否完全符合参考证据的事实，无事实偏差或错误；
  • 有据性：回答是否均有知识库的明确证据支撑，无编造或无依据的内容；
  • 权限：是否严格匹配当前用户的访问权限，不返回敏感或越权内容；
  • 延迟：从用户提问到返回结果的时间是否符合业务要求（门槛由业务确定，并分别记录首字延迟、完整响应延迟及P95）；
  • 成本：单请求的LLM调用token、知识库查询资源消耗是否在预算内（记录完整输入与输出token数，按实际模型单价折算）。

企业知识库练习评估模板

以下是虚构的练习评估模板，覆盖所有核心维度，可直接用于内部测试：

评估字段 说明 对应示例
问题 用户输入的查询内容 普通用户查询“管理员后台的用户数据统计”
允许访问资料 当前用户有权限查看的知识库条目 仅公开的产品介绍、用户手册
参考证据 需匹配的知识库原文片段 无（问题涉及敏感权限，无对应公开证据）
预期行为 模型应返回的合规结果 告知“您无权限访问该内容”，或返回相关公开资料
严重度 问题的影响程度（1-5，1最低） 4（越权访问属于高风险）

5个虚构练习例题：覆盖常规与异常场景

以下例题均为虚构，用于说明小样本评估的局限及人工复核的必要性，例题里的数字只用于说明记录格式，验收门槛应按业务风险和基线另行确定：

例题1：常规检索与回答（基准场景）

  • 问题：普通用户查询“产品A的1年保修政策”
  • 允许访问资料：产品A公开保修条款
  • 参考证据：“产品A提供1年免费保修，非人为损坏可申请售后”
  • 预期行为：返回上述内容，无编造
  • 维度检查：检索召回（是）、正确性（是）、有据性（是）、权限（是）、延迟（按业务门槛记录）、成本（记录实际输入、输出与折算费用）
  • 小样本局限：仅覆盖常规场景，若无相似产品的模糊问题样本，模型可能对“产品B保修时长”的问题混淆。

例题2：越权访问（异常场景）

  • 问题：普通用户查询“管理员后台的用户数据统计”
  • 允许访问资料：公开资料，不含后台数据
  • 参考证据：无
  • 预期行为：返回“您无权限访问该内容”
  • 维度检查：权限（若成功拒绝则通过；若泄露则失败）、严重度（4）
  • 小样本局限：若题集未包含越权场景，评估就无法说明这类行为是否可靠；裁判也可能误判，必须人工复核。

例题3：无答案场景（边界场景）

  • 问题：用户查询“产品A的2025年新品发布计划”
  • 允许访问资料：知识库仅收录2024年产品信息，无2025年计划
  • 参考证据：无
  • 预期行为：返回“当前知识库未收录该信息”，无编造内容
  • 维度检查：有据性（是）、正确性（是）
  • 小样本局限：若无答案类样本占比过低，模型可能编造不存在的新品计划。

例题4：正确性错误（事实偏差）

  • 问题：用户查询“产品A的保修期”
  • 允许访问资料：产品A公开条款明确为1年保修
  • 参考证据：“产品A提供1年免费保修”
  • 预期行为：返回“产品A保修期为1年”
  • 维度检查：正确性（否，若模型返回2年保修）、严重度（3）
  • 小样本局限：若仅收录正确案例，模型可能对相似产品的条款混淆，需补充能区分相似产品的评估样本；补题本身不是训练或修复模型。

例题5：延迟超标（性能问题）

  • 问题：用户查询“产品A的保修政策”
  • 允许访问资料：产品A公开条款
  • 参考证据：保修条款
  • 预期行为：返回结果，且完整响应延迟满足本练习约定的示例目标2秒
  • 维度检查：延迟（否，若请求耗时3s）、成本（记录实际输入、输出与折算费用）
  • 小样本局限：仅测单次请求无法发现批量请求的延迟问题，上线后需专项测试。

FDE RAG项目回答不准怎么办？从检索证据到生成结果逐层排障

上线前验收与人工复核操作清单

核心操作步骤（建议）

  1. 小样本题集覆盖度检查：确保包含常规、越权、无答案、事实偏差、延迟超标5类场景，每类至少5个样本；
  2. LLM裁判评分规则配置：正确性与有据性可用LLM辅助判分；权限应核对身份、允许资料集合和工具访问记录，不依赖模型裁判单独决定；
  3. 人工抽检规则：小题集优先逐条人工复核；样本扩大后再按风险分层抽检，越权、无答案和裁判不一致项重点复核（LLM裁判在边界场景也可能误判，不能把它当作已验证的事实判定器）；
  4. 异常场景专项测试：构造10个越权问题、5个无答案问题，专门验证模型的处理能力；
  5. 基线校验：延迟（按业务门槛记录）、成本（按业务预算及实际输入输出用量确定），若超过基线，需优化模型缓存或调整检索策略。

失败处理示例：越权问题的修正流程

针对例题2中模型返回后台数据的问题，处理步骤：

  1. 定位问题：模型生成环节未校验用户权限，直接调用了知识库的后台数据；
  2. 修正方案：在模型生成前加入权限校验逻辑，调用权限服务确认用户身份后，再决定是否检索对应知识库；
  3. 二次测试：用10个越权问题重新测试，确保模型返回“无权限”的合规结果；
  4. 样本补充：将该越权问题加入小样本题集，避免后续漏判。

常见问题解答（FAQ）

  1. 小样本评估的核心局限是什么？
    答：小样本无法覆盖所有异常场景（如越权、无答案的边缘情况），容易导致模型在实际使用中漏判，需结合人工复核补充。
  2. 为什么LLM裁判评分后还要人工抽检？
    答：LLM裁判对模糊场景（如权限边界、部分正确的回答）判断准确率低，人工抽检能覆盖这类LLM无法识别的错误。
  3. 上线验收时，延迟和成本的基线怎么设置？
    答：建议参考业务SLA设置延迟基线（如≤2s），成本基线按完整输入输出token、模型单价及调用次数计算，按预期并发和负载设计测试，少量请求结果不能代替持续负载验证。

返回FDE专题

评估题集必须与调参时反复使用的样本分开保留一份验证集。记录题集版本、资料版本、模型与检索配置，比较改动前后差异；五个例题仅展示模板，不能证明生产质量或统计置信度。