从 POC 到生产：企业 Agent 试点验收的 12 项指标清单
企业 Agent 从 POC 进生产，验收对象应是指标与证据，不是演示话术。下列 12 项覆盖范围、质量、可靠性、安全与运维；每项需指定负责人、通过线、抽样方法、留存证据。数字阈值为常见起步值，可按行业收紧（金融见 /blog/financial-services-agent-compliance）。GeonAI 按可验收里程碑交付；/agents 仅供能力参考（363+ 预设非公众全量试用）。评估请邮件 [email protected]。交付节奏见 /blog/enterprise-ai-agent-delivery-4-steps；避坑见 /blog/ai-agent-project-red-flags。
怎么用这张清单
- 试点开始前：把 12 项写进验收表（含通过线）；未写的项默认「未通过」
- 试点中：每周更新实测值；红线项连续两周不达标 → 停止扩意图
- 放量前：12 项全部有证据；允许最多 1 项「有条件通过」且附整改截止日期
- 证据形态：抽样表、日志导出、压测报告、权限测试用例、运行手册版本号
12 项验收指标（含通过标准）
| # | 指标 | 建议通过标准（起步） | 证据 |
|---|---|---|---|
| 1 | 意图范围冻结 | 生产意图清单签字；范围外统一拒答/转人工话术 | 签字版意图表 + 变更单流程 |
| 2 | 成功定义可测 | 每意图有「完结 / 转人工 / 拒答」判定规则 | 意图→判定规则对照表 |
| 3 | 基线已采集 | 上线前 ≥2 周：量、AHT/找资料时长、转人工率等 | 基线报表截图与口径说明 |
| 4 | 引用/溯源率 | 政策/产品类回答缺引用 ≤5%（抽样 ≥200） | 质检表：无 doc_id 计数 |
| 5 | 错误承诺率 | 保本/到货/费率等错误承诺抽样 ≈0；发现即停意图 | 周质检 + 事故单 |
| 6 | 转人工正确性 | 漏转（该转未转）≤2%；误转可高于此但需解释 | 规则命中日志 vs 人工复核 |
| 7 | 延迟与稳定性 | P95 端到端延迟达 SLA；错误率 ≤约定阈值 | APM/网关报表 |
| 8 | 工具失败降级 | API 超时/空结果禁止编造；固定降级话术 100% 覆盖 | 故障注入测试记录 |
| 9 | 权限/ACL | 跨产线/跨密级/跨店铺串答用例全部失败（应拒） | ACL 测试用例集与结果 |
| 10 | 审计字段齐全 | 会话可复盘：意图、文档版本、状态机、审核人 | 抽 20 条会话完整回放 |
| 11 | 知识版本同步 | 生效时刻切换；旧版对客命中率 ≈0 | 变更窗口实测 + 命中日志 |
| 12 | 运维与回滚 | 值班、限流、回滚步骤、沟通模板齐备并演练一次 | Runbook 版本 + 演练纪要 |
分项说明：容易被「糊弄」的几条
4–5：引用率与错误承诺（质量红线）
没有引用的「流畅回答」在 POC 里最好看，在生产里最贵。政策、费率、SOP、保修类必须带 doc_id + 版本；错误承诺一旦出现，先下线该意图再改 Prompt。知识库护栏见 /blog/enterprise-rag-knowledge-base-agent。
6：转人工不是失败，漏转才是
POC 常以「少转人工」为荣。生产应以该转必转为准：投诉、写操作、安全、适合性、大额索赔等。误转可优化；漏转进事故。客服模块见 /blog/custom-customer-service-agent。
8–9：降级与权限（可靠性/安全红线）
工具链故障时编造轨迹、库存、账户状态 = 直接否决上线。权限用例要刻意设计「不该看见的文档」；全部应拒或应空，而不是「大多时候对」。
12：没有 Runbook 就不算生产
至少写清：谁值班、如何限流/关意图、如何回滚模型或知识版本、对外话术谁审批。演练一次（含假故障）再签字放量。
放量门禁（建议）
- 灰度 ≤10% 流量或单通道：红线项（5、8、9、11）必须硬通过
- 扩到 50%：4、6、7 连续两周达标；ROI 表用真实 d 重算（见 /blog/ai-agent-roi-calculator）
- 全量：12 项齐；变更走变更单；周质检不停
这些不算「POC 已通过」
- 领导现场问了三个问题都答上了
- 供应商 Demo 完结率 / 满意度截图
- 仅有 Prompt 文档、没有意图表与拒答清单
- 「下周再补审计日志 / 权限」——补完再谈生产
找 GeonAI 时带什么
带上：意图草案、基线数据、希望的通过线、系统与部署约束、是否需人工复核状态机。邮件 [email protected]、服务方案 或 Live chat。我们按清单对齐里程碑，而不是按「智能程度体感」验收。
常见问题
12 项是否必须全部 100% 才上线？
红线项（错误承诺、工具降级、ACL、知识旧版）建议硬通过。其余最多 1 项有条件通过并写整改截止日；不要用「差不多」代替签字。
抽样多少才有意义？
质量类起步建议每周 ≥200 条或该意图全量（取小者）；上线首月加密。金融/医疗应提高比例或全检高风险意图。
POC 只有内部员工试用，也要做这 12 项吗？
对内可放宽延迟与转人工，但引用、权限、审计、降级仍建议做；一旦对外或接生产数据，按全表。
和 ROI 表什么关系？
本清单决定「能不能上」；ROI 表决定「值不值得扩」。先过清单，再用真实自动完结率重算 ROI。
指标不达标谁有一票否决？
建议业务负责人 + 安全/合规（若有）共同否决权；供应商或项目经理单方「宣布通过」无效。
GeonAI 会按这 12 项写进合同吗？
可在 SOW 中选适用项作为验收条款，阈值按你们行业约定。预设页与 Demo 不构成验收标准。