Agent 项目避坑指南：Demo 很好看，上线就翻车的 5 个信号

Agent 项目避坑指南聚焦评 Demo / 选供应商时最常见的 5 个红旗：演示用假数据、没有真实系统集成、缺少人工转接红线、知识库无人维护、只有演示指标没有生产 KPI。与立项前选型清单不同（见 /blog/ai-agent-selection-checklist），本文帮你识别「Demo 很好看，上线就翻车」。GeonAI 提供企业定制 Agent 评估与交付；/agents 363+ 案例仅供能力参考，非公众全量试用。评估请邮件 [email protected]，主题「企业定制 Agent 咨询」。

为什么「好看的 Demo」特别危险？

演示环境可以挑问题、预热缓存、甚至人工改答案；生产面对的是脏数据、峰值流量、权限分级与投诉 SLA。把 Demo 流畅度当成交付能力，是企业 AI 项目失败的常见路径。正确姿势：用 Demo 验证交互与口径，用 Staging 验证集成与边界（交付节奏见 /blog/enterprise-ai-agent-delivery-4-steps）。

红旗 1：假数据 / 「背后有人」的演示

信号：只演示精选 FAQ；订单号是固定样例；答不上的问题被跳过；偶发「等一下再回复」却从未暴露超时。追问：能否用你们提供的 10 条真实难例（含无答案、过期政策）在只读 Staging 上当场跑？若对方拒绝或坚持「回去再准备」，按高风险处理。

• 要求：难例清单 + 当场只读查库/查单
• 禁止：仅脚本化话术、禁止跳过失败样例
• 记录：哪些问题编造了时效/赔付（错误承诺）

红旗 2：只会聊天，没有系统边界

信号：Demo 全程不碰 OMS/CRM/工单；「集成以后再说」；架构图只有大模型框。生产客服/销售 Agent 几乎都要只读查单或建单。追问：Staging 联调清单、幂等查单、超时降级话术是否写进验收（对照 /blog/custom-customer-service-agent）。无集成边界的「智能对话」往往上线后仍靠人工查系统。

红旗 3：没有人工转接与红线场景

信号：Demo 承诺「全自动不用人」；退款/纠纷/人身安全类问题仍由模型自由发挥。企业交付必须有强制转人工清单与会话/工单接续。追问：红线词表、转接 SLA、人工是否看到上文 summary。没有红线的 Agent，峰值或舆情事件时最容易翻车。

红旗 4：知识库「演示有、上线无人管」

信号：Demo 知识包由供应商临时上传；不问谁更新政策/价格；没有生效时间与权限分级。上线后答错运费险、活动价是高频事故。追问：Owner、更新流程、引用溯源、过期下线机制（见 /blog/enterprise-rag-knowledge-base-agent）；发布与回滚最小制度见 /blog/custom-agent-knowledge-release-rollback。无人运维的 RAG = 定时炸弹。

红旗 5：只有 Demo 指标，没有生产 KPI

信号：只报「满意度很高」「回答很快」；不谈错误承诺率、转人工率、引用缺失率、峰值失败率。追问：试点 2–4 周的基线与目标是否写进合同/里程碑。没有可审计指标，就无法判断是模型问题还是流程问题，也难做停损（go/no-go）决策。

当场验收：5 个问题清单

1. 能否用我们难例 + Staging 只读数据现场演示？
2. 订单/工单超时或查无时，固定降级话术是什么？
3. 哪些场景强制转人工？人工能否看到完整上文？
4. 政策/SKU 谁更新？过期内容如何自动失效？
5. 试点 KPI 与失败退出条件写在哪一页？

和选型 checklist 怎么一起用？

先用 /blog/ai-agent-selection-checklist 对齐场景与材料；评标时用本文 5 个红旗筛供应商。交付节奏见 /blog/enterprise-ai-agent-delivery-4-steps；报价因素见 /blog/custom-ai-agent-pricing-factors。

GeonAI 的评估方式

我们默认：难例优先、Staging 集成、红线清单、知识 Owner、试点 KPI 五件套谈清楚再排期。邮件 [email protected]，或 服务方案 / Live chat；可先浏览 /agents 对齐能力边界。363+ 预设不能直接当生产客服上线。