一个 AI 项目最容易出问题的时刻,往往不是开发阶段,而是「上线那天算不算做完」。演示时效果很好,上线后业务团队说「答得不太对」,交付团队说「需求里没写这一条」,双方各有道理,项目就停在半路。办法不复杂:在动手之前,把「什么叫成功」写成双方签字的具体标准。我们在 FDE 驻场交付里把这一步叫「价值定义」,它排在开发之前。
为什么 AI 项目特别需要先把标准写死
传统软件大多按规则运行,输入相同、输出相同;AI 应用面对自然语言、图片和不规整的业务数据,同一类问题有十种问法,答案也带概率性。这意味着「能用」太模糊,必须换成可观测的指标。另一个原因是责任边界:哪些判断交给模型、哪些必须有人签字、答错谁兜底,不提前写清楚,上线后没人敢放开手用,工具最后就成了摆设。所以标准要满足三个条件:可抽样检查、有明确责任人、有不合格时的处理方式。
上线前写进方案的 8 条标准
| 标准 | 怎么测 | 谁确认 |
|---|---|---|
| 样本与范围 | 用双方确认的真实样本试跑,列明覆盖与不覆盖的业务类型 | 业务骨干 |
| 准确率口径 | 约定抽样数量与判定规则,区分「正确/可用但需改/错误」三档 | 业务骨干 + 交付方 |
| 转人工规则 | 列明必转情形:金额超限、投诉、身份核验、无法识别、置信度偏低 | 部门负责人 |
| 响应与耗时 | 约定平均响应时长、批量任务完成时间,注明测量环境与时段 | 交付方 |
| 知识与权限 | 知识来源清单、更新频率、谁能改、操作是否留痕 | 企业管理员 |
| 数据安全 | 敏感字段清单、脱敏方式、存储位置、留存与销毁约定 | 企业管理员 |
| 异常与回滚 | 出错提示、人工接管路径、可一键回退到原流程 | 双方 |
| 交付物与培训 | 操作手册、岗位培训记录、验收报告,以及后续由谁维护 | 部门负责人 |
最容易被跳过的是第七、第八条。前者决定出问题时业务能不能继续跑,后者决定交付团队撤走后系统还能不能转下去。我们的项目通常还带至少一个季度运营期,就是为了把「谁负责、怎么复盘、怎么复制到第二个场景」一起交到企业手里,而不是上线即结束。
三类场景,验收口径不一样
客服问答类重点看「一次性解决率」和「转人工是否及时」。答得漂亮却把该转人工的投诉硬接下来,是失败不是成功,因此错误分级里要把「该转未转」单列为严重问题。票据录入类看字段级准确率,而不是整张单据看起来对不对;金额、日期、税号建议单独设更严口径并保留人工复核。报价与文案初稿本来就是给人改的,标准应换成「从零写要多久、拿到初稿改完要多久」,以及核价签字流程有没有被跳过。
换句话说,验收标准要贴着业务代价走:错了要赔钱、要担责的环节标准更严并保留人审;错了改一下就没事的环节可以允许更高自动化比例,把重点放在效率上。这也正是选场景时「错了好改」那条标准为什么重要——它同时决定技术路线和验收方式。
转人工与回滚,要写成动作而不是原则
「复杂问题转人工」在方案里等于没写。可执行的写法是:列出触发条件(涉及金额、投诉关键词、身份核验、连续两轮未解决)、指定接收岗位、约定响应时限、说明转接时是否携带完整上下文、人工接管后是否记录结果用于复盘。回滚也一样,要写清触发阈值、由谁决定、多久切回原流程、切换期间数据怎么记。写成动作清单,值班的人照着做就行,不需要临场判断。
上线后第一个月看什么
建议只盯四类数据:一是使用量,看是不是天天有人用;二是人工复核工作量,看 AI 省了时间还是增加了改错时间;三是转人工与答错的分布,找出最该补的知识;四是业务侧可感知的变化,比如平均响应时长或日均处理量。每月复盘一次,把答错样本补进知识库,再决定要不要复制到第二个场景。项目能不能一直用,多半取决于这一个月有没有人真的在看数据。
常见问题
问:准确率要到多少算合格?答:没有跨行业通用的数字,取决于场景代价和基线水平。建议先测人工现状作为基线,再约定可接受的提升幅度,并写清抽样方法。
问:标准写完还能改吗?答:可以,但要走变更记录、双方重新确认。业务范围扩大或接了新系统时,原来的样本和口径都要跟着更新。
问:能不能先上线再补验收?答:不建议。没有标准就没有共同语言,事后补往往变成各说各话。把这一步放在开发之前,反而最省时间。
关于我们:西安赛腾网络信息技术有限公司(AI 项目孵化基地)位于陕西西安,为企业提供 AI 落地诊断、岗位级 AI 员工定制、企业知识库建设与 FDE 驻场陪跑,官网 https://www.saitengai.com 。本文为方法整理,文中数字如未标注来源均为测算示例,不构成报价或效果承诺;具体方案、周期与验收标准以双方确认的项目文件为准。