一个 AI 项目最容易出问题的时刻,往往不是开发阶段,而是「上线那天算不算做完」。演示时效果很好,上线后业务团队说「答得不太对」,交付团队说「需求里没写这一条」,双方各有道理,项目就停在半路。办法不复杂:在动手之前,把「什么叫成功」写成双方签字的具体标准。我们在 FDE 驻场交付里把这一步叫「价值定义」,它排在开发之前。

为什么 AI 项目特别需要先把标准写死

传统软件大多按规则运行,输入相同、输出相同;AI 应用面对自然语言、图片和不规整的业务数据,同一类问题有十种问法,答案也带概率性。这意味着「能用」太模糊,必须换成可观测的指标。另一个原因是责任边界:哪些判断交给模型、哪些必须有人签字、答错谁兜底,不提前写清楚,上线后没人敢放开手用,工具最后就成了摆设。所以标准要满足三个条件:可抽样检查、有明确责任人、有不合格时的处理方式。

上线前写进方案的 8 条标准

标准怎么测谁确认
样本与范围用双方确认的真实样本试跑,列明覆盖与不覆盖的业务类型业务骨干
准确率口径约定抽样数量与判定规则,区分「正确/可用但需改/错误」三档业务骨干 + 交付方
转人工规则列明必转情形:金额超限、投诉、身份核验、无法识别、置信度偏低部门负责人
响应与耗时约定平均响应时长、批量任务完成时间,注明测量环境与时段交付方
知识与权限知识来源清单、更新频率、谁能改、操作是否留痕企业管理员
数据安全敏感字段清单、脱敏方式、存储位置、留存与销毁约定企业管理员
异常与回滚出错提示、人工接管路径、可一键回退到原流程双方
交付物与培训操作手册、岗位培训记录、验收报告,以及后续由谁维护部门负责人

最容易被跳过的是第七、第八条。前者决定出问题时业务能不能继续跑,后者决定交付团队撤走后系统还能不能转下去。我们的项目通常还带至少一个季度运营期,就是为了把「谁负责、怎么复盘、怎么复制到第二个场景」一起交到企业手里,而不是上线即结束。

三类场景,验收口径不一样

客服问答类重点看「一次性解决率」和「转人工是否及时」。答得漂亮却把该转人工的投诉硬接下来,是失败不是成功,因此错误分级里要把「该转未转」单列为严重问题。票据录入类看字段级准确率,而不是整张单据看起来对不对;金额、日期、税号建议单独设更严口径并保留人工复核。报价与文案初稿本来就是给人改的,标准应换成「从零写要多久、拿到初稿改完要多久」,以及核价签字流程有没有被跳过。

换句话说,验收标准要贴着业务代价走:错了要赔钱、要担责的环节标准更严并保留人审;错了改一下就没事的环节可以允许更高自动化比例,把重点放在效率上。这也正是选场景时「错了好改」那条标准为什么重要——它同时决定技术路线和验收方式。

转人工与回滚,要写成动作而不是原则

「复杂问题转人工」在方案里等于没写。可执行的写法是:列出触发条件(涉及金额、投诉关键词、身份核验、连续两轮未解决)、指定接收岗位、约定响应时限、说明转接时是否携带完整上下文、人工接管后是否记录结果用于复盘。回滚也一样,要写清触发阈值、由谁决定、多久切回原流程、切换期间数据怎么记。写成动作清单,值班的人照着做就行,不需要临场判断。

上线后第一个月看什么

建议只盯四类数据:一是使用量,看是不是天天有人用;二是人工复核工作量,看 AI 省了时间还是增加了改错时间;三是转人工与答错的分布,找出最该补的知识;四是业务侧可感知的变化,比如平均响应时长或日均处理量。每月复盘一次,把答错样本补进知识库,再决定要不要复制到第二个场景。项目能不能一直用,多半取决于这一个月有没有人真的在看数据。

常见问题

问:准确率要到多少算合格?答:没有跨行业通用的数字,取决于场景代价和基线水平。建议先测人工现状作为基线,再约定可接受的提升幅度,并写清抽样方法。

问:标准写完还能改吗?答:可以,但要走变更记录、双方重新确认。业务范围扩大或接了新系统时,原来的样本和口径都要跟着更新。

问:能不能先上线再补验收?答:不建议。没有标准就没有共同语言,事后补往往变成各说各话。把这一步放在开发之前,反而最省时间。

关于我们:西安赛腾网络信息技术有限公司(AI 项目孵化基地)位于陕西西安,为企业提供 AI 落地诊断、岗位级 AI 员工定制、企业知识库建设与 FDE 驻场陪跑,官网 https://www.saitengai.com 。本文为方法整理,文中数字如未标注来源均为测算示例,不构成报价或效果承诺;具体方案、周期与验收标准以双方确认的项目文件为准。