← 返回教程

AI 项目验收完就没人用了:六个真实原因

一个 AI 项目最尴尬的结局不是做砸了,是做完了、验收了、然后没人用。

系统跑得好好的,指标也达标,三个月后打开后台一看,日活个位数。

这类失败的原因很少是技术问题。这篇讲六个真实原因。

原因一:解决的不是真问题

最根本、也最常见的一个。

甲方说要做个「智能客服」,你就做了个智能客服。但没人问过:他们现在的客服到底卡在哪?

有的组织真正的问题是人手不够,那 AI 能帮上;有的是流程太长,那 AI 只是在一个烂流程上加了层皮;有的其实是知识从来没被整理过,AI 上线后照样答不上来——因为答案压根不存在。

怎么预防:需求阶段问三个问题——现在这件事是怎么做的?一天发生多少次?做不好的后果是什么?答不上来的,说明需求还没想清楚。

原因二:答案不在文档里

这是上一条的具体化,值得单独说,因为它太普遍了。

很多组织的知识分布是:一部分在文档里,一大部分在老员工脑子里。

系统上线后,用户问了几个问题都答不上来——不是检索不准,是文档里压根没有。用户试两次,得出「这东西没用」的结论,然后再也不来了。

怎么预防:报价之前,让甲方列出二三十个最常问的问题,逐个去文档里找答案。找不到的比例,就是这个项目的真实缺口。 缺口大的话,第一阶段其实是知识梳理,不是系统建设——这件事要在方案里讲明白。

原因三:第一印象毁了

用户对新系统的耐心,通常只有两三次。

上线初期答错几个问题,用户就得出「不准」的结论,然后不再使用。而这个印象一旦形成,后面你再优化也没人知道——因为没人回来试了。

怎么预防

  • 先小范围放,别一上来就全员推。 选一批愿意配合的用户,用真实使用暴露问题。
  • 范围划窄一点。 只答有把握的那类问题,答不上来的明确说不知道并转人工。一个「范围窄但准」的系统,比「什么都答但经常错」的可信得多。
  • 上线前用真实问题测一轮,别用理想化的样例。

原因四:入口太深

功能再好,用户找不到就等于没有。

我们见过做得不错的系统,入口藏在某个二级菜单里,用户要点三次才能到。而他们原来的做法是直接在群里问一句同事——你的系统必须比这个更方便,否则不会有人用。

怎么预防:把入口放在用户已经在的地方。他们习惯用企微就接企微,习惯用某个业务系统就嵌进去。不要指望用户为了用你的系统而改变习惯。

原因五:没有反馈闭环

系统答错了,用户没地方说,也不知道说了有没有用。

于是错误一直在,用户慢慢流失。而你这边看不到任何信号——后台数据只显示「使用量下降」,不告诉你为什么。

怎么预防

  • 做一个简单的反馈入口,答得不对能一键标记
  • 有人定期看这些标记,并且真的去改
  • 改了之后让反馈的人知道——这一步最容易省,但它决定了用户还愿不愿意反馈

原因六:没人维护

这是最隐蔽的一个,因为它的后果要几个月后才显现。

制度更新了,知识库里还是旧版;新的业务上线了,系统不知道;模型接口的额度用完了,没人续。

系统在缓慢地失效,而没有人负责。交付时大家都很兴奋,三个月后所有人都忙别的去了。

怎么预防

  • 交付时明确谁负责维护知识库,写进文档,最好写进合同
  • 给甲方管理员留一份带截图的操作说明——培训会忘,文档能查。而且真正需要操作时,往往已经过去几个月,来听培训的人可能都换岗了
  • 约定一个定期回顾的节奏,哪怕一个季度看一次

还有一个原因:期望被抬得太高

这一条不在前六个里,因为它发生在项目开始之前——销售阶段。

为了拿下项目,方案里把能力描述得很满:「智能问答,让员工再也不用翻文档」「7×24 小时替代人工客服」。甲方领导听了很兴奋,于是项目立项。

然后系统上线,实际能力和描述之间的落差就变成了失望。

而落差往往不是因为系统做得差,是因为一开始就承诺了做不到的事。检索式问答天然不擅长跨文档对比推理、不擅长精确计算、答不了文档里没有的东西——这些边界如果在方案阶段没讲,验收时就会变成「你们做的东西不行」。

怎么预防

  • 方案里同时写「能做什么」和「不能做什么」。 后者才是专业度的体现,也是保护自己。
  • 别用「替代人工」这类表述,用「减少重复问题」更准确,也更容易兑现。
  • 演示时用真实数据,别用精心挑选的样例。 演示效果和实际效果差太远,是信任崩塌的开始。

一个反直觉的经验:把预期管理好的项目,即使功能一般,用户满意度也可能不错;把预期抬得过高的项目,即使做得很好,也会被认为不达标。

一个能大幅提高存活率的做法

上线后第一个月,主动去看真实对话记录。

你会发现两件事:

一、用户实际问的和甲方当初说的不一样。 这几乎是必然的——甲方给的是他们以为的高频问题,真实数据才是准的。

二、有一批问题的答案根本不在文档里。 这时候拿着数据去找甲方补资料,比空口说容易得多。

这一个月的投入,通常决定了这个项目最后是「用起来了」还是「验收完就没人用」。

验收标准要可测

顺带说一个能避免很多扯皮的做法。

「回答得准不准」没法验收,双方各说各话。可行的做法是提前定一批测试问题——三十到五十个真实业务问题,双方一起确认标准答案,验收时按这批题跑。

好处有三个:验收有客观依据;开发过程中能当回归测试;甲方在整理测试题的过程中,自己会想清楚需求。

同时要提前说明能力边界:跨文档对比推理、精确计算这类问题,检索式问答天然不擅长。写在方案里,别等验收时才解释。

具体方法见知识库项目七成工作量在文档FastGPT 部署与交付

如果需求超出了现成平台的能力,判断标准见低代码 Agent 平台的能力边界。项目上拿不准的可以找我们聊聊

这个页面有问题?

提交时会附带当前页面地址和浏览器信息,帮助我们定位问题。不填联系方式即为匿名。