所有文章

2026年9月10日 · 12 min read

AI 客服可以信任吗?幻觉、问责与十道护栏

84% 消费者认为真人比 AI 准确。本文拆解 AI 客服的真实幻觉率、Air Canada 判例确立的问责原则,以及十道护栏怎样把 AI 变成可信任的客服。

AI 客服信任护栏清单示意图,涵盖 RAG grounding、信心阈值与转真人机制

先看一个应该影响你整个判断的数字:84% 消费者认为真人客服比 AI 准确,只有 8% 在客服场景偏好 AI(资料来源:SurveyMonkey,2025)。那么 AI 客服到底可不可以信任?直接的答案是:可以,但前提是它配备了足够的护栏,防止它做出最摧毁信任的一件事 — 用十足的自信讲出错误答案。本文拆解 AI 客服真实的准确度数据、最危险的失效模式,以及一份把「可靠的 AI」和「计时炸弹」分开的护栏清单。


AI 客服到底多常答错?

直接答案:完全取决于系统怎样搭建,范围大得惊人 — 从不足 1% 到超过 10% 都有。

在 Vectara 的 grounded summarization 基准测试中,表现最好的模型幻觉率(hallucination rate)低至 0.7%(Gemini-2.0-Flash)至约 1.5%(GPT-4o)(资料来源:Vectara HHEM Leaderboard,2025–2026)。这听起来令人安心,但一看更接近真实世界的内容就不同了:在 Vectara 2025 年底较困难的数据集上,连 GPT-5、Claude Sonnet 4.5、Grok-4 等旗舰推理模型,幻觉率全部超过 10%。

换言之,内容的难度比模型的名气更重要。回答来源清晰、文件齐全的简单问题,AI 准确度远高于即兴应付冷门边缘个案。「不准确」亦是机构最常提及的 AI 风险,近三分之一机构表示曾因此蒙受负面后果(资料来源:McKinsey,2024)。对你的生意真正重要的,不是模型的基准分数,而是「你的部署」在「你的题目」上答错的频率 — 而这是可以透过设计控制的。

甚么是「自信地答错」?为甚么它最危险?

直接答案:AI 用流畅、专业、权威的语气讲出一个完全错误的答案,而客户因为「听起来很对」而相信了 — 这是 AI 客服最危险的失效模式,因为 AI 不会发出任何「我在猜」的讯号。

学术研究显示情况比多数人想像的更差。2025 年一项由 Technion、牛津大学及希伯来大学进行的研究发现,大型语言模型「即使掌握正确知识,仍可能以高确定性产生幻觉」— 也就是说,它们往往在答错的时候听起来最有信心(资料来源:Simhi et al.,arXiv,2025)。模型不会在不确定时放轻语气,而是用陈述事实的平静语调讲出虚构内容。

对商家而言,这不是抽象风险。一个会说「我不肯定」的 AI 客服只是令人有点不耐烦;一个凭空发明退款政策、报出不存在的价格、编造退货期限 — 而且用自信、得体的语言讲出来的 AI 客服,才是把你推向麻烦的那个。整套护栏工程,正是为了对付这个行为而存在。

AI 答错了,法律责任在谁?

直接答案:在你。商户要为自己的 AI 所讲的一切负责,没有例外。

具指标性的案例是 Moffatt v. Air Canada(加拿大卑诗省民事审裁处,2024)。加拿大航空网站上的 chatbot 就丧亲票价向客户提供了错误指引,航空公司抗辩称该工具是「独立法律实体」,应为自己的答案负责。审裁处直接驳回这个讲法,裁定公司须就疏忽失实陈述负责,赔偿 C$812.02。

金额很小,原则很大:你不能部署一个 AI,然后在它出错时指着软件说「与我无关」。香港虽然未有同类判决,但「商户须为自己向消费者发出的资讯负责」这个消费者保障原则放诸各地皆通。务实的做法,是把 AI 当成一个你要为其发言负全责的员工去管理 — 你不会让新入职员工第一天就自行发明公司政策,也不应让 AI 这样做。

怎样防止 AI 客服无中生有?

直接答案:把每个答案锚定在你自己核实过的内容上(RAG grounding),并明确指示 AI 在资料不足时宁可说「我不知道」并转介,而不是凭训练记忆乱答。

核心技术是检索增强生成(RAG):不是问模型「答案是甚么」,而是先强制它从你的文件中检索相关段落,再只根据该段落作答。模型从「即兴演出者」变成「你知识库的细心读者」。

但 grounding 只在来源干净时才有效。过时和互相矛盾的文章,是「有根据但仍答错」的头号成因 — AI 忠实地引用了你八个月前已改掉的政策。供应商分析显示,清理知识库中过时及矛盾内容,可将此类错误减少约 20–30%(资料来源:IrisAgent/Zendesk)。垃圾进,自信的垃圾出。

合起来,防止「自信地答错」需要七项控制:

  1. RAG grounding。 强制答案来自你的来源文件,不是模型记忆。
  2. 持续清理知识库。 一页过时价格,会污染所有触及它的答案。
  3. 设定「我不知道」行为。 资料不足时弃答并转介,不猜。
  4. 设信心阈值。 有信心才放行,不确定就标记或转真人(下详)。
  5. 设计清晰转介路径。 明确要求、连续失败、情绪不满、高风险题目即转人。
  6. 引用来源。 让客户看到答案出自哪份文件。
  7. 把准确度当一级指标。 与 CSAT、解决率并列追踪,不是事后补漏。

甚么时候应该转真人?

直接答案:越过四条线的任何一条就立即转 — 客户明确要求真人、AI 连续两三次答不到同一问题、客户明显不满,或题目属高风险(退款、账单争议、合规相关)。这些是硬规则,不是建议。

信心阈值把这件事变成可配置的设定。常见的生产环境做法分三段:信心高于约 85%,AI 自行处理;70–85% 之间,照答但标记人手复核;低于约 70%(有团队设在 60%)即转真人。还有一条关键补充:不论信心多高,都不应授权 AI 在无人监督下执行不可逆操作 — 例如退款、取消订单。

转介本身是很多商家静静流失客户的位置。最大的转介失败是「冷转接」:客户被交给真人后,要从头再讲一次整件事。应采用暖转接(warm handoff),把完整对话纪录与脉络一并交接,让真人从 AI 停下的位置接手。客户输入「我要找真人」时,立即照办,不要让他和机器角力;也不要等到第五次失败才转 — 到第二三次落空,客户的耐性已经用完。

客户会信任 AI 客服吗?信任怎样赢回来?

直接答案:客户预设是怀疑的,但信任可以赢 — 而且杠杆出奇地具体:透明、引用来源、诚实说不知道。

起点是现实:84% 消费者认为真人比 AI 准确、只有 8% 偏好 AI、61% 认为真人更明白他们的需要(资料来源:SurveyMonkey,2025)。你不是从信任出发,而是从赤字出发。好消息是,客户不需要 AI 像人,只需要它「有用而诚实」。透明已是预期而非选项:95% 消费者期望 AI 作出影响他们的决定时有清楚解释(资料来源:Zendesk CX Trends,2026)。告诉客户「你正与 AI 助理对话」是加分项,隐瞒才是反效果。

引用来源是回报最高的动作之一:一项研究发现,向客户展示答案出自哪份文件,令 CSAT 提升 8–12% — 即使底层准确度完全没有改变。人会信任可以核实的答案,就像你会更信任一个说「手册第四节有写」的同事,多于一个只说「信我」的同事。

这也是 Omago 这类工具背后的理念 — Omago 是一个会做事的 AI agent 平台,协助商家在 WhatsApp、Telegram 与网站对话中自动处理客户查询:答案锚定在你的知识库、不知道就诚实说、需要时干净地转真人,而不是死撑到底。

完整的护栏清单是甚么样子?

直接答案:十项分层控制 — 单独一项都不够,合起来才足以把 AI 客服放在真实客户面前。逐项确认已实际配置,才让它上线。

护栏 作用
RAG grounding 强制答案来自你核实过的内容,不是模型记忆
知识库清理 移除过时及矛盾文章(可减少约 20–30% 有根据但答错)
「我不知道」行为 资料不足时弃答,不猜
信心阈值 高于 85% 放行;70–85% 标记复核;低于 70%(或约 60%)转真人
转介触发 明确要求、第 2–3 次失败、侦测到不满、高风险意图
暖转接连脉络 完整纪录交接,客户毋须重讲
引用来源 建立信任;一项研究中令 CSAT 升 8–12%
幻觉/准确度指标 与 CSAT、解决率并列的一级 KPI
透明 告知客户对方是 AI(95% 期望有解释)
人的问责 商户拥有 AI 的一切发言 — 按此设计(Air Canada 判例)

留意清单上没有的一项:换一个更聪明的模型。这是最多老板最先想到、也最无效的一步 — 基准数据已显示,连顶级推理模型在困难内容上的幻觉率都超过 10%。可靠度来自周边设计:grounding、清理、阈值、转介,而不是模型本身。知识库怎样打好地基,可参考 怎样建立 AI 知识库;量度是否真的解决了问题,可参考 拦截率与解决率的分别。

护栏做不到甚么?

直接答案:护栏能大幅降低风险,但不能降到零 — 底层技术是概率性的,目标是令错误罕见、可捕捉、低代价,而不是消灭错误。

正因如此,人的问责与持续量度是清单上的永久项目:你追踪幻觉率,正是因为你假设系统会漂移 — 知识库会过时、客户会问新问题、边缘个案会浮现。可信的部署不是永不出错,而是快速捕捉错误,并在高风险事项演变成下一宗 Air Canada 案之前交给真人。同时要诚实面对边界:阈值和「我不知道」擅长防止捏造,但不能取代人在情绪性、高价值、含糊个案上的判断 — 成熟的做法是 AI 处理常规、定义清晰的大量查询,人保留给真正有份量的事。这条界线怎样划,可参考 何时自动化、何时请人。

结论其实冷静而务实:AI 客服在「被建造得可信」时就可信。Grounding 止住无中生有,清理保持来源干净,阈值与转介接住漏网之鱼,引用与透明把消费者的怀疑逐步赚回来。把这些做好,你就把一个不可预测的风险,变成了客服团队里可靠、可问责的一员。


常见问题

AI 客服实际的幻觉率有多高?

差异极大。最好的模型在 grounded 基准上只有 0.7–1.5%(Vectara HHEM Leaderboard,2025–2026),但在较困难的真实内容上,连旗舰推理模型都超过 10%。你的实际比率取决于 grounding 与知识库质素,多于选哪个模型。

AI 客服真的会令商户负上法律责任吗?

会。Moffatt v. Air Canada(2024)中,审裁处驳回「chatbot 是独立法律实体」的抗辩,裁定公司须为其错误指引负责。你的商户拥有 AI 对客户所讲的一切,所以护栏与转介必须设计好。

应该告诉客户对方是 AI 吗?

应该,永远应该。95% 消费者期望 AI 作出影响他们的决定时有清楚解释(Zendesk CX Trends,2026)。披露建立信任,隐瞒在被发现时反而反噬。

最重要的一项护栏是甚么?

RAG grounding 加知识库清理。前者强制 AI 只用你核实过的内容作答,后者保持内容干净 — 移除过时矛盾文章可减少约 20–30% 有根据但答错(IrisAgent/Zendesk)。缺了这两项,其他护栏都补不回来。

买更贵的模型能解决准确度问题吗?

通常不能。连顶级推理模型在困难内容上的幻觉率都超过 10%,瓶颈不在模型,而在周边设计 — grounding、清理、信心阈值与干净转介。


资料来源:SurveyMonkey(84% 认为真人较准确、8% 偏好 AI、61% 认为真人更懂需要,2025);Vectara HHEM Leaderboard(最佳模型 0.7–1.5%、困难内容逾 10% 幻觉率,2025–2026);Simhi et al.(Technion/牛津/希伯来大学,arXiv,2025);Moffatt v. Air Canada(BC Civil Resolution Tribunal,2024,赔偿 C$812.02);McKinsey(近三分之一机构因不准确蒙受负面后果,2024);Zendesk CX Trends(95% 期望清楚解释,2026);IrisAgent/Zendesk(知识库清理减少约 20–30% 错误)。本文不构成法律或专业意见。

准备好试用 Omago?

几分钟内设置你的 AI 助手。免费开始,无需信用卡。

免费开始