2026年9月10日 · 12 min read
AI 客服可以信任吗?幻觉、问责与十道护栏
84% 消费者认为真人比 AI 准确。本文拆解 AI 客服的真实幻觉率、Air Canada 判例确立的问责原则,以及十道护栏怎样把 AI 变成可信任的客服。

先看一个应该影响你整个判断的数字:84% 消费者认为真人客服比 AI 准确,只有 8% 在客服场景偏好 AI(资料来源:SurveyMonkey,2025)。那么 AI 客服到底可不可以信任?直接的答案是:可以,但前提是它配备了足够的护栏,防止它做出最摧毁信任的一件事 — 用十足的自信讲出错误答案。本文拆解 AI 客服真实的准确度数据、最危险的失效模式,以及一份把「可靠的 AI」和「计时炸弹」分开的护栏清单。
AI 客服到底多常答错?
直接答案:完全取决于系统怎样搭建,范围大得惊人 — 从不足 1% 到超过 10% 都有。
在 Vectara 的 grounded summarization 基准测试中,表现最好的模型幻觉率(hallucination rate)低至 0.7%(Gemini-2.0-Flash)至约 1.5%(GPT-4o)(资料来源:Vectara HHEM Leaderboard,2025–2026)。这听起来令人安心,但一看更接近真实世界的内容就不同了:在 Vectara 2025 年底较困难的数据集上,连 GPT-5、Claude Sonnet 4.5、Grok-4 等旗舰推理模型,幻觉率全部超过 10%。
换言之,内容的难度比模型的名气更重要。回答来源清晰、文件齐全的简单问题,AI 准确度远高于即兴应付冷门边缘个案。「不准确」亦是机构最常提及的 AI 风险,近三分之一机构表示曾因此蒙受负面后果(资料来源:McKinsey,2024)。对你的生意真正重要的,不是模型的基准分数,而是「你的部署」在「你的题目」上答错的频率 — 而这是可以透过设计控制的。
甚么是「自信地答错」?为甚么它最危险?
直接答案:AI 用流畅、专业、权威的语气讲出一个完全错误的答案,而客户因为「听起来很对」而相信了 — 这是 AI 客服最危险的失效模式,因为 AI 不会发出任何「我在猜」的讯号。
学术研究显示情况比多数人想像的更差。2025 年一项由 Technion、牛津大学及希伯来大学进行的研究发现,大型语言模型「即使掌握正确知识,仍可能以高确定性产生幻觉」— 也就是说,它们往往在答错的时候听起来最有信心(资料来源:Simhi et al.,arXiv,2025)。模型不会在不确定时放轻语气,而是用陈述事实的平静语调讲出虚构内容。
对商家而言,这不是抽象风险。一个会说「我不肯定」的 AI 客服只是令人有点不耐烦;一个凭空发明退款政策、报出不存在的价格、编造退货期限 — 而且用自信、得体的语言讲出来的 AI 客服,才是把你推向麻烦的那个。整套护栏工程,正是为了对付这个行为而存在。
AI 答错了,法律责任在谁?
直接答案:在你。商户要为自己的 AI 所讲的一切负责,没有例外。
具指标性的案例是 Moffatt v. Air Canada(加拿大卑诗省民事审裁处,2024)。加拿大航空网站上的 chatbot 就丧亲票价向客户提供了错误指引,航空公司抗辩称该工具是「独立法律实体」,应为自己的答案负责。审裁处直接驳回这个讲法,裁定公司须就疏忽失实陈述负责,赔偿 C$812.02。
金额很小,原则很大:你不能部署一个 AI,然后在它出错时指着软件说「与我无关」。香港虽然未有同类判决,但「商户须为自己向消费者发出的资讯负责」这个消费者保障原则放诸各地皆通。务实的做法,是把 AI 当成一个你要为其发言负全责的员工去管理 — 你不会让新入职员工第一天就自行发明公司政策,也不应让 AI 这样做。
怎样防止 AI 客服无中生有?
直接答案:把每个答案锚定在你自己核实过的内容上(RAG grounding),并明确指示 AI 在资料不足时宁可说「我不知道」并转介,而不是凭训练记忆乱答。
核心技术是检索增强生成(RAG):不是问模型「答案是甚么」,而是先强制它从你的文件中检索相关段落,再只根据该段落作答。模型从「即兴演出者」变成「你知识库的细心读者」。
但 grounding 只在来源干净时才有效。过时和互相矛盾的文章,是「有根据但仍答错」的头号成因 — AI 忠实地引用了你八个月前已改掉的政策。供应商分析显示,清理知识库中过时及矛盾内容,可将此类错误减少约 20–30%(资料来源:IrisAgent/Zendesk)。垃圾进,自信的垃圾出。
合起来,防止「自信地答错」需要七项控制:
- RAG grounding。 强制答案来自你的来源文件,不是模型记忆。
- 持续清理知识库。 一页过时价格,会污染所有触及它的答案。
- 设定「我不知道」行为。 资料不足时弃答并转介,不猜。
- 设信心阈值。 有信心才放行,不确定就标记或转真人(下详)。
- 设计清晰转介路径。 明确要求、连续失败、情绪不满、高风险题目即转人。
- 引用来源。 让客户看到答案出自哪份文件。
- 把准确度当一级指标。 与 CSAT、解决率并列追踪,不是事后补漏。
甚么时候应该转真人?
直接答案:越过四条线的任何一条就立即转 — 客户明确要求真人、AI 连续两三次答不到同一问题、客户明显不满,或题目属高风险(退款、账单争议、合规相关)。这些是硬规则,不是建议。
信心阈值把这件事变成可配置的设定。常见的生产环境做法分三段:信心高于约 85%,AI 自行处理;70–85% 之间,照答但标记人手复核;低于约 70%(有团队设在 60%)即转真人。还有一条关键补充:不论信心多高,都不应授权 AI 在无人监督下执行不可逆操作 — 例如退款、取消订单。
转介本身是很多商家静静流失客户的位置。最大的转介失败是「冷转接」:客户被交给真人后,要从头再讲一次整件事。应采用暖转接(warm handoff),把完整对话纪录与脉络一并交接,让真人从 AI 停下的位置接手。客户输入「我要找真人」时,立即照办,不要让他和机器角力;也不要等到第五次失败才转 — 到第二三次落空,客户的耐性已经用完。
客户会信任 AI 客服吗?信任怎样赢回来?
直接答案:客户预设是怀疑的,但信任可以赢 — 而且杠杆出奇地具体:透明、引用来源、诚实说不知道。
起点是现实:84% 消费者认为真人比 AI 准确、只有 8% 偏好 AI、61% 认为真人更明白他们的需要(资料来源:SurveyMonkey,2025)。你不是从信任出发,而是从赤字出发。好消息是,客户不需要 AI 像人,只需要它「有用而诚实」。透明已是预期而非选项:95% 消费者期望 AI 作出影响他们的决定时有清楚解释(资料来源:Zendesk CX Trends,2026)。告诉客户「你正与 AI 助理对话」是加分项,隐瞒才是反效果。
引用来源是回报最高的动作之一:一项研究发现,向客户展示答案出自哪份文件,令 CSAT 提升 8–12% — 即使底层准确度完全没有改变。人会信任可以核实的答案,就像你会更信任一个说「手册第四节有写」的同事,多于一个只说「信我」的同事。
这也是 Omago 这类工具背后的理念 — Omago 是一个会做事的 AI agent 平台,协助商家在 WhatsApp、Telegram 与网站对话中自动处理客户查询:答案锚定在你的知识库、不知道就诚实说、需要时干净地转真人,而不是死撑到底。
完整的护栏清单是甚么样子?
直接答案:十项分层控制 — 单独一项都不够,合起来才足以把 AI 客服放在真实客户面前。逐项确认已实际配置,才让它上线。
| 护栏 | 作用 |
|---|---|
| RAG grounding | 强制答案来自你核实过的内容,不是模型记忆 |
| 知识库清理 | 移除过时及矛盾文章(可减少约 20–30% 有根据但答错) |
| 「我不知道」行为 | 资料不足时弃答,不猜 |
| 信心阈值 | 高于 85% 放行;70–85% 标记复核;低于 70%(或约 60%)转真人 |
| 转介触发 | 明确要求、第 2–3 次失败、侦测到不满、高风险意图 |
| 暖转接连脉络 | 完整纪录交接,客户毋须重讲 |
| 引用来源 | 建立信任;一项研究中令 CSAT 升 8–12% |
| 幻觉/准确度指标 | 与 CSAT、解决率并列的一级 KPI |
| 透明 | 告知客户对方是 AI(95% 期望有解释) |
| 人的问责 | 商户拥有 AI 的一切发言 — 按此设计(Air Canada 判例) |
留意清单上没有的一项:换一个更聪明的模型。这是最多老板最先想到、也最无效的一步 — 基准数据已显示,连顶级推理模型在困难内容上的幻觉率都超过 10%。可靠度来自周边设计:grounding、清理、阈值、转介,而不是模型本身。知识库怎样打好地基,可参考 怎样建立 AI 知识库;量度是否真的解决了问题,可参考 拦截率与解决率的分别。
护栏做不到甚么?
直接答案:护栏能大幅降低风险,但不能降到零 — 底层技术是概率性的,目标是令错误罕见、可捕捉、低代价,而不是消灭错误。
正因如此,人的问责与持续量度是清单上的永久项目:你追踪幻觉率,正是因为你假设系统会漂移 — 知识库会过时、客户会问新问题、边缘个案会浮现。可信的部署不是永不出错,而是快速捕捉错误,并在高风险事项演变成下一宗 Air Canada 案之前交给真人。同时要诚实面对边界:阈值和「我不知道」擅长防止捏造,但不能取代人在情绪性、高价值、含糊个案上的判断 — 成熟的做法是 AI 处理常规、定义清晰的大量查询,人保留给真正有份量的事。这条界线怎样划,可参考 何时自动化、何时请人。
结论其实冷静而务实:AI 客服在「被建造得可信」时就可信。Grounding 止住无中生有,清理保持来源干净,阈值与转介接住漏网之鱼,引用与透明把消费者的怀疑逐步赚回来。把这些做好,你就把一个不可预测的风险,变成了客服团队里可靠、可问责的一员。
常见问题
AI 客服实际的幻觉率有多高?
差异极大。最好的模型在 grounded 基准上只有 0.7–1.5%(Vectara HHEM Leaderboard,2025–2026),但在较困难的真实内容上,连旗舰推理模型都超过 10%。你的实际比率取决于 grounding 与知识库质素,多于选哪个模型。
AI 客服真的会令商户负上法律责任吗?
会。Moffatt v. Air Canada(2024)中,审裁处驳回「chatbot 是独立法律实体」的抗辩,裁定公司须为其错误指引负责。你的商户拥有 AI 对客户所讲的一切,所以护栏与转介必须设计好。
应该告诉客户对方是 AI 吗?
应该,永远应该。95% 消费者期望 AI 作出影响他们的决定时有清楚解释(Zendesk CX Trends,2026)。披露建立信任,隐瞒在被发现时反而反噬。
最重要的一项护栏是甚么?
RAG grounding 加知识库清理。前者强制 AI 只用你核实过的内容作答,后者保持内容干净 — 移除过时矛盾文章可减少约 20–30% 有根据但答错(IrisAgent/Zendesk)。缺了这两项,其他护栏都补不回来。
买更贵的模型能解决准确度问题吗?
通常不能。连顶级推理模型在困难内容上的幻觉率都超过 10%,瓶颈不在模型,而在周边设计 — grounding、清理、信心阈值与干净转介。
资料来源:SurveyMonkey(84% 认为真人较准确、8% 偏好 AI、61% 认为真人更懂需要,2025);Vectara HHEM Leaderboard(最佳模型 0.7–1.5%、困难内容逾 10% 幻觉率,2025–2026);Simhi et al.(Technion/牛津/希伯来大学,arXiv,2025);Moffatt v. Air Canada(BC Civil Resolution Tribunal,2024,赔偿 C$812.02);McKinsey(近三分之一机构因不准确蒙受负面后果,2024);Zendesk CX Trends(95% 期望清楚解释,2026);IrisAgent/Zendesk(知识库清理减少约 20–30% 错误)。本文不构成法律或专业意见。