所有文章

2026年9月10日 · 12 min read

AI 客服可以信任嗎?幻覺、问責与十道护欄

84% 消费者认为真人比 AI 准确。本文拆解 AI 客服的真实幻覺率、Air Canada 判例确立的问責原則,以及十道护欄怎样把 AI 变成可信任的客服。

AI 客服信任护欄清单示意图,涵蓋 RAG grounding、信心閾值与转真人机制

先看一个应該影响你整个判断的数字:84% 消费者认为真人客服比 AI 准确,只有 8% 在客服場景偏好 AI(资料来源:SurveyMonkey,2025)。那麼 AI 客服到底可不可以信任?直接的答案是:可以,但前提是它配备了足够的护欄,防止它做出最摧毀信任的一件事 — 用十足的自信講出錯誤答案。本文拆解 AI 客服真实的准确度数据、最危險的失效模式,以及一份把「可靠的 AI」和「计时炸弹」分开的护欄清单。


AI 客服到底多常答錯?

直接答案:完全取决於系统怎样搭建,范围大得驚人 — 从不足 1% 到超过 10% 都有。

在 Vectara 的 grounded summarization 基准测试中,表现最好的模型幻覺率(hallucination rate)低至 0.7%(Gemini-2.0-Flash)至约 1.5%(GPT-4o)(资料来源:Vectara HHEM Leaderboard,2025–2026)。这聽起来令人安心,但一看更接近真实世界的內容就不同了:在 Vectara 2025 年底較困难的数据集上,连 GPT-5、Claude Sonnet 4.5、Grok-4 等旗艦推理模型,幻覺率全部超过 10%

換言之,內容的难度比模型的名气更重要。回答来源清晰、文件齐全的简单问题,AI 准确度远高於即興应付冷门邊緣个案。「不准确」亦是机构最常提及的 AI 风險,近三分之一机构表示曾因此蒙受负面后果(资料来源:McKinsey,2024)。对你的生意真正重要的,不是模型的基准分数,而是「你的部署」在「你的题目」上答錯的頻率 — 而这是可以透过设计控制的。

甚麼是「自信地答錯」?为甚麼它最危險?

直接答案:AI 用流暢、专业、权威的語气講出一个完全錯誤的答案,而客户因为「聽起来很对」而相信了 — 这是 AI 客服最危險的失效模式,因为 AI 不会发出任何「我在猜」的讯号。

学术研究显示情况比多数人想像的更差。2025 年一项由 Technion、牛津大学及希伯来大学进行的研究发现,大型語言模型「即使掌握正确知识,仍可能以高确定性产生幻覺」— 也就是说,它們往往在答錯的时候聽起来最有信心(资料来源:Simhi et al.,arXiv,2025)。模型不会在不确定时放輕語气,而是用陈述事实的平靜語调講出虛构內容。

对商家而言,这不是抽象风險。一个会说「我不肯定」的 AI 客服只是令人有点不耐烦;一个憑空发明退款政策、报出不存在的价格、編造退货期限 — 而且用自信、得体的語言講出来的 AI 客服,才是把你推向麻烦的那个。整套护欄工程,正是为了对付这个行为而存在。

AI 答錯了,法律責任在谁?

直接答案:在你。商户要为自己的 AI 所講的一切负責,没有例外。

具指标性的案例是 Moffatt v. Air Canada(加拿大卑詩省民事審裁处,2024)。加拿大航空网站上的 chatbot 就喪亲票价向客户提供了錯誤指引,航空公司抗辯稱該工具是「独立法律实体」,应为自己的答案负責。審裁处直接駁回这个講法,裁定公司須就疏忽失实陈述负責,赔偿 C$812.02。

金额很小,原則很大:你不能部署一个 AI,然后在它出錯时指着軟件说「与我无关」。香港雖然未有同类判决,但「商户須为自己向消费者发出的资讯负責」这个消费者保障原則放諸各地皆通。務实的做法,是把 AI 当成一个你要为其发言负全責的員工去管理 — 你不会让新入职員工第一天就自行发明公司政策,也不应让 AI 这样做。

怎样防止 AI 客服无中生有?

直接答案:把每个答案錨定在你自己核实过的內容上(RAG grounding),並明确指示 AI 在资料不足时寧可说「我不知道」並转介,而不是憑训练记憶亂答。

核心技术是检索增強生成(RAG):不是问模型「答案是甚麼」,而是先強制它从你的文件中检索相关段落,再只根据該段落作答。模型从「即興演出者」变成「你知识庫的细心讀者」。

但 grounding 只在来源乾淨时才有效。过时和互相矛盾的文章,是「有根据但仍答錯」的头号成因 — AI 忠实地引用了你八个月前已改掉的政策。供应商分析显示,清理知识庫中过时及矛盾內容,可將此类錯誤减少约 20–30%(资料来源:IrisAgent/Zendesk)。垃圾进,自信的垃圾出。

合起来,防止「自信地答錯」需要七项控制:

  1. RAG grounding。 強制答案来自你的来源文件,不是模型记憶。
  2. 持续清理知识庫。 一页过时价格,会污染所有觸及它的答案。
  3. 设定「我不知道」行为。 资料不足时棄答並转介,不猜。
  4. 设信心閾值。 有信心才放行,不确定就标记或转真人(下详)。
  5. 设计清晰转介路徑。 明确要求、连续失敗、情緒不满、高风險题目即转人。
  6. 引用来源。 让客户看到答案出自哪份文件。
  7. 把准确度当一級指标。 与 CSAT、解决率並列追蹤,不是事后补漏。

甚麼时候应該转真人?

直接答案:越过四條线的任何一條就立即转 — 客户明确要求真人、AI 连续兩三次答不到同一问题、客户明显不满,或题目属高风險(退款、账单争议、合规相关)。这些是硬规則,不是建议。

信心閾值把这件事变成可配置的设定。常見的生产环境做法分三段:信心高於约 85%,AI 自行处理;70–85% 之间,照答但标记人手复核;低於约 70%(有團队设在 60%)即转真人。還有一條关键补充:不论信心多高,都不应授权 AI 在无人监督下執行不可逆操作 — 例如退款、取消订单。

转介本身是很多商家靜靜流失客户的位置。最大的转介失敗是「冷转接」:客户被交給真人后,要从头再講一次整件事。应採用暖转接(warm handoff),把完整对说纪录与脈絡一併交接,让真人从 AI 停下的位置接手。客户输入「我要找真人」时,立即照办,不要让他和机器角力;也不要等到第五次失敗才转 — 到第二三次落空,客户的耐性已经用完。

客户会信任 AI 客服嗎?信任怎样贏回来?

直接答案:客户预设是懷疑的,但信任可以贏 — 而且槓桿出奇地具体:透明、引用来源、誠实说不知道。

起点是现实:84% 消费者认为真人比 AI 准确、只有 8% 偏好 AI、61% 认为真人更明白他們的需要(资料来源:SurveyMonkey,2025)。你不是从信任出发,而是从赤字出发。好消息是,客户不需要 AI 像人,只需要它「有用而誠实」。透明已是预期而非选项:95% 消费者期望 AI 作出影响他們的决定时有清楚解釋(资料来源:Zendesk CX Trends,2026)。告訴客户「你正与 AI 助理对说」是加分项,隐瞞才是反效果。

引用来源是回报最高的動作之一:一项研究发现,向客户展示答案出自哪份文件,令 CSAT 提升 8–12% — 即使底层准确度完全没有改变。人会信任可以核实的答案,就像你会更信任一个说「手冊第四节有写」的同事,多於一个只说「信我」的同事。

这也是 Omago 这类工具背后的理念 — Omago 是一个会做事的 AI agent 平台,协助商家在 WhatsApp、Telegram 与网站对说中自動处理客户查询:答案錨定在你的知识庫、不知道就誠实说、需要时乾淨地转真人,而不是死撑到底。

完整的护欄清单是甚麼样子?

直接答案:十项分层控制 — 单独一项都不够,合起来才足以把 AI 客服放在真实客户面前。逐项确认已实际配置,才让它上线。

护欄 作用
RAG grounding 強制答案来自你核实过的內容,不是模型记憶
知识庫清理 移除过时及矛盾文章(可减少约 20–30% 有根据但答錯)
「我不知道」行为 资料不足时棄答,不猜
信心閾值 高於 85% 放行;70–85% 标记复核;低於 70%(或约 60%)转真人
转介觸发 明确要求、第 2–3 次失敗、偵测到不满、高风險意图
暖转接连脈絡 完整纪录交接,客户毋須重講
引用来源 建立信任;一项研究中令 CSAT 升 8–12%
幻覺/准确度指标 与 CSAT、解决率並列的一級 KPI
透明 告知客户对方是 AI(95% 期望有解釋)
人的问責 商户拥有 AI 的一切发言 — 按此设计(Air Canada 判例)

留意清单上没有的一项:換一个更聰明的模型。这是最多老闆最先想到、也最无效的一步 — 基准数据已显示,连頂級推理模型在困难內容上的幻覺率都超过 10%。可靠度来自周邊设计:grounding、清理、閾值、转介,而不是模型本身。知识庫怎样打好地基,可參考 怎样建立 AI 知识庫;量度是否真的解决了问题,可參考 攔截率与解决率的分別

护欄做不到甚麼?

直接答案:护欄能大幅降低风險,但不能降到零 — 底层技术是概率性的,目标是令錯誤罕見、可捕捉、低代价,而不是消滅錯誤。

正因如此,人的问責与持续量度是清单上的永久项目:你追蹤幻覺率,正是因为你假设系统会漂移 — 知识庫会过时、客户会问新问题、邊緣个案会浮现。可信的部署不是永不出錯,而是快速捕捉錯誤,並在高风險事项演变成下一宗 Air Canada 案之前交給真人。同时要誠实面对邊界:閾值和「我不知道」擅长防止捏造,但不能取代人在情緒性、高价值、含糊个案上的判断 — 成熟的做法是 AI 处理常规、定义清晰的大量查询,人保留給真正有份量的事。这條界线怎样劃,可參考 何时自動化、何时请人

结论其实冷靜而務实:AI 客服在「被建造得可信」时就可信。Grounding 止住无中生有,清理保持来源乾淨,閾值与转介接住漏网之魚,引用与透明把消费者的懷疑逐步赚回来。把这些做好,你就把一个不可预测的风險,变成了客服團队裡可靠、可问責的一員。


常見问题

AI 客服实际的幻覺率有多高?

差异極大。最好的模型在 grounded 基准上只有 0.7–1.5%(Vectara HHEM Leaderboard,2025–2026),但在較困难的真实內容上,连旗艦推理模型都超过 10%。你的实际比率取决於 grounding 与知识庫质素,多於选哪个模型。

AI 客服真的会令商户负上法律責任嗎?

会。Moffatt v. Air Canada(2024)中,審裁处駁回「chatbot 是独立法律实体」的抗辯,裁定公司須为其錯誤指引负責。你的商户拥有 AI 对客户所講的一切,所以护欄与转介必須设计好。

应該告訴客户对方是 AI 嗎?

应該,永远应該。95% 消费者期望 AI 作出影响他們的决定时有清楚解釋(Zendesk CX Trends,2026)。披露建立信任,隐瞞在被发现时反而反噬。

最重要的一项护欄是甚麼?

RAG grounding 加知识庫清理。前者強制 AI 只用你核实过的內容作答,后者保持內容乾淨 — 移除过时矛盾文章可减少约 20–30% 有根据但答錯(IrisAgent/Zendesk)。缺了这兩项,其他护欄都补不回来。

买更貴的模型能解决准确度问题嗎?

通常不能。连頂級推理模型在困难內容上的幻覺率都超过 10%,瓶頸不在模型,而在周邊设计 — grounding、清理、信心閾值与乾淨转介。


资料来源:SurveyMonkey(84% 认为真人較准确、8% 偏好 AI、61% 认为真人更懂需要,2025);Vectara HHEM Leaderboard(最佳模型 0.7–1.5%、困难內容逾 10% 幻覺率,2025–2026);Simhi et al.(Technion/牛津/希伯来大学,arXiv,2025);Moffatt v. Air Canada(BC Civil Resolution Tribunal,2024,赔偿 C$812.02);McKinsey(近三分之一机构因不准确蒙受负面后果,2024);Zendesk CX Trends(95% 期望清楚解釋,2026);IrisAgent/Zendesk(知识庫清理减少约 20–30% 錯誤)。本文不构成法律或专业意見。

准备好试用 Omago?

几分钟内设置你的 AI 助手。免费开始,无需信用卡。

免费开始