為什麼要分階段量度 AI 助理成效？
根據 Gartner 調查，32% 已啟用 AI 的企業表示看不到即時回報。但問題通常不是 AI 沒有效，而是他們用了錯的指標在錯的時間去量度。
無論你用 Intercom Fin、Zendesk AI、Omago 定 ManyChat，AI 助理都不是裝了就立即見效的工具。它需要一個學習與優化的過程。就好似請了一個新同事，你不會期望它第一日就與做了三年的人一樣表現。但你要知道如何評估它的進步，與什麼時候可以開始信任它獨立處理更多工作。
這篇指南會給你一個清晰的框架，在 30、60、90 天分別追蹤哪些 KPI，與如何用數據做決定。
第一階段：頭 30 日 — 建立基準
頭 30 日的重點不是追求完美表現，而是收集數據與修正方向。
要追蹤的指標
1. 自動解決率（Resolution Rate）
- 目標：40-50%
- 如何計算：AI 成功回覆而客戶沒有再追問的對話 ÷ 總對話數
- 為什麼這個數夠：頭 30 日你仍在完善知識庫，40-50% 已經代表 AI 可以處理最基本的查詢
2. 人手轉介率（Escalation Rate）
- 目標：低於 40%
- 如何計算：需要轉介真人的對話 ÷ 總對話數
- 注意：如果轉介率高過 50%，通常代表知識庫有嚴重遺漏
3. 平均首次回覆時間（First Response Time）
- 目標：低於 30 秒
- 這個通常不是問題：AI 的強項就是即時回覆，但要確保系統沒有延遲
4. 知識庫覆蓋範圍（Knowledge Coverage）
- 目標：80% 的常見問題有對應答案
- 如何計算：有標準答案的問題類型 ÷ 客戶實際問過的問題類型
頭 30 日的行動
- 每日：檢查所有 AI 對話記錄（毋須很久，通常 15-20 分鐘）
- 每週：更新知識庫，加入新發現的常見問題
- 30 日完結時：產出一份基準報告，記錄以上四個指標的數字
紅旗信號
如果 30 日後出現以下情況，需要立即處理：
- 自動解決率低於 20%：知識庫需要大幅補充
- 客戶投訴 AI 回覆與問題無關：可能是語言理解設定有問題
- 人手轉介率高過 60%：AI 的設定需要重新檢視
第二階段：第 31-60 日 — 優化與改善
經過頭 30 日的數據收集，你應該已經知道 AI 的弱點在哪裡。第二階段的重點是針對性優化。
要追蹤的指標
1. 自動解決率（目標提升至 55-65%）
這個數應該每週穩定增長。如果停滯不前，要檢查知識庫是否有未覆蓋的問題類型。
2. 客戶滿意度（CSAT）
- 目標：70-80%
- 如何收集：在 AI 對話結束後加一個簡單評分（例如 1-5 星）
- 重點不是絕對數字：而是趨勢。每週的 CSAT 應該持平或者上升
3. 平均處理時間（Average Handle Time）
- 目標：比人手處理快 50% 以上
- 計算方法：AI 對話的平均時長 vs 人手對話的平均時長
- 注意：如果 AI 對話時間比人手還長，可能代表 AI 的回覆不夠準確，客戶需要多次追問
4. 重複查詢率
- 追蹤同一個客戶在 24 小時內再次聯絡的比例
- 目標：低於 15%
- 高重複率代表：AI 第一次回覆沒有真正解決問題
第 31-60 日的行動
- 每週：分析轉介真人的對話，找出 AI 處理不到的原因
- 每兩週：更新與優化 AI 的回覆內容
- 追蹤：邊類問題的 CSAT 最低，優先改善
第三階段：第 61-90 日 — 驗證 ROI 與決定下一步
如果你做到這個階段，AI 助理應該已經穩定運作。這個階段的重點是計算真正的投資回報，與決還是擴展定維持現狀。
要追蹤的指標
1. 自動解決率（目標 65-75%）
這個是成熟 AI 助理的合理水平。超過 80% 通常代表你的業務查詢比較簡單與重複。
2. 成本節省
- 計算方法：AI 處理的對話數 × 人手處理每條對話的成本 - AI 平台總成本
- 例子：AI 每月處理 300 條對話 × HK$15/條人手成本 = HK$4,500 — 減去 AI 月費 HK$1,500 = 淨節省 HK$3,000
3. 回覆速度改善
- 對比：上線前 vs 上線後的平均回覆時間
- 大部分中小企見到的改善：從平均 2-4 小時降至 30 秒以內
4. 營業時間外的查詢處理
- 追蹤：非營業時間收到的查詢中，AI 成功處理的比例
- 這個通常是最容易見到 ROI 的地方：因為以前這些查詢完全沒有人處理
90 日決策框架
根據你 90 日的數據，做以下決定：
擴展的信號：
- 自動解決率穩定在 65% 以上
- CSAT 達到或超過 75%
- 月度淨節省為正數
- 團隊已習慣與 AI 協作
維持現狀的信號：
- 指標穩定但未達到擴展標準
- 還有優化空間（例如知識庫還可以補充）
- 團隊需要更多時間適應
叫停的信號：
- 90 日後自動解決率還低於 30%
- CSAT 持續低於 60%
- 投入的時間成本遠超節省
實用模板：KPI 追蹤表
建議用一個簡單的 Google Sheet 追蹤以下數字（每週更新一次）：
- 總對話數
- AI 成功處理數
- 自動解決率 (%)
- 人手轉介數
- 平均首次回覆時間
- CSAT 分數
- 本週知識庫更新數
連續 12 週的數據就可以給你清晰的趨勢圖，幫你做出有數據支持的決定。
總結
量度 AI 助理成效的關鍵不是追求一個完美數字，而是觀察趨勢。如果你的指標每週都在進步，就算進步得慢，都代表系統在正確的方向。反之，如果 30 日後指標完全沒有改善，就要認真檢視是知識庫問題、設定問題，還是 AI 真是不適合你的業務場景。
參考資料：