點解要分階段量度 AI 助理成效？
根據 Gartner 調查，32% 已啟用 AI 嘅企業話睇唔到即時回報。但問題通常唔係 AI 冇效，而係佢哋用咗錯嘅指標喺錯嘅時間去量度。
無論你用 Intercom Fin、Zendesk AI、Omago 定 ManyChat，AI 助理都唔係裝咗就即刻見效嘅工具。佢需要一個學習同優化嘅過程。就好似請咗一個新同事，你唔會期望佢第一日就同做咗三年嘅人一樣表現。但你要知道點樣評估佢嘅進步，同幾時可以開始信任佢獨立處理更多工作。
呢篇指南會俾你一個清晰嘅框架，喺 30、60、90 天分別追蹤邊啲 KPI，同點樣用數據做決定。
第一階段：頭 30 日 — 建立基準
頭 30 日嘅重點唔係追求完美表現，而係收集數據同修正方向。
要追蹤嘅指標
1. 自動解決率（Resolution Rate）
- 目標：40-50%
- 點樣計算：AI 成功回覆而客戶冇再追問嘅對話 ÷ 總對話數
- 點解呢個數夠：頭 30 日你仲喺完善知識庫，40-50% 已經代表 AI 可以處理最基本嘅查詢
2. 人手轉介率（Escalation Rate）
- 目標：低於 40%
- 點樣計算：需要轉介真人嘅對話 ÷ 總對話數
- 注意：如果轉介率高過 50%，通常代表知識庫有嚴重遺漏
3. 平均首次回覆時間（First Response Time）
- 目標：低於 30 秒
- 呢個通常唔係問題：AI 嘅強項就係即時回覆，但要確保系統冇延遲
4. 知識庫覆蓋範圍（Knowledge Coverage）
- 目標：80% 嘅常見問題有對應答案
- 點樣計算：有標準答案嘅問題類型 ÷ 客戶實際問過嘅問題類型
頭 30 日嘅行動
- 每日：檢查所有 AI 對話記錄（唔洗好耐，通常 15-20 分鐘）
- 每週：更新知識庫，加入新發現嘅常見問題
- 30 日完結時：產出一份基準報告，記錄以上四個指標嘅數字
紅旗信號
如果 30 日後出現以下情況，需要即刻處理：
- 自動解決率低於 20%：知識庫需要大幅補充
- 客戶投訴 AI 回覆同問題無關：可能係語言理解設定有問題
- 人手轉介率高過 60%：AI 嘅設定需要重新檢視
第二階段：第 31-60 日 — 優化同改善
經過頭 30 日嘅數據收集，你應該已經知道 AI 嘅弱點喺邊。第二階段嘅重點係針對性優化。
要追蹤嘅指標
1. 自動解決率（目標提升至 55-65%）
呢個數應該每週穩定增長。如果停滯不前，要檢查知識庫是否有未覆蓋嘅問題類型。
2. 客戶滿意度（CSAT）
- 目標：70-80%
- 點樣收集：喺 AI 對話結束後加一個簡單評分（例如 1-5 星）
- 重點唔係絕對數字：而係趨勢。每週嘅 CSAT 應該持平或者上升
3. 平均處理時間（Average Handle Time）
- 目標：比人手處理快 50% 以上
- 計算方法：AI 對話嘅平均時長 vs 人手對話嘅平均時長
- 注意：如果 AI 對話時間比人手仲長，可能代表 AI 嘅回覆唔夠準確，客戶需要多次追問
4. 重複查詢率
- 追蹤同一個客戶喺 24 小時內再次聯絡嘅比例
- 目標：低於 15%
- 高重複率代表：AI 第一次回覆冇真正解決問題
第 31-60 日嘅行動
- 每週：分析轉介真人嘅對話，搵出 AI 處理唔到嘅原因
- 每兩週：更新同優化 AI 嘅回覆內容
- 追蹤：邊類問題嘅 CSAT 最低，優先改善
第三階段：第 61-90 日 — 驗證 ROI 同決定下一步
如果你做到呢個階段，AI 助理應該已經穩定運作。呢個階段嘅重點係計算真正嘅投資回報，同決定係擴展定維持現狀。
要追蹤嘅指標
1. 自動解決率（目標 65-75%）
呢個係成熟 AI 助理嘅合理水平。超過 80% 通常代表你嘅業務查詢比較簡單同重複。
2. 成本節省
- 計算方法：AI 處理嘅對話數 × 人手處理每條對話嘅成本 - AI 平台總成本
- 例子：AI 每月處理 300 條對話 × HK$15/條人手成本 = HK$4,500 — 減去 AI 月費 HK$1,500 = 淨節省 HK$3,000
3. 回覆速度改善
- 對比：上線前 vs 上線後嘅平均回覆時間
- 大部分中小企見到嘅改善：從平均 2-4 小時降至 30 秒以內
4. 營業時間外嘅查詢處理
- 追蹤：非營業時間收到嘅查詢中，AI 成功處理嘅比例
- 呢個通常係最容易見到 ROI 嘅地方：因為以前呢啲查詢完全冇人處理
90 日決策框架
根據你 90 日嘅數據，做以下決定：
擴展嘅信號：
- 自動解決率穩定在 65% 以上
- CSAT 達到或超過 75%
- 月度淨節省為正數
- 團隊已習慣同 AI 協作
維持現狀嘅信號：
- 指標穩定但未達到擴展標準
- 仲有優化空間（例如知識庫仲可以補充）
- 團隊需要更多時間適應
叫停嘅信號：
- 90 日後自動解決率仲低於 30%
- CSAT 持續低於 60%
- 投入嘅時間成本遠超節省
實用模板：KPI 追蹤表
建議用一個簡單嘅 Google Sheet 追蹤以下數字（每週更新一次）：
- 總對話數
- AI 成功處理數
- 自動解決率 (%)
- 人手轉介數
- 平均首次回覆時間
- CSAT 分數
- 本週知識庫更新數
連續 12 週嘅數據就可以俾你清晰嘅趨勢圖，幫你做出有數據支持嘅決定。
總結
量度 AI 助理成效嘅關鍵唔係追求一個完美數字，而係觀察趨勢。如果你嘅指標每週都喺進步，就算進步得慢，都代表系統喺正確嘅方向。反之，如果 30 日後指標完全冇改善，就要認真檢視係知識庫問題、設定問題，定係 AI 真係唔適合你嘅業務場景。
參考資料：