銀行每年收到數百萬件詐騙與爭議申訴——一個會問問題的 AI，把分類準確率拉高 30.6%

多數公司導入 AI 客服的想法是「讓它回答問題」。這篇論文做的是另一件更值得學的事：讓它把問題問清楚，然後轉給對的人。

他們要解決的問題

論文開頭的情境很具體：銀行每年收到數百萬件詐騙、詐欺與交易爭議的通報，要準確地把客戶導引到合適的專責團隊非常困難。

這是一個典型的分流問題，不是回答問題。分錯了的代價不是答案不好，而是客戶被轉了三次、每次都要重講一遍。

他們做了什麼

研究團隊建立了一套由大型語言模型驅動的分流系統，它做三件事：對話（converses）、追問（probes）、路由（routes）。

標題裡的 probe 這個字是重點——它不是被動接收客戶的描述，而是主動追問缺少的資訊。實務上，客訴分類錯誤最常見的原因就是客戶一開始講得不完整。

驗證方式很聰明

結果是分類準確率提升 30.6%，並且獲得專家評估的正面評價，以及良好的合規表現。

我讀完的感想

這篇最值得台灣企業學的不是技術，是問題的定位。

多數公司導入 AI 客服，目標訂在「取代客服人員回答」。那是一個很難做好、失敗代價又高的目標。這篇把目標訂在「把案件分對」——一個範圍明確、成效可量化、而且失敗代價可控的任務。

另外，「合成數位分身」這個驗證方法本身就值得借用。它讓你可以在不碰真實客戶資料的前提下做大量測試——但要注意，合成消費者在視覺行銷前測上的表現並不理想，所以這個方法在不同任務上的可靠度差異很大，不能一概而論。

對台灣企業的意義

一、分流比回答更適合當第一個 AI 專案。它的成效可以用一個數字衡量（分對的比例），出錯了也只是轉錯部門，不會給客戶錯誤資訊。

二、「會追問」是關鍵設計，不是附加功能。如果你的系統只是把客戶的第一句話拿去分類，準確率會受限於客戶的表達能力。願意多問兩句，效果差很多。

三、合規表現要在設計階段就納入。金融、醫療這類受規範的產業，不是先做出來再補合規。論文把合規列入驗證項目，這個順序是對的。

現在可以怎麼準備

• 先看你的轉接紀錄。有多少比例的客戶被轉超過一次？那個數字就是分流問題的規模，也是你的改善空間。
• 列出「分類所需的最小資訊」。要把案件分對，最少需要知道哪三到五件事？這份清單就是追問的腳本。
• 用歷史案件建立測試集。挑一百件已經知道正確歸屬的舊案件，去識別化後當成基準。

可行的解決方案

務實的起點是不要讓 AI 直接回覆客戶，只讓它在內部做分類建議。客服人員看到建議與理由，自己決定要不要採用。

這個設計有三個好處：出錯不會傷到客戶、你可以累積「人類覆蓋 AI 建議」的紀錄當成改善素材、而且上線門檻低很多。等準確率穩定後，再考慮是否讓它直接面對客戶。

需要保留的懷疑

這是 arXiv 預印本，在本文寫作時尚無同儕審查紀錄。

• 驗證用的是合成數位分身，不是真實客戶。合成資料與真實客戶行為的落差，摘要未量化。
• 「提升 30.6%」的比較基準是什麼，摘要未說明。是對比既有的自動分流系統、還是人工分流，差別很大。
• 場景是英國銀行業的詐騙與爭議通報。台灣的產業規範、客戶表達習慣與案件類型都不同，不宜直接套用成效預期。
• 摘要未提供合規檢核的具體項目。「strong compliance performance」是結論性描述，缺乏可驗證的細節。

常見問題

什麼是「合成數位分身」？可靠嗎？

指的是以歷史資料為基礎，建立能模擬真實客戶行為的合成角色，用來測試系統而不必動用真實個資。在這篇的分流任務上效果良好，但可靠度會隨任務性質變化很大——同樣的概念用在視覺行銷前測上，另一份研究發現它無法重現人類的反應模式。所以應視任務逐案驗證，不能假設普遍適用。

我們公司規模小，客訴量不大，值得做嗎？

先看轉接紀錄。如果被轉超過一次的比例很低，那分流不是你的瓶頸，做了效益有限。這篇的價值在於提供一個「範圍明確、可量化」的專案樣板，而不是說每家公司都該做分流。

為什麼建議先不要讓 AI 直接回覆客戶？

因為分類錯誤的代價遠低於回覆錯誤。讓 AI 只做內部分類建議，人員保有最終決定權，錯誤不會傳到客戶端，同時還能累積「人覆蓋 AI」的紀錄作為改善依據。等準確率穩定後再評估是否往前一步，風險順序比較合理。

想從一個成效可量化的 AI 專案開始？

甫東科技會先看你的實際案件流與轉接紀錄，評估分流是不是你的瓶頸，並協助建立可驗收的測試集與上線順序。如果評估後認為分流不是你的問題，我們也會直接說。

前往甫東科技官網洽談 →