LinkedIn 讓客服代理自己改提示詞，兩週 A/B 測試：轉接正確率提升 30.6 個百分點

論文摘要的第一句就講到企業客服的真正痛點，而且講得比多數廠商簡報準確：

「企業支援代理運作在快速變動的環境中，政策、產品能力與知識庫持續演進，使得靜態的助理既脆弱又昂貴難以維護。」

注意「昂貴難以維護」這幾個字。多數企業導入客服 AI 的失敗不是發生在上線那天，而是在第三個月——產品改版了、退款政策調整了，但那套提示詞還停在導入時的版本，沒有人有時間去改。

他們的做法：把三件事變成一個閉環

這篇論文（arXiv:2608.10224，2026 年 8 月 10 日投稿）描述的系統，把檢索增強生成（RAG）、演化式自動提示詞與評估框架整合起來，讓系統能持續改善而不需要重新訓練模型。

關鍵設計用作者的話說是：把「提示詞、檢索與評估視為一個有版本控管、且帶有維運護欄的閉環工作流」。

這句話裡有三個詞值得拆開看：

• 閉環　評估結果會回頭改提示詞，不是產出報表給人看。
• 版本控管　提示詞像程式碼一樣有版本，可以比較、可以回退。
• 維運護欄　自動演化不是放任，有邊界。

兩週 A/B 測試的實際數字

這是在 LinkedIn 正式的客服流量上跑的 A/B 測試，不是實驗室資料：

• QA 自助率　提升 9.0 個百分點
• 取消服務的自助率　提升 4.8 個百分點
• 轉接正確率　提升 30.6 個百分點

三個數字裡，最值得注意的是轉接正確率的 30.6。這一項與模型多聰明關係不大，主要靠檢索與分類品質——也就是說，提升來自系統架構，不是換更強的模型。

這與我們先前導讀的企業代理可靠度研究指向同一件事：可靠度主要來自鷹架、路由與專用模型，而非基礎模型本身。

台灣企業可以借鏡的三件事

一、「維護成本」要進導入評估。多數企業評估 AI 客服時算的是導入費與 API 費，沒有算「每次產品改版要花多少人力去改提示詞」。這篇論文的整個出發點就是這筆成本。

二、提示詞要有版本控管。這件事的門檻其實很低——把提示詞放進 Git、每次修改留紀錄、記錄修改前後的評估分數。沒有這個，你永遠不知道上週的調整到底讓系統變好還是變壞。

三、先量測轉接正確率。如果你的客服系統有「轉真人」這個動作，那它的正確率是最容易改善也最容易量測的指標。轉錯的代價是客戶重講一次，而這是客訴的主要來源之一。

需要保留的懷疑

這是 arXiv 預印本，在本文寫作時尚無同儕審查紀錄。論文摘要中未見明列限制章節。

另外幾點讀者應自行留意：

• 兩週的 A/B 測試偏短。自動演化的系統，長期是否穩定、會不會逐漸偏移，兩週看不出來。
• LinkedIn 的規模與資料密度與台灣中小企業差距極大。同一套架構在資料量小很多的情境下，演化式自動提示詞可能沒有足夠的訊號可學。
• 論文由該系統的團隊發表，結果為自我報告。

常見問題

什麼是「自我演化」的客服代理？和一般的 AI 客服差在哪？

差別在於維護方式。一般 AI 客服的提示詞與檢索設定是固定的，產品或政策改變時要靠人工去改；自我演化系統把提示詞、檢索與評估組成閉環——評估結果會回頭自動調整提示詞，並且整個流程有版本控管與維運護欄。關鍵是它不需要重新訓練模型，改的是提示詞與檢索設定。

提升 30.6 個百分點的轉接正確率，是因為模型比較強嗎？

主要不是。轉接正確率取決於檢索與分類品質，屬於系統架構層面，與基礎模型的能力關係較小。這與其他企業代理研究的發現一致：可靠度的提升多半來自鷹架、路由與專用模型，而非更換更大的基礎模型。

台灣中小企業可以直接套用這套做法嗎？

架構觀念可以借鏡，數字不能直接套用。LinkedIn 的流量規模與資料密度遠高於一般企業，而演化式自動提示詞需要足夠的訊號才能學到東西——資料量小的情境下效果可能有限。可以先做的是門檻最低的那一項：把提示詞納入版本控管，每次修改記錄前後的評估分數。

下一步

客服代理的評估指標設計與提示詞版本控管流程，我們整理在白皮書專區。

出處

本文依據 Chih Hui Wang, Mengdie Tu, Qianyun Zhang, Wei Wu, Lili Zhou, Mingqi Shen & Changshuai Wei, "Self-evolving Agentic Customer Support System at LinkedIn", arXiv:2608.10224，投稿於 2026 年 8 月 10 日：arxiv.org/abs/2608.10224。加註引號者為該論文摘要原文之中譯。

本文為產業觀察，非學術評議。該論文為預印本，結果由系統開發團隊自行報告。

延伸來源

以下為與本文論點相關、且經實際查閱確認的外部來源。標示為預印本者尚未經同儕審查，引用時請留意。

• Dastidar & the Leni Team, arXiv:2607.17044（2026-07-19，預印本）：arxiv.org
• Rahman et al., "DSAgentBench", arXiv:2608.10366（2026-08-11，預印本）：arxiv.org
• Anthropic, "Economic Index report: Cadences"（2026-06-26）：www.anthropic.com