企業 AI 代理的可靠度來自哪裡？一篇論文把功勞拆開算，答案不是驗證迴圈

企業的多步驟代理任務有一個固定的失敗方式，論文摘要的第一句就點破了：「單次推論在決定答案與提交答案之間，沒有任何檢查點。」

這篇 2026 年 7 月 19 日投稿 arXiv 的論文（編號 2607.17044），研究一套實際在生產環境運行的系統 Leni，它的架構就是在那個縫隙裡裝上檢查點。有價值的地方在於：作者把提升的功勞拆開來算，結果和多數人的直覺相反。

三個基準，三種失效模式

研究刻意選了會觸發不同失效的公開基準，並以未經修改的生產配置測試：

• SpreadsheetBench Verified（無聲的計算錯誤）　91.25% 對 80.25%，提升 11.0 個百分點，n=400，p<0.001。
• BullshitBench v2（憑空捏造前提）　98% 對 91%，提升 7 到 10 個百分點，n=100。
• GAIA 驗證集（長工具鏈的連鎖錯誤）　75.2% pass@1，n=165；best-of-k 為 83.0%，約提升 15 個百分點。

把功勞拆開：驗證迴圈只佔 1.5 點

這是全文最重要的發現。論文的中心貢獻是對上述提升做分解，結論是：大部分來自鷹架（scaffolding）、路由與專用模型，而不是驗證步驟本身。

驗證步驟單獨的貢獻是 +1.5 個百分點——聽起來很小。但論文補了一句關鍵的限定：這 1.5 點集中在分數分佈的頂端，也就是它把原本會失敗的任務轉成成功。

換句話說，驗證迴圈不是普遍地讓表現變好，而是在邊界上救回那些差一點就掛掉的案子。這兩件事在工程決策上意義完全不同。

驗證者的實測數據

論文對迴圈做了端到端的儀器化，得出一個經驗性的驗證者混淆矩陣：

• 抓錯率約 0.20——五個錯誤只抓到一個。
• 修正率 0.75——抓到的錯誤中，四分之三能修好。
• 沒有誤報造成的退步。另有一項有效前提的對照組，在 100 個專家級問題中零過度拒絕。

抓錯率只有 0.20 卻仍有價值，原因在於複利：多步驟任務中每一步都有機會攔截，累積下來的效果遠大於單點的 20%。

最違反直覺的一項：誰來看，比看什麼重要

論文做了專用模型替換的消融實驗，結果是：把小型的專用驗證模型換成產生答案的前沿模型，大部分的救援效果就消失了。

作者的措辭是「迴圈的價值取決於誰在觀察它」。這一點與我們先前在代理式不對齊評測中提到的原則一致——用產生答案的同一個模型去檢查自己，效果會大幅打折。

對台灣企業導入的三個實際結論

一、不要把預算全押在換更強的模型上。論文顯示提升主要來自系統架構，不是基礎模型。同一個前沿模型，配上不同的鷹架與路由，結果差 11 到 15 個百分點。

二、驗證要用獨立的小模型，不要用主模型自檢。而且要接受抓錯率不高的現實，靠步驟數累積效果，而不是期待單點攔截率。

三、先確認你的任務屬於哪一種失效。無聲計算錯誤、捏造前提、連鎖錯誤，三種需要的防護不同。這與企業 RAG 評估指標的分型邏輯相同。

需要保留的懷疑

這篇論文研究的是單一一套生產系統（Leni），作者為該系統的團隊。結論能否推廣到其他架構的代理系統，論文本身無法回答。

另外，論文為 arXiv 預印本，在本文寫作時尚未見同儕審查紀錄。基準測試的分數也僅代表該基準所涵蓋的任務型態，與特定企業的實際工作負載未必相符。

常見問題

企業導入 AI 代理，該投資更強的模型還是更好的系統架構？

依這篇論文的分解結果，架構的邊際效益更高。研究顯示提升主要來自鷹架、路由與專用小模型，而非基礎模型本身——同一個前沿基礎模型，在 SpreadsheetBench 上的差距是 11.0 個百分點，GAIA 上約 15 點。驗證步驟單獨的貢獻則只有 1.5 個百分點。

驗證迴圈只提升 1.5 個百分點，那還值得做嗎？

值得，但理由要正確。論文指出這 1.5 點集中在分數分佈的頂端，作用是把原本會失敗的任務轉成成功，而不是普遍地提升表現。實測的驗證者抓錯率約 0.20、修正率 0.75，且無誤報造成的退步。價值來自多步驟任務中每一步都有攔截機會的複利效果。

可以用主模型來驗證自己的輸出嗎？

不建議。論文的專用模型替換消融實驗顯示，把小型專用驗證模型換成產生答案的前沿模型後，大部分救援效果就消失了。作者的結論是「迴圈的價值取決於誰在觀察它」，驗證機制應獨立於產生答案的模型。

下一步

企業代理系統的架構評估與失效分型檢核，我們整理在白皮書專區；代理架構的設計原則可參考大腦與雙手分離的討論。

出處

本文依據 Arunabh Dastidar and the Leni Team, "Where Does Agent Reliability Come From? A Cross-Benchmark Decomposition of Verification Loops, Specialist Models, and Scaffolding in a Production Enterprise Agent", arXiv:2607.17044，投稿於 2026 年 7 月 19 日：arxiv.org/abs/2607.17044。加註引號者為該論文原文之中譯。

本文為產業觀察，非學術評議。該論文為預印本，研究對象為作者團隊自家的生產系統。