企業管 AI 代理為什麼老是管不住?因為你用的是為「人」設計的權限系統
這份報告指出企業治理 AI 代理失敗的三個結構原因:代理是短命的、它的行為由模型決定而非事先寫死、而且任何能呼叫 API 的人都能造出一個。作者主張治理是執行期問題,並提出五項基本要件。難得的是,他們同時誠實列出這套架構的代價與尚未完成的部分。
如果貴公司開始用 AI 代理處理實際工作,而你發現既有的權限系統「怎麼設都不太對」,這篇報告解釋了原因:你正在用一套為「人類使用者」和「長壽服務」設計的控制模型,去管一種完全不同的東西。
三個具體的失配
作者指出,這個錯配有三個明確的表現:
- 代理主體是短命的。它們出現與消失的速度,比你的帳號佈建流程還快。等你走完申請、核准、開通,它已經結束了。
- 它們的行為由模型選出,而不是事先寫死的。所以「它可能會嘗試做哪些事」這個集合,你事先並不知道。傳統權限設計的前提——先列出所有可能動作再逐一授權——在這裡直接失效。
- 這個族群是被「發現」的,不是被「佈建」的。因為任何能呼叫 API 的人都能造出一個。你的資產清單上永遠少列。
核心主張:這是執行期的問題
作者的立場很明確:治理這類代理是一個執行期(runtime)問題——既不是模型對齊問題,也不是建置期問題。
這句話值得停下來想。它否定了兩種常見的做法:一是寄望於「把模型訓練得更聽話」;二是寄望於「在開發階段把規則寫好」。兩者都擋不住一個行為在執行當下才被決定的東西。
五項要件
他們從「一個動作生效之前與生效之後,各自必須回答哪些問題」推導出五項:
- 發現(discovery) 你有哪些代理?
- 身分(identity) 這個動作是誰發出的?
- 治理(governance) 它被允許做這件事嗎?
- 證明(attestation) 事後能不能證明發生了什麼?
- 供應鏈(supply chain) 它所依賴的東西可信嗎?
論文對每一項都說明「缺了它會出什麼事」,以及「為什麼其他四項在結構上無法替補」。
他們實際做出來的樣子
在他們的實作中,一個代理的動作會:在生效之前先對照政策進行仲裁、對照每租戶的動作詞彙表進行授權,並記錄到一份雜湊串接、帶簽章的帳本裡——而且這份帳本第三方可以在供應商不介入的情況下自行驗證。
最後這一點是關鍵
「第三方可驗證,且供應商不在迴路中」——這是稽核能不能成立的分水嶺。如果驗證必須透過供應商,那它就不是稽核,是信任。
這篇最值得尊敬的地方:它自己講代價
作者明白列出這套架構要付什麼:
- 執行點位在請求的關鍵路徑上——也就是每個動作都要多繞一道,延遲增加。
- 身分需要每個工作負載配一個 sidecar——維運複雜度與資源成本上升。
- fail-closed 的仲裁會把可用性事故轉成拒絕服務——安全機制壞掉時,系統選擇停擺而不是放行。
而且他們對完成度也很坦白:五項裡有四項已建置並在私有試點中運行,第五項是獨立工具、尚未整合進請求路徑。
最後那句話我很喜歡,直接翻出來:「一個剛好完全對應到作者手上程式碼的五段式拆解,那不是分類法,是對一個程式庫的描述。」——作者自己先把這個批評講了。
對台灣企業的意義
一、先做「發現」這一項,其他都還可以慢慢來。多數公司連「我們公司現在有幾個 AI 代理在跑、是誰建的、碰得到哪些系統」都答不出來。這是零成本就能開始的盤點。
二、fail-closed 的取捨要先講清楚。安全機制故障時,要停擺還是放行?這是業務決策不是技術決策,必須由經營層拍板,而且要在事故發生之前拍。
另外值得一併讀的是:一旦代理的互動跨出組織邊界,這五項要件裡有幾項就不再是你單方面能施行的了。
三、稽核紀錄要能被外部驗證。如果你的產業有查核需求,「供應商提供的報表」不等於稽核證據。這一點在選型時就要問清楚。
現在可以怎麼準備
- 盤點代理清單。列出目前公司內部有哪些自動化流程會呼叫 AI、由誰建立、使用哪把金鑰、可觸及哪些資料。用表格就好。
- 收斂 API 金鑰的發放。既然「任何能呼叫 API 的人都能造一個代理」,金鑰管理就是第一道閘門。
- 先把高風險動作列出來。特別是會連續影響後續狀態的那些,哪些動作一旦做錯會造成不可逆的後果(發送對外訊息、修改客戶資料、金流相關)?這些優先納入人工確認。
可行的解決方案
對中小企業,不需要一次建起五項。務實的順序是:發現 → 高風險動作的人工確認 → 操作紀錄。前兩項用流程與表格就能做,第三項多數現成工具都有。
完整的身分與供應鏈驗證,是規模到一定程度、或有明確合規要求時才需要投入的。
需要保留的懷疑
這是 arXiv 預印本,在本文寫作時尚無同儕審查紀錄。
- 這是一份帶有實作背景的立場報告,不是對照實驗。作者自己就點明了這個侷限。
- 「私有試點」的規模、產業與期間,摘要未交代。無法判斷這套架構在多大負載下成立。
- 五項中的第五項尚未整合進請求路徑,因此整體架構的實際運行效果未經完整驗證。
- 摘要未提供延遲增加的量化數字。既然執行點在關鍵路徑上,這個成本的大小是採用與否的關鍵,但沒有數據。
常見問題
我們公司只是用 AI 寫文案,需要管到這種程度嗎?
不需要。這份報告針對的是「會自主執行動作」的代理——會呼叫工具、改資料、對外發送訊息的那種。如果你的使用情境是人在前面看著、AI 只負責產出文字,風險等級完全不同。真正該開始關注的時機,是當你讓它自動執行某個會改變系統狀態的動作時。
什麼是 fail-closed?為什麼它會變成拒絕服務?
fail-closed 指的是當安全檢查機制本身故障時,系統選擇「一律不放行」而非「一律放行」。安全性上這是正確選擇,但代價是:檢查機制掛掉時,所有正常請求也會被擋下來,對使用者而言就等同服務中斷。這是安全與可用性之間的取捨,必須事先決定。
為什麼稽核紀錄要「第三方可驗證」才算數?
因為如果驗證必須透過供應商進行,你實際上是在信任供應商的說法,而不是在驗證事實。雜湊串接與簽章的用意,就是讓任何第三方可以自行確認紀錄未被竄改,不需要供應商參與。有查核義務的產業,這個差別是關鍵。
本文出處 Jiten Oswal、John Cadeddu,"Five Primitives for Governing Autonomous AI Agents at Runtime",arXiv:2608.26696,2026 年 8 月 27 日投稿。本文為中文編譯與評論,原始論點著作權屬原作者所有。
圖片出處 Photo: Matthiaszomer / Pexels(免費授權)。
不確定公司內部現在有幾個 AI 代理在跑?
甫東科技可以協助你做一次 AI 使用現況盤點:有哪些自動化在呼叫 AI、碰得到哪些資料、哪些動作一旦出錯不可逆。盤點結果會直接變成一份你可以自己維護的清單。