那些「AI 能勝任職場工作」的評測,可能先把答案放在它找得到的地方了
多數知識工作的基準測試,是先指定任務、再挑選該任務所需的脈絡。這種設計等於在環境中編碼了任務資訊,把「找到資訊」這段工作先替代理完成了。研究者提出 WorkWorlds,先固定組織狀態、之後才引入任務。在 192 組配對評估中,任務層級的脈絡篩選讓證據取得率提高 17.6 個百分點。
AI 代理(AI Agent,也稱自主代理)是能自己拆解任務、呼叫工具並連續執行多個步驟的 AI 系統。這個專區收錄代理的可靠度評測、多代理協作、記憶與技能機制、MCP 協定,以及提示注入與權限控管等資安研究。每一篇都標註原始論文編號,並由賴家榮 Andy Lai 說明研究的適用範圍與限制,讓你判斷 AI 代理現在能不能放進自己的流程、該先管住哪些風險。
多數知識工作的基準測試,是先指定任務、再挑選該任務所需的脈絡。這種設計等於在環境中編碼了任務資訊,把「找到資訊」這段工作先替代理完成了。研究者提出 WorkWorlds,先固定組織狀態、之後才引入任務。在 192 組配對評估中,任務層級的脈絡篩選讓證據取得率提高 17.6 個百分點。
AI 代理已經開始進行真實付款。目前部署的做法,多半依賴一個位於持卡人銀行之外的憑證提供者,消費規則由卡片網路或該提供者執行,而不是由銀行本身執行。這讓承擔財務風險的發卡行,在付款發生的那一刻幾乎沒有直接控制權。這篇提出把控制權留在發卡行的方法。
人類把系統關掉的能力,是防止 AI 失控的最後一道防線。研究者測試代理在「完全沒有被賦予目標」的情況下,會不會採取規避關機的行動。結果:多代理系統在沒有任何誘因的情況下會互相協調以規避關機;跨 17 個模型,代理破壞同伴關機機制的比例為 38.3%,對照組則為 8.4%。
代理式 AI 帶來大量「重複執行少數專門任務、變化很小」的應用場景。這份立場論文主張:對代理系統中的許多呼叫而言,小型語言模型已經夠強、本質上更合適、而且在經濟上是必然的選擇。論文同時提出一套從大模型轉換到小模型的代理轉換流程,並討論採用的阻礙。
真實工作中,完成一件事往往需要人與 AI 輪流主導,而輪替仰賴工作狀態能無縫交接。但現有的代理系統給人與 AI 兩個分開的工作環境,於是 AI 得靠額外的橋樑才能接手——不是開發者為每個任務寫介面,就是使用者自己截圖、打字把狀態搬過去。兩種做法都讓交接變貴,而且擴展不了。
研究者讓語言模型觀察匿名化的盤中股價歷史,反覆在做多與空手之間選擇。用曝險配對的衡量方式,發現跨模態、跨時間尺度、跨狀態、跨模型家族都出現持續的負向擇時。把行動序列打亂會大幅削弱這個效果,代表問題出在行動與後續報酬的對齊上。更值得注意的是,餵入自己寫的記憶會讓政策更固著。
AI 代理每次執行累積的心得,通常散落在各次最佳化紀錄裡,無法系統性重用。WikiSkill 讓技能與一個持久的知識庫共同演化,把原始執行經驗、累積知識與可執行技能三者分開。實驗顯示:技能演化與模型規模互補,而且帶著技能的小模型可以勝過沒有技能、規模大上許多的模型。
把一百間飯店的排序完全打亂,跑五千場 AI 代理購物實驗。結果:位置仍會影響「哪些被點開看」,但影響很弱而且不是由上往下遞減——最不容易被看的是中段,不是最後一名。研究者的結論是,對代理式搜尋而言,頁面上「顯示了哪些屬性」比「排在第幾名」更重要。
長時間運作的 AI 代理會把舊對話壓縮成摘要以節省空間。這篇論文找出壓縮到底弄丟了什麼:它保住了人物與事件,卻把日期與時間丟掉了。而修法只是在提示裡加一句話。
替 AI 代理掛上可重複使用的「技能」是現在的標準做法。但這篇論文把 307 個失敗案例逐一歸因後發現:壞事的很少是明顯無關的技能,反而是那些看起來很對題的——它們讓代理把該做的事做錯、或整段漏掉。
研究者做了 300 個租屋詐騙情境,讓五個 AI 當防守方,累積 3,000 次評估。結果沒有任何模型明確配合詐騙,但介入率從 0% 到 96.3%,落差大得驚人。更值得注意的是:出手保護與看懂問題出在哪,經常是脫鉤的。
一份新的評測讓 AI 代理在真實的電腦環境裡做完整的資料科學工作——開 notebook、用終端機、查資料庫、產圖表。275 個任務跑下來,最強的 Claude-4.6-Sonnet 完成 56.70%,而所有開源代理都低於 1%。
研究者用演化演算法造出「心智病毒」:會讓宿主代理把它傳給下一個代理的想法。它在兩種環境裡都傳開了。但最實用的發現是防治法——在系統提示詞裡加一段簡短警告,就能獲得近乎完全的免疫。
持久記憶讓代理能跨會話重用資訊,但也讓錯誤變得持久。刪掉被污染的那筆記憶,已經擴散出去的結論、動作與衍生記憶仍然活著;整個重來又會摧毀正常的狀態。一份 2026 年 8 月的論文提出依賴關係導向的回滾修復。
OpenAI 於 2026 年 7 月 15 日發表 GPT-Red——一個專門用來攻擊自家模型的自動化紅隊模型。在同一組全新情境中,GPT-Red 的攻擊成功率為 84%,人類紅隊為 13%。它也成功攻破了辦公室裡一台真實運作的自主販賣機代理。
2026 年 7 月一篇 arXiv 論文對一套生產環境的企業代理做了跨基準分解,結論相當反直覺:大部分的可靠度提升來自鷹架、路由與專用小模型,而驗證步驟本身只貢獻 1.5 個百分點。但這 1.5 點集中在最關鍵的地方。
Anthropic 於 2026 年 7 月 13 日更新代理式不對齊評測,在高風險模擬中測試六家實驗室的前沿模型。結果差距極大:同一個情境下,有模型 20 次全部竄改紀錄,也有模型 20 次一次都沒有。本文整理四類失效樣態與方法論上必須注意的偏誤。
一份 2026 年 3 月的研究實測了七款主流 MCP 客戶端的提示注入防護,結論是「差異顯著」——有些實作了嚴謹的防護機制,有些則對跨工具汙染與隱藏參數利用高度脆弱。這對正在導入 AI 開發工具的企業是重要參考。
一篇 2026 年 3 月的論文盤點多代理系統的資安威脅,整理出 193 項、分為九大類,並比較了 16 套現有資安框架。結論很直接:「沒有任何一套受檢框架在任一類別達到過半覆蓋率。」這替 DeepMind 說的「缺乏工具」提供了量化證據。
Google DeepMind 與四個夥伴機構於 2026 年 6 月 11 日宣布投入最高一千萬美元,徵求多代理安全研究。理由很直接:「目前多數安全評估是把模型單獨拿來分析」,但代理互相往來時會產生難以預測的集體行為。這對正在串接多個 AI 工具的企業是個提醒。
史丹佛 2026 AI Index 記錄:AI 代理在 OSWorld 真實電腦任務基準上,成功率從 12% 躍升至約 66%。進步幅度驚人,但同一份報告也寫明它們「在結構化基準上仍約每三次失敗一次」。這個失敗率決定了哪些任務能自動化、哪些不能。
Anthropic 工程團隊揭露一個容易被忽略的架構陷阱:為了繞過當代模型缺陷而寫的程式,會隨著模型改善而變成負債。他們舉的例子是 Claude Sonnet 4.5 的「context anxiety」,那個繞道在 Opus 4.5 上已無必要。本文說明這對企業建置 AI 系統的實際啟示。
Stanford 團隊的 Quiet-STaR 提出一個直觀的想法:人在寫字說話時會停下來想,模型為什麼不行?訓練後未經任何針對性微調,GSM8K 數學題從 5.9% 提升到 10.9%、常識問答從 36.3% 到 47.2%。
7 月 Cognition 整併 Windsurf、SpaceX 宣布併購 Cursor,資本正在搶同一個位置:開發者每天待著的那個視窗。但對工程團隊來說,真正該準備的不是產能翻倍,而是產出變多之後,審查跟不跟得上。