AI Agents / 自主代理

一千萬美元找答案:當 AI 代理開始互相對話,現有的安全測試就失效了

賴家榮 Andy Lai - FULLDOT news 發表文章的作者
賴家榮 Andy Lai
FULLDOT news 總編輯 · SAIP-TAIWAN CAIO
2026-08-03 15:30:00 | 出處: Google DeepMind, "Investing in multi-agent AI safety research"
一千萬美元找答案:當 AI 代理開始互相對話,現有的安全測試就失效了 | FULLDOT news
發表文章的作者 賴家榮 觀點劃重點

Google DeepMind 與四個夥伴機構於 2026 年 6 月 11 日宣布投入最高一千萬美元,徵求多代理安全研究。理由很直接:「目前多數安全評估是把模型單獨拿來分析」,但代理互相往來時會產生難以預測的集體行為。這對正在串接多個 AI 工具的企業是個提醒。

Google DeepMind 於 2026 年 6 月 11 日宣布,聯合 Schmidt Sciences、Cooperative AI Foundation、英國 ARIA 與 Google.org,投入最高一千萬美元徵求多代理安全研究提案。申請截止日為 2026 年 8 月 8 日,預計於秋季公布獲選者。

比金額更值得注意的是他們給的理由。

先界定:多代理的風險跟單一模型不同

官方說明指出:「目前多數安全評估是把模型單獨拿來分析。」但當大量代理互相往來時,「新的集體行為與能力可能突然湧現」。

最關鍵的一句是:「我們缺乏預測、衡量與監測這些轉變的工具。」

這個差別用交通來理解最清楚:你可以把一輛車的煞車、轉向、安全氣囊都測到完美,但那測不出塞車。塞車不是任何一輛車的故障,是很多車互動之後才出現的現象。

單一模型的評估就是在測那輛車。多代理安全要測的是整條路上會發生什麼。

他們想找的四個方向

  • 沙盒與測試環境 建立可重現的環境來評估多代理安全,例如虛擬市集、模擬生態系與跨組織工作流。
  • 代理網路的科學 理解集體能力如何湧現與擴大、網路如何失效或變得不穩定。
  • 強化代理基礎建設 測試身分、信譽與承諾的協定,確保跨平台代理互動的安全。
  • 監督與控制 開發監測已部署代理群體的方法,並在規模化時緩解集體危害。

第三項對企業最有感。當你的代理要跟供應商的代理往來時,怎麼確認對方是誰?這個問題目前沒有標準答案,而它會在 B2B 自動化真正落地時立刻浮現。

邊界:什麼情況下你不必擔心這件事

「多代理」這個詞被用得很鬆,很多情況其實不算。

  • 單一代理呼叫多個工具——不算。工具是被動的,不會自己發起行動。
  • 多個代理但都在你的控制之下——風險可控。你能一次關掉全部。
  • 代理與外部組織的代理互動——這才是研究要處理的情境。對方的行為你無法控制,也看不到內部狀態。

多數台灣企業目前還在第一階段。真正的分水嶺是:有沒有一個你不能單方面關掉的代理,正在代表你做決定。

對台灣企業的意義

這則消息本身是研究資助,跟多數企業沒有直接關係。但它揭示的時間點很有用:頂尖研究機構現在才開始投錢建立測量工具,代表這個領域目前沒有成熟的評估方法。

推論很直接:如果有廠商向你推銷「多代理協同自動化」,並宣稱安全無虞,合理的追問是「你們用什麼方法驗證的」。連 DeepMind 都說缺乏工具的領域,很難有現成的驗證答案。

這與我們談過的單一代理仍有三分之一失敗率是同一件事的兩個層次:單體可靠度還不夠,群體行為則連怎麼測都還在研究。務實的順序是先把單一代理的失敗成本管好,再談串接。

另外,第三項「身分與信譽協定」值得放進中期觀察清單。B2B 自動化若要跨組織運作,這層基礎建設是前提,而它現在還不存在——這意味著跨公司的代理協作,短期內仍需要人在中間確認。

需要保留的懷疑

資助方同時是這個領域最大的商業參與者之一。研究議程由誰設定,會影響哪些問題被優先解決——這不代表研究本身有問題,但值得記得。

另外,「湧現行為」目前仍是研究語彙而非已量化的現象。把它當成「已知風險」來規劃防護措施,可能會過度投資在還沒有明確樣貌的問題上。這則消息比較適合當成時間點的訊號——告訴你哪些技術還沒成熟到可以無條件信任。

常見問題

多代理安全跟單一模型的安全評估差在哪?

單一模型評估是把模型獨立分析,多代理安全處理的是代理互相往來時產生的集體行為。Google DeepMind 指出多數安全評估目前仍以單獨模型為對象,但大量代理互動時可能突然湧現新的集體行為與能力,而業界「缺乏預測、衡量與監測這些轉變的工具」。可類比為:測試單一車輛的煞車與轉向,無法預測塞車。

我公司用的是單一 AI 代理呼叫多個工具,算多代理系統嗎?

不算。工具是被動元件,不會自主發起行動。多個代理但全在自己控制之下的情況風險也相對可控,因為可一次全部停止。真正需要關注的是與外部組織的代理互動——對方行為無法控制、內部狀態也看不到。判準是:是否有一個你無法單方面關閉的代理正代表你做決定。

廠商推銷多代理自動化方案時該問什麼?

可詢問其安全性的驗證方法。由於頂尖研究機構在 2026 年才投入資源建立多代理安全的測量工具,代表此領域尚無成熟的評估方法。若廠商宣稱安全無虞卻無法說明驗證方式,該宣稱缺乏依據。建議先確保單一代理的失敗成本可控,再考慮跨系統串接。

下一步

在跨組織串接之前,先確認單一代理的失敗成本。可搭配MCP 協定的權限設計一起看——最小權限與人工核可,是目前少數不會過時的防護。

出處

本文內容出自 Google DeepMind 官方部落格〈Investing in multi-agent AI safety research〉,2026 年 6 月 11 日發布,deepmind.google。加註引號者為原文中譯。

資助方為 Google DeepMind、Schmidt Sciences、Cooperative AI Foundation、Advanced Research and Invention Agency(ARIA)與 Google.org,金額上限一千萬美元,提案截止日 2026 年 8 月 8 日。

AI 講師 賴家榮 Andy Lai
專業 AI & 行銷講師

企業 AI 轉型、RAG 向量庫與數位行銷內訓 | 賴家榮 老師親授

樹德 / 輔英 / 屏東大學兼任講師!手把手帶領企業團隊打造專屬 AI 代理與高轉化品牌流量。

本篇文章出處來源聲明
MEDIA CITATION
原始發行媒體 Google DeepMind, "Investing in multi-agent AI safety research"
發表文章的作者 賴家榮 Andy Lai