把模型關在隔離網段裡就安全了嗎？研究者用「允許外流的診斷資料」把機密帶了出去

很多企業導入 AI 時的安全設計是：把模型放在地端、關進隔離網段，只讓診斷資料出去。這篇論文證明這個設計有一個不容易察覺的破口。

攻擊的前提

論文設定的情境正是許多企業的實際做法：注重隱私的組織在受限或實體隔離（air-gapped）的環境中運行大型語言模型，同時匯出選定的診斷產出。

那些診斷資料通常是給維運看的——延遲、資源用量、中間層的激活值統計等等，看起來完全無害。

破口在哪裡

他們證明：一個被入侵的執行期元件，可以把敏感資訊藏進那些「被允許離開受限環境」的中間激活值裡。而離線的觀察者只要用一個簡單的線性解碼器就能把資訊還原。

怎麼做到的

論文提出的是殘差流隱蔽通道攻擊：把訊息映射成碼字，透過一個被入侵的執行期掛鉤注入中間的殘差流。

為了維持可還原性，注入強度會依據本地殘差範數縮放，使用訊號對殘差範數比。這個設計是關鍵——它讓注入的訊號大小隨著正常訊號起伏，因此不會在統計上顯得突兀。

實測數字

• 跨十一個模型、七個架構家族
• 九個模型的還原率為 91% 到 100%
• KL 散度僅 0.001 到 0.007——也就是對模型輸出的分布幾乎沒有影響
• 而被評估的激活層偵測器表現接近隨機猜測（AUC ≤ 0.56）

論文並指出：經測試的事後防禦手段無法可靠地消除這個通道。

結論那句話很精準：一個激活資料可以完全符合綱要規範，卻同時承載著未經授權跨越邊界的資訊。

我讀完的感想

這篇的價值在於它挑戰的是一個被當成常識的安全假設——「只讓無害的資料出去就安全了」。

問題在於「無害」是由資料的格式判定的，而這個攻擊產生的資料格式完全合規。你的檢查通過了，因為你檢查的是形狀，不是內容。

這和排行榜宣稱缺乏統計支持那篇是同一種結構的問題：通過了檢查，不代表檢查驗證了你以為它驗證的那件事。

對台灣企業的意義

一、這是一個供應鏈與內部威脅問題，不是網路防護問題。攻擊的前提是「執行期元件被入侵」。所以真正該加強的是元件來源的驗證與變更管控，而不是再多加一層防火牆。

二、地端部署不等於安全。很多企業選擇地端就是為了資料不出去。這篇提醒你：出去的路徑不只有一條，而診斷資料那條常常沒人看守。

三、要對「允許外流的資料」重新分類。多數公司把診斷資料歸為低敏感度，因此管控寬鬆。這個假設需要重新檢視。

現在可以怎麼準備

• 盤點有哪些資料被允許離開受管環境。包含日誌、監控指標、效能診斷、模型中間產物。很多公司從沒完整列過這張清單。
• 檢查執行期元件的來源與更新流程。誰可以更新推論服務的元件？有沒有簽章驗證？這是本篇攻擊的入口。
• 對外流資料採最小化原則。只匯出維運真正需要的彙總指標，不要匯出原始的中間激活值。

可行的解決方案

對多數中小企業，最有效也最便宜的措施是減少外流資料的種類與精細度——把「匯出中間激活值」改成「匯出彙總後的統計指標」。

這不是完整的防禦，但它大幅壓縮了可用的通道容量，而且成本接近零。完整的防禦需要元件供應鏈驗證，那是規模到一定程度才需要投入的。

需要保留的懷疑

這是 arXiv 預印本，在本文寫作時尚無同儕審查紀錄。

• 攻擊前提是執行期元件已被入侵。這是一個不低的門檻；若攻擊者已能做到這一步，可能也有其他攻擊路徑。論文的貢獻在於指出「即使出口受控也擋不住」。
• 十一個模型中有九個達 91–100%，另外兩個的表現摘要未說明。因此不能說對所有架構都成立。
• 「被評估的偵測器」範圍有限。摘要未列出測試了哪些偵測方法，可能有未涵蓋的防禦手段。
• 這是實驗室條件下的驗證，不是真實事件。目前沒有證據顯示此手法已被實際使用。

常見問題

什麼是「殘差流」與「激活值」？

激活值是模型在運算過程中各層產生的中間數值，殘差流則是這些數值在層與層之間傳遞的主要路徑。維運上常會匯出這些數值的統計資料來診斷效能或偵錯。這篇的攻擊正是利用這條被視為無害的匯出路徑。

我們用的是雲端 API，不是地端部署，會受影響嗎？

這篇的威脅模型針對的是自行運行模型並匯出診斷資料的情境。使用雲端 API 的企業不直接適用，但背後的原則仍值得借鏡：任何「被允許離開的資料」都應該檢視其內容能承載什麼，而不只是檢視格式是否合規。

既然事後防禦無法可靠消除，那該怎麼辦？

重點往前移到兩件事：一是元件供應鏈的驗證與變更管控，因為攻擊的前提是執行期元件被入侵；二是最小化外流資料的精細度，用彙總統計取代原始中間值。後者中小企業現在就能做，成本接近零。

你的地端 AI 有哪些資料被允許外流？

甫東科技可以協助你盤點受管環境的資料出口清單、檢視執行期元件的來源與更新管控，並把外流資料最小化到維運真正需要的程度。

前往甫東科技官網洽談 →