AI 服務塞車時會偷偷降級——這篇把它當成供應鏈問題算了一次，結論是「便宜模型反而更貴」

你有沒有遇過這種狀況：同一個 AI 服務，昨天回答得很好，今天突然變笨？那通常不是你的錯覺，也不是模型變差了——是它在塞車，而供應商選擇了降級。

降級的三種手法

論文開宗明義指出，大型語言模型供應商受算力限制，而他們面對壅塞時的共同反應就是降級服務。原文列了三種：

• 把查詢路由到較小的模型
• 削減推理力度（cut reasoning effort）
• 截斷上下文（truncate context）

這三件事使用者通常察覺不到，只會感覺「今天怎麼怪怪的」。

作者認為現行的成本算法錯在哪

核心論點是：目前的成本會計沒有把「降級後失敗的回應」算進去。而失敗的回應會產生兩種後果——在尖峰時段引發重試，或者直接造成客戶流失。

這兩件事都不會出現在你的 API 帳單上，但都是真實成本。

三個建模工具

論文用了三個建模基元：

• 報童模型（newsvendor framework）　其中「缺貨成本」等於失去的終身價值。這個設定很關鍵——它把一次失敗的回應，換算成失去一個客戶的長期損失。
• 幾何重試乘數　把客戶的不滿意納入重試行為的建模。
• 兩段式暫態佇列　其中到達率是內生的，也就是「重試本身會製造更多流量」。

兩個結論

第一（靜態）：當限制真正綁住時，便宜的模型為了換到一次成功的回應，反而消耗更多產能。

這是整篇最反直覺的一句。單次呼叫確實便宜，但如果它答不好、使用者重試三次才得到可用的答案，總體消耗反而更高。

第二（動態）：被動式的節流可能引發連鎖性的流量上升，而不是緩解壅塞。

因為到達率是內生的——你一節流，回應變差，使用者開始重試，流量不減反增。這是典型的正回饋，系統會自己把自己拖垮。

最後，針對客群異質的情況，論文指出最適節流政策應依臨界比配置資源，而所謂「智慧的影子價格」讓這個配置可以在毫秒尺度上跨客戶類別與時段計算。

對台灣企業的意義

一、你的 AI 成本評估可能少算了一大塊。如果你只用「每百萬 token 多少錢」在比較方案，這篇告訴你漏了什麼：重試次數、失敗率、以及失敗造成的實際損失。

二、「選便宜的模型省錢」需要驗證，不能假設。在你的實際場景裡，便宜模型要重試幾次才能得到可用結果？這個數字沒量過，就不知道到底有沒有省到。

成本的另一面是能耗：按 token 計價、按時間耗電那篇實測出同一個錯位在電力上的樣貌。

三、服務品質的波動要納入規劃。既然供應商會在壅塞時降級，你的系統就不能假設品質恆定。重要流程要有人工檢核點。

現在可以怎麼準備

• 記錄重試率。這是最容易被忽略、也最便宜的量測。把「一個任務實際呼叫了幾次才得到可用結果」記下來，跑一個月。
• 算一次真實單位成本。用「總花費 ÷ 成功完成的任務數」，而不是「總花費 ÷ 呼叫次數」。兩個數字通常差很多。
• 在尖峰時段另外量一次。若你的客戶是透過AI 代理來比較，請求量本來就會比人工瀏覽高出許多。既然降級與壅塞有關，離峰的測試結果會過度樂觀。

可行的解決方案

務實的做法是分級路由：把任務分成「答錯了沒關係」與「答錯了會出事」兩類，前者用便宜模型、後者用穩定的方案，並在後者加上人工確認。

不要用單一模型處理所有任務——那等於讓最不重要的任務跟最重要的任務搶同一份產能。

需要保留的懷疑

這是 arXiv 預印本，在本文寫作時尚無同儕審查紀錄。

• 這是理論建模研究，不是對真實供應商的實測。三個模型基元都是分析工具，摘要未顯示以實際服務資料進行校準。
• 「供應商會降級」是論文的前提陳述，摘要未提供佐證資料。各家的實際做法不公開，這一點無從驗證。
• 摘要未提供任何量化結果。便宜模型多消耗多少產能、節流引發多少額外流量，都沒有數字。
• 「缺貨成本等於失去的終身價值」是一個相當強的假設。實務上一次不好的回應未必導致客戶流失，這個設定會放大結論。

常見問題

我怎麼知道服務有沒有被降級？

從外部通常無法確認，因為路由與推理力度的調整不會對外揭露。可行的間接做法是建立一組固定題目，在不同時段重複測試並記錄答案品質與回應長度，觀察是否有系統性的時段差異。這不能證明降級，但能讓你及早察覺品質波動。

「真實單位成本」該怎麼算才對？

建議用「該期間總花費 ÷ 該期間成功完成的任務數」，而不是除以 API 呼叫次數。差別在於分母是否只計算「真正產出可用結果」的那些。如果一個任務平均要呼叫三次才可用，兩種算法會差三倍。

分級路由會不會讓系統變複雜？

會，但複雜度可以控制在很低的程度。實務上不需要做到自動判斷，多數情況用「依流程類型固定指派」就足夠——例如內部草稿用便宜方案、對外文件用穩定方案。真正需要動態路由的規模，多數中小企業還沒到。

想知道你的 AI 真實單位成本是多少？

甫東科技可以協助你量一次實際的重試率與成功任務單位成本，並依任務風險做分級路由的規劃。多數公司算完之後才發現，省錢的地方跟原本以為的不一樣。

前往甫東科技官網洽談 →