按 token 計價、按時間耗電：一份 H100／H200 實測，揭開 AI 成本會計的錯位
推論服務按 token 收費，但 GPU 的電是按推論時間窗消耗的。這個會計錯位會讓「平均每 token 能耗下降」的同時、「整個請求的總能耗上升」。研究者在 NVIDIA H100 與 H200 上實測，給出具體數字：輸出長度從 10 增到 512 token，每 token 能耗從 7.46 降到 0.72 焦耳，但整批推論窗能耗卻從 1.19 上升到 5.93 千焦。
這篇處理的是一個很少被講清楚的錯位：AI 推論服務是按 token 計價的，但 GPU 的電，是按整段推論時間窗消耗的。這兩個單位不一樣，於是產生了一個會誤導人的現象。
錯位造成什麼結果
論文講得很直接：這個會計錯位讓以 token 為分母的指標變得不完整，因為平均每個輸出 token 的能耗可以下降，同時整個請求的總能耗卻是上升的。
換句話說，你可以拿著「每 token 能耗降低了」的報表，同時把總電費燒得更高。
他們怎麼拆解能耗
研究者用一個分解式的能耗模型：
- 一次性的預填（prefill）＋固定的生成啟動成本 這部分是固定的，跟輸出多長無關
- 每一個輸出 token 的生成步驟，再加上邊際步驟能耗
然後在 NVIDIA H100 與 H200 上，跨稠密模型與混合專家（MoE）模型進行評估，並把請求能耗與 token 能耗都表示成五個變數的函數：模型類型、階段、批次大小、上下文長度、輸出長度。
具體數字（這篇難得給了）
Llama-3.2-1B，在 H200 上，批次 16、上下文 4K
輸出長度從 10 個 token 增加到 512 個 token：
・每 token 能耗：7.46 → 0.72 焦耳／token（下降約九成）
・整批推論窗總能耗：1.19 → 5.93 千焦（上升約五倍）
同一組實驗，兩個指標一降一升。這就是錯位的具體樣貌。
批次處理也能降低 token 能耗，但效益受上下文長度限制：在輸出 10 個 token 的情況下，批次 16 相對批次 1 的增益，從上下文 512 時的 6.31 倍，掉到上下文 4K 時的 1.17 倍。
至於 MoE 模型，論文說它放大了這個效應——稀疏路由與破碎的專家執行，會在低並行度時推高固定能耗；而批次處理則把這些固定能耗攤到更多生成的 token 上，大幅縮小稠密模型與 MoE 之間的 token 能耗差距。
結論
作者的建議很明確：能耗感知的服務調度，應該同時最佳化請求能耗與 token 能耗，而不是只降低每 token 的能耗成本。
對台灣企業的意義
一、如果你在評估自建推論，這是必讀的成本結構。它告訴你成本不是線性的：固定成本（預填與啟動）跟變動成本（每 token）要分開算，而批次策略的效益會被上下文長度吃掉。
二、「上下文塞越多越好」的代價在這裡被量化了。上下文從 512 拉到 4K，批次帶來的能耗增益從 6.31 倍掉到 1.17 倍——幾乎沒了。這對喜歡把整份文件塞進提示詞的用法是個警訊。
三、MoE 模型不是無條件更省。它在低並行度時固定能耗更高。如果你的使用量是零星、低並行的，MoE 的理論效率可能兌現不了。
現在可以怎麼準備
- 把上下文長度當成一個成本變數，而不是免費的。盤點你的提示詞，看有沒有習慣性塞入用不到的內容。
- 如果使用量零星，優先考慮共用服務而非自建。固定成本攤不掉是自建最大的隱形支出。
- 把任務批次化。能累積起來一次處理的，不要一筆一筆送——但也要記得，上下文越長這個好處越小。
可行的解決方案
對絕大多數中小企業，結論其實是不要自建：這篇揭示的成本結構顯示，固定成本需要足夠的並行度才攤得掉，而多數中小企業的用量達不到。
成本會計的另一半，見供應商壅塞時的降級與重試——那篇處理的是同一個錯位在金錢面的樣貌。
真正該做的是縮短上下文——用檢索只取相關段落，而不是把整份文件送進去。這件事同時降低成本與幻覺，是少數兩邊都賺的優化。
需要保留的懷疑
這是 arXiv 預印本，在本文寫作時尚無同儕審查紀錄。
- 具體數字只涵蓋一個模型（Llama-3.2-1B）與一個設定。其他規模與架構的數字摘要未提供，不宜直接外推。
- 測試平台是 H100／H200。不同世代與不同廠牌的加速器，能耗特性可能差異很大。
- 能耗不等於電費。實際成本還涉及散熱、電力效率與電價，論文處理的是前者。
- 摘要未說明測量方法。GPU 能耗的量測方式（例如取樣頻率與是否含整機功耗）會顯著影響數值，這點需要看全文。
常見問題
什麼是預填（prefill）？為什麼它是固定成本？
預填是模型在開始生成之前，先把輸入的提示詞整批讀進去並建立內部狀態的階段。這個階段的工作量取決於輸入有多長，但與輸出多長無關，所以對同一個請求而言它是一次性的。這也是為什麼輸出很短的請求，單位 token 能耗特別高——固定成本只攤到很少的 token 上。
那我應該讓 AI 輸出更長來降低成本嗎？
不建議。數據顯示拉長輸出確實降低每 token 能耗，但總能耗是上升的。如果你按 token 付費，輸出越長付得越多；如果你自建，總電費也更高。這篇的重點不是要你拉長輸出，而是提醒你別用每 token 指標判斷總成本。
縮短上下文會不會讓回答變差？
取決於怎麼縮。無差別截斷會讓答案變差；用檢索只取真正相關的段落則通常不會，甚至會更好，因為模型不必在大量無關內容中找重點。關鍵在於「選得準」而不是「給得多」。
本文出處 Prabhu Vellaisamy、Vanessa Lam、Shawn Blanton、John Paul Shen，"Characterization of Request and Token Energy Costs for LLM Inference Workloads on GPU Platforms"，arXiv:2608.28044，2026 年 8 月 28 日投稿。本文為中文編譯與評論，原始論點著作權屬原作者所有。
圖片出處 Photo: cookiecutter / Pexels（免費授權）。
在評估自建推論或縮短上下文？
甫東科技可以協助你盤點實際用量與上下文長度，算出自建與共用服務的損益平衡點，並規劃以檢索取代整份文件塞入的做法。多數情況下，光是縮短上下文就能同時降低成本與錯誤率。
企業 AI 轉型、RAG 向量庫與數位行銷內訓 ｜ 賴家榮 老師親授
樹德 / 輔英 / 屏東大學兼任講師！手把手帶領企業團隊打造專屬 AI 代理與高轉化品牌流量。
