同一個模型、同一句提示、同一台機器，答案卻不一樣——問題出在數值精度
貪婪解碼通常被當成確定性的：同樣的輸入就會有同樣的輸出。這篇證明它並非精度不變——同一個模型、同一段提示、同一套解碼演算法，在同一台硬體上以 BF16 與 FP16 執行會產生不同輸出。跨六個模型與三個基準測試，有 49% 到 100% 的提示出現分歧。
如果貴公司靠「同樣的輸入應該得到同樣的輸出」來做品質控制或稽核，這篇論文會讓你重新檢查那個前提：它不成立，而且分歧比例最高到 100%。
大家原本怎麼以為
論文開頭直接點破：從大型語言模型進行貪婪解碼，通常被當成確定性的。
這個假設在實務上被大量依賴——你要做回歸測試、要驗證修改沒有改壞東西、要在稽核時證明「當時的輸入會產生這個輸出」，全都建立在「同樣輸入就有同樣輸出」上。
實測結果
同一個模型、同一段提示、同一套解碼演算法、同一台硬體——
只是把數值精度從 BF16 換成 FP16，輸出就不一樣。
跨六個模型與三個基準測試，49% 到 100% 的提示出現分歧。
注意這裡的變因有多小：不是換模型、不是換機器、不是調溫度，只是改了浮點數的表示方式。
原因在哪裡
研究團隊的實證分析指出，結果主要取決於語言模型輸出頭（LM head）上的 logit 邊際，相對於前幾個候選之間擾動的大小。
白話說：當第一名和第二名的分數差距很小時，數值精度造成的微小誤差就足以讓排序翻轉。而一旦第一個 token 選了不同的字，後面整段就會愈走愈遠。
他們的緩解方法
表現最好的介入是選擇性的 FP32 重算——當邊際低於門檻時才觸發。
- 在 A10G 上達成 +22 到 +36 個百分點的完全一致性提升
- 在低批次推論下，延遲開銷低於 4%
但論文同時誠實說明限制：在較高的批次大小、以及全 FP8 精度下，效果會遞減。
我讀完的感想
這篇的重要性在於它戳破的是一個基礎設施層的假設，而不是模型能力的問題。
多數人談 AI 的不確定性時，想到的是「溫度設 0 就好了」。這篇告訴你，溫度設 0 之後仍然有不確定性，而且來源在你通常不會去看的地方——量化與精度設定。
這與按 token 計價、按時間耗電那篇是同一類問題：你以為在比較的東西，和你實際拿到的東西，中間隔著一層你看不見的基礎設施決策。
對台灣企業的意義
這也讓排行榜上的名次比較更值得懷疑：如果同一個模型在不同精度下輸出就會分歧，那麼跨供應商的分數比較，中間還隔著多少未揭露的設定差異？
一、不要用「輸出一致」當成回歸測試的通過標準。如果你的供應商在某次更新中改了精度設定，你的測試會全紅，但模型其實沒變。反過來也一樣——測試全綠不代表沒變。
二、稽核紀錄要存輸出，不能只存輸入。如果你的合規流程預設「我們保留輸入，需要時可以重現輸出」，這篇告訴你那個重現不保證成立。實際的輸出必須當下就存下來。
三、換供應商或換方案時，精度設定要問。這是一個很少被列進評估清單、但會直接影響可重現性的項目。
現在可以怎麼準備
- 檢查你的稽核設計。如果有任何流程依賴「事後重跑可以得到同樣結果」，現在就要改成當下保存輸出。
- 回歸測試改用「語意一致」而非「字元一致」。例如檢查抽取出來的欄位值是否相同，而不是整段文字是否逐字相同。
- 把精度設定列入供應商問卷。問清楚使用什麼精度、是否可能在不通知的情況下變更。
可行的解決方案
對多數中小企業，最務實的做法不是去控制精度（你多半控制不了），而是把系統設計成不依賴逐字重現：
- 需要稽核的場景，當下就把輸出存檔並加上時間戳
- 需要驗證的場景，驗證的是結構化的結果（欄位、分類、數值），不是自由文字
這個設計原則同時也讓你未來換模型時痛苦少很多。
需要保留的懷疑
這是 arXiv 預印本，在本文寫作時尚無同儕審查紀錄。
- 摘要未列出六個模型與三個基準測試是哪些。49–100% 這個區間很寬，無法判斷什麼條件下落在哪一端。
- 緩解方法的數據只在 A10G 上量測。其他加速器的效果與開銷未知。
- 「輸出分歧」不等於「品質下降」。分歧的兩個答案可能都正確。論文測的是一致性，不是正確性。
- 在高批次與 FP8 下效果遞減，而高批次正是生產環境常見的配置——這一點限制了緩解方法的實用範圍。
常見問題
把溫度設成 0 不就是確定性的嗎？
溫度設 0 讓「選擇規則」變成確定性的（永遠選分數最高的），但沒有讓「分數的計算」變成確定性的。這篇指出的正是後者：在不同數值精度下，計算出來的分數會有微小差異，當前兩名分數接近時就足以翻轉排序。所以溫度為 0 只消除了取樣的隨機性，沒有消除數值層的差異。
分歧了代表答案變差嗎？
不一定。論文測量的是輸出是否一致，不是哪一個比較正確。兩個不同的輸出可能都是可接受的答案。真正的問題不在品質，而在於任何依賴「可重現」的流程——回歸測試、稽核舉證、A/B 比較——都會失去前提。
我該要求供應商固定精度嗎？
可以問，但多數情況下你不會有決定權，而且固定精度可能犧牲成本或速度。更實際的做法是把系統設計成不依賴逐字重現：當下保存輸出、以結構化欄位而非自由文字做驗證。這樣不論供應商怎麼調整，你的流程都站得住。
本文出處 Gaoyuan Du、Anam Nawaz Khan、Rex Zhou、Xiaoyang Liu、Deepayan Chakrabarti、Fnu Suya、Xueping Li，"Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference"，arXiv:2609.26621，2026 年 9 月 22 日投稿。本文為中文編譯與評論，原始論點著作權屬原作者所有。
圖片出處 Photo: sejio402 / Pexels（免費授權）。
你的稽核流程依賴「事後能重現」嗎？
甫東科技可以協助你檢視 AI 相關流程對可重現性的依賴點，把驗證方式改成結構化欄位比對，並設計當下留存輸出的稽核機制，避免在真的需要舉證時才發現重現不了。
企業 AI 轉型、RAG 向量庫與數位行銷內訓 ｜ 賴家榮 老師親授
樹德 / 輔英 / 屏東大學兼任講師！手把手帶領企業團隊打造專屬 AI 代理與高轉化品牌流量。
