394 個排行榜名次宣稱，391 個站不住腳——你在比較的那張表，可能什麼都沒證明

如果你曾經拿著某張排行榜截圖決定要用哪個模型，這篇論文的結論值得你停下來：在 394 個相鄰名次的宣稱中，391 個缺乏統計支持——而且這還是在「尚未把隱藏的挑選效應算進去」之前的數字。

問題出在哪裡

論文開宗明義指出：排行榜上的進步可能反映的是「從多個私下評測過的模型變體中挑選」的結果，而變體有幾個、彼此之間的相依性如何，外界都看不到。

這是一個很基本但常被忽略的統計問題：如果你私下訓練了二十個變體，只公布表現最好的那一個，那麼它的領先幅度有多少來自真實能力、多少來自挑選，沒有人分得出來。

他們問了一個很聰明的問題

研究者沒有去猜「供應商到底試了幾個」——那是猜不到的。他們反過來問：一個已經公布的領先幅度，最多能「撐得住」幾個隱藏變體，而仍保有該供應商優於固定比較對象的統計證據？

在高斯邊際模型下，針對固定的候選家族，他們推導出一條敏感度曲線，把這個最大容忍數量表示為「家族內相關性下界」的函數。

實際稽核的結果

他們以題項為基礎，稽核了 Open LLM Leaderboard 上394 個相鄰名次的宣稱，發現391 個在尚未考慮挑選效應之前，就已經缺乏統計支持。

而在少數通過未校正檢定的宣稱中，能否被認證，還取決於對隱藏家族相關性的假設。

論文最後的定位很克制：這些曲線的作用是把這些假設明白攤開來，而不是去估計那個觀察不到的搜尋規模。

我讀完的感想

這篇真正的貢獻不是「抓到誰造假」——它沒有指控任何人。它的貢獻是把一個一直存在、但大家默契不談的問題量化了。

而 391/394 這個比例告訴我們一件事：相鄰名次之間的差距，多數時候根本不是差距。

這與供應商在壅塞時偷偷降級那篇合起來看更完整：你在排行榜上看到的是實驗室條件下的最佳表現，而你實際用到的是尖峰時段被降級過的版本。兩端的落差都不在你的視野裡。

對台灣企業的意義

一、不要用排行榜名次當採購依據。尤其是相鄰名次——這篇告訴你那個順序大概率沒有統計意義。

二、改用你自己的題目測。你需要的不是「它在 MMLU 上第幾名」，而是「它在我的三十個實際問題上答對幾題」。後者才與你的業務相關，而且你測得出來。

三、對「我們在某某榜上第一」這類行銷說法保持距離。可以禮貌地問一個問題：這個領先幅度的信賴區間是多少？答不出來，那個名次就只是行銷素材。

現在可以怎麼準備

• 建立一組固定的自家測試題。三十到五十題就夠，要涵蓋你真正會問的類型，而且你要確知正確答案。
• 每次換模型或換方案都跑同一份。固定不變才有比較基準。
• 記錄的是「答對幾題」，不是「感覺比較好」。主觀印象最容易被語氣流暢度誤導，這一點在微調讓模型更沒把握卻更斷定那篇有更直接的證據。

可行的解決方案

對中小企業，最實際的替代方案是建立自家的小型評測集。成本是一個下午，效益是你從此不需要依賴任何排行榜——因為你有一份針對自己業務的、可重複的比較基準。

這份題庫還有一個附帶好處：日後任何供應商來推銷，你都可以請他當場跑一次。

需要保留的懷疑

這是 arXiv 預印本，在本文寫作時尚無同儕審查紀錄。

• 分析建立在高斯邊際模型上。這是一個統計假設，實際的分數分布若偏離常態，結論會受影響。
• 稽核對象是 Open LLM Leaderboard。其他排行榜的設計與評測方式不同，不宜直接套用這個比例。
• 「缺乏統計支持」不等於「宣稱是假的」。它的意思是現有證據不足以區分兩者，可能確實有差、也可能沒有。
• 論文明白表示不去估計隱藏搜尋規模。因此我們仍然不知道實際上有多少變體被挑選過。

常見問題

什麼是「隱藏變體挑選」？為什麼會影響名次？

指的是供應商在內部訓練並評測多個模型版本，只公布表現最好的那一個。這在統計上會系統性地高估該模型的真實能力，因為你看到的是多次抽樣中的最大值，而不是單次的代表值。試的次數越多，這個高估越嚴重，而外界看不到試了幾次。

那我要怎麼判斷一個模型到底好不好？

用你自己的題目測。建立一組三十到五十題、涵蓋你實際業務場景、而且你確知正確答案的題庫，每次評估都跑同一份。這樣得到的比較基準與你的用途直接相關，也不受任何排行榜設計的影響。

相關性 0.46 和 0.92 的差別為什麼那麼重要？

因為相關性越高，代表同一家族的變體彼此越相似，挑選帶來的高估就越小；相關性低則相反，挑選的影響會被放大。同一份資料因為抽樣方式不同就從 0.46 變成 0.92，意味著任何沒有明確說明抽樣方式的顯著性宣稱，都無法被驗證。

想建立一份屬於自己的模型評測題庫？

甫東科技可以協助你從實際業務場景萃取測試題、建立可重複的評測流程，讓你日後換模型、換供應商時有一致的判斷依據，不必再依賴任何排行榜。

前往甫東科技官網洽談 →