NVIDIA 團隊的立場書：代理系統的未來是小模型，而不是越換越大的那條路
代理式 AI 帶來大量「重複執行少數專門任務、變化很小」的應用場景。這份立場論文主張：對代理系統中的許多呼叫而言，小型語言模型已經夠強、本質上更合適、而且在經濟上是必然的選擇。論文同時提出一套從大模型轉換到小模型的代理轉換流程，並討論採用的阻礙。
這份立場論文的主張，對正在被 AI 帳單壓得喘不過氣的中小企業來說是個好消息：代理系統裡的大多數呼叫，根本不需要最強的模型。
他們的論點從哪裡出發
論文先指出一個現況的錯配。大型語言模型之所以被稱讚，是因為它在廣泛任務上接近人類表現，以及能進行一般性對話的能力。
但代理式 AI 系統的興起，帶來的是大量「語言模型重複執行少數專門任務、而且變化很小」的應用。
這裡就出現問題了：你付錢買的是「什麼都能聊」的通用能力，實際用到的卻是「把這段文字轉成 JSON」重複五千次。
三個主張
論文的立場是，對代理系統中的許多呼叫而言，小型語言模型：
- 已經夠強（sufficiently powerful）
- 本質上更合適（inherently more suitable）
- 在經濟上是必然（necessarily more economical）
而且他們把論證建立在三個具體基礎上：小模型目前實際展現的能力水準、代理系統常見的架構、以及語言模型部署的經濟學。
那需要對話能力的時候怎麼辦？
論文的答案是異質代理系統（heterogeneous agentic systems）——也就是一個代理會呼叫多個不同的模型。
需要通用對話能力的環節用大模型，其餘重複性的專門任務用小模型。這不是折衷，論文認為這是「自然的選擇」。
他們也給了轉換方法
論文不只提出立場，還概述了一套通用的「大模型到小模型」代理轉換演算法，並討論了小模型在代理系統中被採用的潛在阻礙。
最後，他們把自己的立場明確定位為價值陳述（value statement），強調即使只是部分地從大模型轉向小模型，對 AI 代理產業的營運與經濟衝擊都是顯著的。
我讀完的感想
這篇和WikiSkill 的「小模型配技能可勝過更大的無技能模型」是同一個方向的兩個證據，但路徑不同：WikiSkill 談的是「讓小模型學會東西」，這篇談的是「本來就不需要那麼大」。
兩者合起來，對中小企業的意義很明確——你的成本曲線不一定要跟著模型規模走。
要提醒的是，這是一份立場論文（position paper），不是實驗報告。它的價值在於論證與框架，不在於提供實測數據。這一點讀的時候要放在心上。
對台灣企業的意義
另一份研究從完全不同的角度得到相近的結論：代理在職場任務上的瓶頸，幾乎全部發生在「找齊資料」之前，而不是拿到資料之後。換更大的模型，解不了那一段。
一、先盤點你的呼叫在做什麼。多數公司沒做過這件事。把實際的 AI 呼叫分類，你多半會發現七成以上是格式轉換、分類、摘要這類重複性任務——那些正是論文說「不需要大模型」的部分。
二、異質架構的維運成本要先算進去。同時接兩三個模型，代表更多的介面、更多的錯誤處理、更多的測試。省下的模型費用要扣掉這筆。
三、小模型對資料須留在本地的產業特別有意義。醫療、法律與部分製造場景無法把資料送到外部，本地小模型讓這些場景變得可行。
現在可以怎麼準備
- 分類你的呼叫。抓一週的實際使用紀錄，分成「需要理解與判斷」與「重複的格式化工作」兩類，算出比例。
- 挑一個最單純的任務試小模型。例如把客戶來信分類到五個類別。用你自己的題庫測準確率，不要看感覺。
- 把切換成本算清楚。包含開發、測試與維運，不只是 API 單價的差額。
可行的解決方案
務實的順序是從最邊緣、最重複的任務開始換，而不是一次改造整個系統。先換一個，量三個月，確認準確率與維運成本都可接受，再擴大。
這個順序同時也降低風險：邊緣任務出錯的代價小，你有犯錯的空間。
需要保留的懷疑
這是 arXiv 預印本，在本文寫作時尚無同儕審查紀錄。
- 這是立場論文，不是實驗研究。論文自己就是這樣定位的，因此不提供對照實驗數據。
- 摘要未定義「小型語言模型」的規模界線。多小算小，需要看全文。
- 作者群任職於 NVIDIA。這不必然影響論證品質，但讀者應知道其產業位置——硬體供應商在「模型小型化、部署分散化」的趨勢中並非中立。
- 投稿於 2025 年 6 月，至 2026 年 9 月已多次改版。本文引用的是摘要當前版本；小模型的能力水準在這段期間變動很大，具體的能力宣稱應以最新版本為準。
常見問題
小型語言模型到底多小？
論文摘要未給出明確的參數量界線。實務上這個詞通常指可在單張消費級或工作站級顯示卡上執行的規模，但不同文獻定義不一。評估時建議直接以「能不能在你打算部署的硬體上跑」為判準，比糾結參數量更實際。
異質代理系統會不會讓架構太複雜？
會增加複雜度，這是真實成本。但複雜度可以控制在低程度：多數情況只需要兩層——重複性任務走小模型、需要判斷的走大模型，用固定規則指派而非動態路由。真正需要複雜路由的規模，多數中小企業還沒到。
換成小模型，品質下降怎麼辦？
關鍵在於挑對任務。格式轉換、分類、抽取這類任務，小模型的表現通常足夠；需要跨領域常識或長鏈推理的任務則不適合。務實的做法是用自己的題庫逐項實測，而不是整批切換後再看整體感覺。
本文出處 Peter Belcak、Greg Heinrich、Shizhe Diao、Yonggan Fu、Xin Dong、Saurav Muralidharan、Yingyan Celine Lin、Pavlo Molchanov，"Small Language Models are the Future of Agentic AI"，arXiv:2506.02153，2025 年 6 月 2 日投稿，至 2026 年 9 月仍持續改版並被每日論文彙整收錄。本文為中文編譯與評論，原始論點著作權屬原作者所有。
圖片出處 Photo: sejio402 / Pexels（免費授權）。
想知道你有多少 AI 呼叫其實用不到大模型？
甫東科技可以協助你盤點實際呼叫的任務類型與比例，算出切換的損益平衡點，並從風險最低的任務開始試。多數公司盤完才發現，真正需要最強模型的比例比想像中低很多。
企業 AI 轉型、RAG 向量庫與數位行銷內訓 ｜ 賴家榮 老師親授
樹德 / 輔英 / 屏東大學兼任講師！手把手帶領企業團隊打造專屬 AI 代理與高轉化品牌流量。
