智能能力密度崛起猜想

從單一參數規模定律到總資源—能力—效率聯合規模律

英文工作名： The Intelligence-Density Emergence Conjecture: From Parameter Scaling to a Joint Resource–Capability–Efficiency Scaling Law
作者： Neo.K
機構： EveMissLab／一言諾科技有限公司
文件性質： 命題猜想論文／AI 產業方法論／可持續修訂稿
版本： v0.1
日期： 2026-07-18

摘要

近年大型語言模型的能力提升，長期受到規模定律支配：增加參數、資料與訓練算力，通常能帶來更低的損失與更強的泛化能力。本文不否定規模定律，反而主張其仍將持續有效。然而，隨著模型推理 Token 消耗、資料中心電力、HBM、冷卻、網路頻寬、晶片供給與建設時空間逐漸成為現實瓶頸，產業的主要競爭單位可能從「誰能製造最大的模型」，轉向「誰能在相同或更低總資源下維持接近前沿的有效能力」。

本文提出「智能能力密度崛起猜想」：

當前沿模型能力持續提高，而電力、算力、記憶體與推理成本的增長速度超過可接受範圍時，產業將系統性轉向智能壓縮、稀疏啟用、蒸餾、量化、架構重組、推理編譯、動態路由與專用晶片協同；以相同甚至更低參數量，保留特定任務域內接近前沿模型的能力，將由旁支研究逐步轉為主流產業。

本文進一步區分：

前沿探索模型：以巨大總資源探索新能力；
能力壓縮模型：將前沿能力轉移至較小、較快、較便宜的模型；
系統智能模型：利用工具、記憶、驗證器與多 Agent，使較小模型取得接近大型模型的任務成功率；
智能編譯基礎設施：在模型、晶片、Token、記憶體與能源之間進行動態最佳化。

本文的中心命題不是「小模型全面等於大模型」，而是：

\boxed{ \text{在明確任務分布與可靠性條件下，最小充分模型將成為主要工程目標。} }

最後，本文提出可證偽條件、產業預測與觀察指標，用以判斷智能能力密度是否真的會成為下一階段 AI 競爭的主軸。

關鍵詞： 規模定律、智能能力密度、模型壓縮、蒸餾、MoE、量化、推理成本、電力、AI 晶片、最小充分模型

一、問題意識

1.1 規模定律仍然有效

本文的出發點不是：

\text{規模定律已失效}

而是：

\boxed{ \text{規模定律仍然有效，但「需要擴大的對象」正在增加。} }

早期對規模定律最直觀的理解是：

\text{參數量增加} + \text{訓練資料增加} + \text{訓練算力增加} \rightarrow \text{模型能力提升}

然而，隨著模型進入長上下文、長程推理、工具使用、多 Agent、Computer Use 與持續工作環境，能力不再只取決於模型內部參數。

更完整的能力函數可能是：

Q = F \left( P_{\mathrm{total}}, P_{\mathrm{active}}, D, C_{\mathrm{train}}, C_{\mathrm{test}}, A, H, V, M, I \right)

其中：

$Q$ ：有效能力；
$P_{\mathrm{total}}$ ：總參數量；
$P_{\mathrm{active}}$ ：每次推理實際啟用參數；
$D$ ：資料數量、品質與結構；
$C_{\mathrm{train}}$ ：訓練計算；
$C_{\mathrm{test}}$ ：推理時計算；
$A$ ：模型架構；
$H$ ：Agent harness 與工具環境；
$V$ ：驗證器與錯誤修正；
$M$ ：外部記憶與檢索；
$I$ ：物理基礎設施。

因此，參數只是整體能力系統的一個變數。

1.2 為什麼單純擴大參數會遭遇現實瓶頸？

即使規模定律成立，也不代表產業可以無限制地沿單一路線擴張。

大型模型的現實成本包括：

訓練電力；
推理電力；
HBM 與記憶體頻寬；
晶片供給；
資料中心冷卻；
網路互連；
土地與基礎設施；
推理 Token 消耗；
延遲；
模型部署與維護；
晶片世代更新所需時間。

因此，AI 擴張受制於：

R_{\mathrm{physical}} = (E,B,K,N,L,T)

其中：

$E$ ：能源；
$B$ ：記憶體頻寬；
$K$ ：冷卻能力；
$N$ ：網路；
$L$ ：土地與建設；
$T$ ：建設與製造時間。

模型能力可以快速提高，但現實基礎設施無法以相同速度瞬間擴張。

這形成：

\frac{dQ}{dt} > \frac{dR_{\mathrm{physical}}}{dt}

當能力需求增長速度長期高於物理供給速度，效率最佳化就不再只是選項，而會成為產業必需。

二、核心命題

2.1 智能能力密度崛起猜想

本文提出：

命題猜想一：智能能力密度崛起猜想。
當前沿模型持續提高能力，而能源、晶片、記憶體、Token、延遲與成本逐漸成為主要限制時，產業競爭將從追求最大模型，逐步轉向追求單位參數、單位啟用參數、單位 Token、單位焦耳、單位時間與單位成本所能承載的有效智能。

形式化為：

\rho_{\mathrm{intelligence}} = \frac{Q_{\mathrm{effective}}} {R_{\mathrm{consumed}}}

其中：

$Q_{\mathrm{effective}}$ ：完成真實任務的有效能力；
$R_{\mathrm{consumed}}$ ：完成該任務消耗的總資源。

當：

\frac{dR_{\mathrm{consumed}}}{dt} > \frac{dQ_{\mathrm{effective}}}{dt}

產業將提高對：

\frac{Q_{\mathrm{effective}}}{R_{\mathrm{consumed}}}

的重視。

2.2 規模定律不會消失，而會多維化

本文提出：

命題猜想二：多重規模律轉換猜想。
AI 規模定律將由單一參數規模，轉化為模型、資料、訓練、推理、系統與基礎設施共同作用的聯合規模律。

即：

Q = F \left( S_M, S_D, S_T, S_I, S_H, S_P \right)

其中：

$S_M$ ：模型規模；
$S_D$ ：資料規模；
$S_T$ ：訓練規模；
$S_I$ ：推理時計算規模；
$S_H$ ：Agent、工具與記憶系統規模；
$S_P$ ：物理基礎設施規模。

規模律不再只是：

Q\propto P^\alpha

而更接近：

Q = k P_{\mathrm{active}}^\alpha D^\beta C_{\mathrm{test}}^\gamma H^\delta V^\epsilon I^\zeta

此式不是既成實證定律，而是本文提出的結構性猜想。

2.3 最小充分模型猜想

命題猜想三：最小充分模型猜想。
在明確任務分布、成本上限與可靠性標準下，產業將優先尋找能滿足需求的最小模型，而非無條件使用最大模型。

設任務分布為 $\mathcal D$ ，模型能力向量為：

\mathbf Q(M,\mathcal D) = ( q_1,q_2,\ldots,q_n )

所需最低能力為：

\mathbf Q_{\mathrm{required}}

則最佳模型為：

M^\ast = \arg\min_M \operatorname{Cost}(M)

subject to：

\mathbf Q(M,\mathcal D) \geq \mathbf Q_{\mathrm{required}}

其中成本可以包括：

\operatorname{Cost}(M) = w_EE+w_LL+w_MM+w_TT+w_CC

$E$ ：能源；
$L$ ：延遲；
$M$ ：記憶體；
$T$ ：Token；
$C$ ：金錢成本。

三、智能能力密度的多種定義

3.1 每總參數能力

\rho_{\mathrm{total}} = \frac{Q}{P_{\mathrm{total}}}

這適用於比較模型的總容量與有效能力。

但對 MoE 模型而言，總參數量不等於每次推理成本，因此不能單獨使用。

3.2 每啟用參數能力

\rho_{\mathrm{active}} = \frac{Q}{P_{\mathrm{active}}}

此指標更接近實際推理成本。

當：

P_{\mathrm{total}}\gg P_{\mathrm{active}}

模型可以保留巨大總容量，同時降低每次推理啟用成本。

3.3 每 Token 智能

\rho_T = \frac{Q}{N_{\mathrm{tokens}}}

若兩個模型都能完成相同任務，但其中一個需要更少輸出 Token、更少重試與更短推理鏈，則其 Token 效率更高。

然而，必須防止模型只是縮短答案而失去可靠性。

3.4 每焦耳智能

\rho_E = \frac{Q}{E_{\mathrm{joules}}}

這可能成為未來最重要卻最難公開測量的指標之一。

它會受到：

晶片架構；
記憶體；
精度；
批次；
推理框架；
冷卻；
資料中心 PUE；

共同影響。

3.5 每美元任務成功能力

\rho_{\$} = \frac{\Pr(\operatorname{Success})} {\operatorname{TotalCost}}

其中總成本不能只計算 API 價格，還應加入：

重試；
人工審核；
錯誤修正；
工具費用；
延遲；
失敗損失。

3.6 每時間智能

\rho_{\tau} = \frac{Q}{\operatorname{Latency}}

對即時控制、機器人、遊戲、語音代理與互動系統而言，延遲本身就是能力的一部分。

3.7 每單位人類介入智能

設人類介入密度為：

D_H = \frac{N_{\mathrm{human\ interventions}}} {\operatorname{TaskDuration}}

則 Agent 自主能力密度可寫為：

\rho_H = \frac{Q_{\mathrm{effective}}} {1+D_H}

一個 benchmark 很強、但每幾分鐘都需要人類救援的系統，不應被視為真正高能力密度。

四、為什麼小模型可能接近大模型？

4.1 資料品質提升

模型能力不只取決於資料數量，也取決於：

資料正確性；
推理密度；
任務結構；
因果關係；
難度排序；
負例與錯誤修正；
教師模型生成軌跡。

可表示為：

D_{\mathrm{effective}} = D_{\mathrm{quantity}} \cdot D_{\mathrm{quality}} \cdot D_{\mathrm{structure}}

當資料品質與結構顯著提高時，較小模型也可能獲得較高能力。

4.2 知識蒸餾

大型教師模型可以產生：

推理軌跡；
高品質解答；
反例；
自我修正；
工具使用過程；
任務分解方式。

學生模型學習的不是原始資料本身，而是教師模型已壓縮過的能力表現。

因此：

M_{\mathrm{frontier}} \rightarrow D_{\mathrm{distilled}} \rightarrow M_{\mathrm{small}}

這使小模型能吸收部分大型模型已支付過的探索成本。

4.3 稀疏啟用與 MoE

MoE 允許：

P_{\mathrm{total}} \uparrow

但：

P_{\mathrm{active}} \ll P_{\mathrm{total}}

模型保留大量專門能力，但每次推理只啟用相關專家。

其核心目標是：

\frac{Q}{P_{\mathrm{active}}} \uparrow

4.4 量化與低精度計算

模型權重與計算精度可由高精度降低為：

FP8；
INT8；
INT4；
更低精度或混合精度。

若精度下降帶來的能力損失小於成本收益，則：

\frac{\Delta Q}{\Delta R} < 0

可能形成高效率部署。

4.5 專門化與任務域限制

小模型最容易在明確任務域接近大模型。

設：

\mathcal D_{\mathrm{specific}} \subset \mathcal D_{\mathrm{general}}

則小模型可能滿足：

Q_{\mathrm{small}} \left( \mathcal D_{\mathrm{specific}} \right) \approx Q_{\mathrm{large}} \left( \mathcal D_{\mathrm{specific}} \right)

但不代表：

Q_{\mathrm{small}} \left( \mathcal D_{\mathrm{general}} \right) \approx Q_{\mathrm{large}} \left( \mathcal D_{\mathrm{general}} \right)

這是本文必須保留的上界。

4.6 外部工具與系統補償

較小模型可透過：

搜尋；
計算器；
程式執行；
知識庫；
檢索；
長期記憶；
驗證器；
多 Agent；
專業模組；

補償內部參數不足。

有效能力因此是：

Q_{\mathrm{system}} = Q_{\mathrm{model}} + Q_{\mathrm{tools}} + Q_{\mathrm{memory}} + Q_{\mathrm{verification}} + Q_{\mathrm{coordination}}

這意味著「模型較小」不必然等於「系統能力較低」。

五、智能壓縮產業崛起猜想

5.1 前沿探索公司

第一類公司持續建立最大、最強的教師模型。

其作用是：

探索新能力；
建立高品質合成資料；
發現新的推理結構；
提供教師模型；
推進科學與工程前沿。

它們的目標是：

\max Q_{\mathrm{frontier}}

5.2 智能壓縮公司

第二類公司不一定訓練最大模型，而專注於：

蒸餾；
剪枝；
稀疏化；
量化；
架構搜尋；
動態路由；
專業化；
推理鏈壓縮；
Cache；
推測解碼。

其目標是：

\max \frac{Q}{R}

5.3 智能編譯公司

這類公司可能不創造新的基礎模型，而是將任務自動編譯至最合適的模型與硬體。

例如：

\operatorname{Compile} ( \text{Task}, \text{Budget}, \text{Latency}, \text{Risk} ) \rightarrow ( M^\ast, H^\ast, C^\ast )

其中：

$M^\ast$ ：模型；
$H^\ast$ ：harness；
$C^\ast$ ：計算配置。

它們將控制：

智能如何以最低成本被實際運行。

5.4 垂直能力封裝公司

這類公司把前沿能力壓入：

法律；
醫療；
金融；
製造；
農業；
遊戲；
教育；
科研；
政府行政。

其競爭優勢不一定是一般能力，而是：

Q_{\mathrm{domain}} + V_{\mathrm{domain}} + D_{\mathrm{domain}} + W_{\mathrm{workflow}}

其中：

$V_{\mathrm{domain}}$ ：領域驗證；
$D_{\mathrm{domain}}$ ：領域資料；
$W_{\mathrm{workflow}}$ ：領域工作流。

5.5 專用晶片與異質計算公司

若模型結構變得更稀疏、低精度與動態，通用 GPU 未必永遠是最優解。

可能崛起的方向包括：

稀疏矩陣專用晶片；
低精度推理晶片；
邊緣 AI 晶片；
KV-cache 專用記憶體架構；
光子與類比計算；
記憶體內運算；
多晶片動態調度。

模型壓縮與專用硬體可能形成共同設計：

\operatorname{CoDesign} ( \text{Model}, \text{Compiler}, \text{Chip} )

六、大模型與小模型不是零和競爭

6.1 大模型探索，小模型普及

本文不預測小模型完全取代大模型。

更可能的循環是：

\text{大模型探索} \rightarrow \text{能力蒸餾} \rightarrow \text{小模型部署} \rightarrow \text{產生新資料} \rightarrow \text{再推動大模型}

大型模型負責：

開拓未知能力；
生成高品質教師資料；
處理最複雜任務；
建立高階規劃。

小模型負責：

大量部署；
即時推理；
個人設備；
專業場景；
低成本 Agent；
資料生成與預處理。

6.2 模型群落而非單一模型

未來一個完整系統可能包含：

\mathcal M = \{ M_{\mathrm{planner}}, M_{\mathrm{coder}}, M_{\mathrm{vision}}, M_{\mathrm{critic}}, M_{\mathrm{router}}, M_{\mathrm{memory}} \}

大型模型只在必要時被調用。

其他任務由更小模型完成。

所以總能力可能來自：

Q_{\mathrm{system}} = \sum_i w_iQ(M_i) + Q_{\mathrm{coordination}}

而不是所有任務都交給最大模型。

七、「能力接近」的嚴格限制

7.1 能力必須向量化

不能只寫：

Q_{\mathrm{small}} \approx Q_{\mathrm{large}}

模型能力應表示為：

\mathbf Q(M) = ( q_{\mathrm{reasoning}}, q_{\mathrm{coding}}, q_{\mathrm{knowledge}}, q_{\mathrm{robustness}}, q_{\mathrm{long-context}}, q_{\mathrm{agency}}, q_{\mathrm{generalization}} )

小模型可能只在某些分量接近大型模型。

7.2 分布內接近不等於分布外接近

蒸餾模型可能在訓練與評測分布內表現很好，但在未知問題中失效。

因此：

Q_{\mathrm{small}}(\mathcal D_{\mathrm{train}}) \approx Q_{\mathrm{large}}(\mathcal D_{\mathrm{train}})

不能推出：

Q_{\mathrm{small}}(\mathcal D_{\mathrm{unknown}}) \approx Q_{\mathrm{large}}(\mathcal D_{\mathrm{unknown}})

7.3 壓縮可能失去能力尾部

大型模型的價值可能不只在平均能力，而在極少數困難任務上的尾部表現。

設能力分布尾部為：

Q_{\mathrm{tail}} = Q \left( \mathcal D_{\mathrm{rare}} \right)

壓縮模型可能保留大部分常見能力，但失去稀有組合、跨領域泛化與新問題處理能力。

八、產業演化預測

8.1 預測一：效率指標會進入主流模型發布

未來模型發布不只公布：

參數；
benchmark；
上下文長度。

還會更常公布：

每任務 Token；
每成功任務成本；
每瓦吞吐；
每啟用參數能力；
人工介入率；
長任務完成成本；
Cache 命中率；
模型路由效率。

8.2 預測二：大型教師模型與部署模型分離

越來越多公司可能採用：

M_{\mathrm{teacher}} \neq M_{\mathrm{deployment}}

教師模型巨大、昂貴、低頻使用；部署模型較小、便宜、高頻使用。

8.3 預測三：模型路由成為核心基礎設施

系統將根據任務難度自動分配模型：

\operatorname{Route}(x) = \begin{cases} M_{\mathrm{small}}, & d(x)<\theta_1\\ M_{\mathrm{medium}}, & \theta_1\leq d(x)<\theta_2\\ M_{\mathrm{frontier}}, & d(x)\geq\theta_2 \end{cases}

其中 $d(x)$ 是任務難度。

8.4 預測四：邊緣設備智能上升

在手機、個人電腦、車輛、機器人與穿戴設備中，本地模型會因：

隱私；
延遲；
離線能力；
成本；
個人化；

而快速增長。

8.5 預測五：專用模型公司重新崛起

通用模型能力提高，不會消滅專用模型。

相反，前沿模型提供更好的蒸餾教師，使垂直模型更容易取得高能力。

8.6 預測六：電力效率成為國家與公司競爭指標

若 AI 用電持續增加，國家與企業將關注：

\frac{\text{有效 AI 工作量}} {\text{兆瓦時}}

政策、補貼、晶片投資與資料中心位置，可能圍繞智能能源效率重新配置。

九、可證偽條件

本文是命題猜想，不是既成定律。

若未來出現以下情況，應下修或否定本文。

9.1 小模型長期無法縮小差距

若前沿模型的能力差距持續擴大，而且蒸餾、稀疏化、量化與工具補償都無法使較小模型接近，則能力密度崛起的強版本不成立。

9.2 電力與晶片供給增長快於需求

若核能、再生能源、專用晶片、光互連與資料中心建設使算力供給長期不再構成瓶頸，產業可能繼續優先擴大模型，而不急於壓縮。

9.3 使用者願意支付高昂成本

若大型模型創造的價值遠高於其成本，則市場可能接受高耗能、高 Token、高價格系統。

9.4 大模型尾部能力無法被替代

若真正高價值任務幾乎都依賴大型模型的稀有泛化能力，則小模型只能承擔低價值前處理工作。

9.5 系統組合成本高於單一大模型

若模型路由、多 Agent、工具、記憶與驗證器帶來的工程複雜度高於直接使用大型模型，系統智能路線可能失去優勢。

十、觀察指標

未來可持續追蹤：

10.1 模型層

總參數；
啟用參數；
能力向量；
蒸餾後能力保留率；
量化損失；
分布外能力。

10.2 任務層

任務成功率；
平均 Token；
平均重試；
完成時間；
人工介入；
錯誤發現率。

10.3 系統層

路由準確率；
Cache；
工具調用；
多 Agent 協調成本；
記憶壓縮；
驗證器收益。

10.4 基礎設施層

每 Token 能耗；
每任務能耗；
每瓦吞吐；
HBM 使用；
晶片利用率；
冷卻效率；
資料中心 PUE。

10.5 市場層

小模型與大模型 API 價差；
本地部署比例；
邊緣模型使用率；
智能壓縮公司融資與收入；
專用晶片採用；
企業模型路由比例。

十一、與 Fable 級模型常態化命題的關係

前作提出：

\text{前沿模型能力} \rightarrow \text{多供應商能力帶}

本文進一步提出：

\text{多供應商能力帶} \rightarrow \text{能力壓縮與效率競爭}

當多家公司都能提供接近前沿的能力後，競爭將逐漸轉向：

誰更便宜；
誰更快；
誰使用更少 Token；
誰需要更少電力；
誰能部署在更多設備；
誰能以更少人工介入完成任務；
誰能在相同能力下使用更小模型。

因此：

\boxed{ \text{Fable 級模型常態化} \rightarrow \text{智能能力密度競爭} }

模型能力常態化不是效率競爭的終點，而是其起點。

十二、結論

本文提出的核心不是：

參數不再重要。

而是：

參數仍然重要，但總參數量將不再是判斷智能能力與產業價值的唯一核心指標。

未來 AI 的主要工程問題可能轉化為：

\min \left( E, P_{\mathrm{active}}, N_{\mathrm{tokens}}, L, M, C \right)