← Archive
lm-001371 · 2026-07

語料內在深度場與異構自適應學習_廣度深度記憶三分架構_v0.1

zh-Hant · md Raw source ↗ Metadata ↗
下載 MD 檔 ⬇

語料內在深度場與異構自適應學習

——從廣度加速器、深度引擎到嵌套語義表徵的 AI 計算架構

Intrinsic Corpus Depth Fields and Heterogeneous Adaptive Learning: From Breadth Accelerators and Depth Engines to Nested Semantic Representations

作者：Neo.K（概念提出）
版本：v0.1 理論草稿
日期：2026
文件性質：理論方法論論文／AI 架構草案／可檢驗研究命題

摘要

現代人工智慧的「深度」通常主要指神經網路層數、遞歸步數、測試時計算量或 token 經過的計算路徑長度。然而，本文提出另一個需要被獨立建模的問題：語料、命題、理論、因果鏈、概念系譜與遞歸結構本身，可能具有不同的候選內在深度。

同樣長度的兩段文本，不必具有相同理解成本；同樣語義相似度的兩個命題，不必具有相同依賴深度；同樣位於向量空間附近的兩篇論文，其真正關係可能分別屬於直接同義、跨越多層中介命題的理論繼承、反例關係、元理論吸收或跨領域結構同構。若此判斷成立，則將所有語料均以固定計算深度、固定表示容量與單一相似度幾何處理，可能造成結構性浪費與表示失真。

本文提出「語料內在深度場」（Intrinsic Corpus Depth Field, ICDF）與「異構自適應學習」（Heterogeneous Adaptive Learning, HAL）框架。其核心不是將 CPU 簡化為「深度處理器」、GPU 簡化為「廣度處理器」，而是先在算法層區分三種基本資源角色：

AI=Breadth+Depth+Memory\boxed{ AI = Breadth + Depth + Memory }

其中：

  • Breadth：大規模平行候選生成、統計相關、批次表示與矩陣計算；
  • Depth：依賴鏈、分支控制、遞歸推進、圖遍歷、長因果鏈與高價值稀疏計算；
  • Memory：原文、外部記憶、RAG、知識圖、事件記憶、版本歷史與可回放狀態。

本文進一步提出，學習不應被等同於記憶：

Learn≠Memorize≠Deepen\boxed{ Learn \neq Memorize \neq Deepen }

某些資訊只需要外部保存；某些模式適合透過大規模廣度統計學習；某些內容則需要增加關係深度、因果深度、邏輯深度、理論系譜深度或遞歸深度。為此，本文將每個語料單元 xix_i 的深度表示為多維向量：

D(xi)=(dilex,disem,dicontext,dicausal,dilogical,digene,dimeta,direcursive)\mathbf D(x_i) = \left( d_i^{lex}, d_i^{sem}, d_i^{context}, d_i^{causal}, d_i^{logical}, d_i^{gene}, d_i^{meta}, d_i^{recursive} \right)

並對語料對之間的關係定義：

Dij=D(xi↔xj)\mathbf D_{ij} = D(x_i\leftrightarrow x_j)

本文進一步提出「深度條件化嵌套表徵」：

Zi={Zi(0),Zi(1),…,Zi(Li)}\mathcal Z_i = \left\{ Z_i^{(0)}, Z_i^{(1)}, \dots, Z_i^{(L_i)} \right\}

其中：

Li=g(xi,τ,C,B)L_i = g(x_i,\tau,C,B)

不再固定，而由內容、任務、上下文與資源預算共同決定。

最終，本文提出核心路由式：

Dcompute∗(x,τ)=Fθ(Dsemantic(x),Drelational(x),τ,B)\boxed{ D_{compute}^{\ast}(x,\tau) = F_\theta \left( D_{semantic}(x), D_{relational}(x), \tau, B \right) }

即：最佳計算深度不應只由模型架構預先固定，而應由語料的候選內在深度、關係深度、當前任務與資源預算共同決定。

本文將此方法與 Mixture-of-Depths、Universal Transformer、Mixture-of-Recursions、Matryoshka Representation Learning 等既有方向區分。本文不宣稱首次提出動態計算、遞歸模型或嵌套表示，而主張將「語料與關係的內在深度估計」提升為資源路由、嵌套表徵與異構硬體映射的共同中介變量。

本文最後提出一組可證偽命題、最小系統架構、訓練目標與消融實驗，用以檢驗語料深度是否具有跨模型穩定性、是否能預測額外計算收益，以及是否能提升長因果鏈、理論系譜、跨文獻依賴、反例搜尋與複雜研究任務之效率。

關鍵詞： 語料內在深度場、異構自適應學習、Adaptive Computation、Mixture-of-Depths、Nested Representation、Semantic Depth、Relational Depth、CPU-GPU Heterogeneous Computing、Memory Routing、AI Architecture

1. 緒論

現代大型模型通常在兩種尺度上被描述：

  1. 模型寬度；
  2. 模型深度。

若以 Transformer 為例，可將表示寫成：

H(ℓ+1)=Fℓ(H(ℓ))H^{(\ell+1)} = F_\ell \left( H^{(\ell)} \right)

其中：

ℓ=0,1,…,L−1\ell=0,1,\dots,L-1

模型深度通常由：

LL

表示。

但本文提出：

模型有計算深度，不代表資料本身沒有深度。

同一模型處理：

  • 簡單事實；
  • 一字多義；
  • 長距離依賴；
  • 多步因果鏈；
  • 數學證明；
  • 理論系譜；
  • 元理論；
  • 遞歸自指結構；

其合理計算需求可能完全不同。

因此必須區分：

DcomputeD_{compute}

與：

DintrinsicD_{intrinsic}

前者是模型執行了多少層、多少步、多少 FLOPs。

後者則是：

為了在指定任務下保留某段內容的重要關係結構，至少需要辨識、保持或穿越多少層候選語義、依賴、因果、系譜或遞歸結構。

本文稱之為：

語料候選內在深度

2. 問題起點：並行廣度與稀疏深度不是同一件事

GPU、TPU、NPU 與其他 AI 加速器擅長：

  • 大規模矩陣乘法；
  • 高吞吐並行；
  • 批次計算；
  • 規則張量操作；
  • 大量相似工作單元。

而 CPU 與其他延遲導向、控制流導向處理器通常更適合：

  • 複雜分支；
  • 不規則資料依賴；
  • 少量高價值串行工作；
  • 作業系統與調度；
  • 動態圖遍歷；
  • 低延遲控制。

然而，本文不提出：

CPU=DepthCPU=Depth

也不提出：

GPU=BreadthGPU=Breadth

作為永久本體關係。

更精確的抽象是：

Breadth ⁣− ⁣Optimized Compute≠Depth ⁣− ⁣Optimized Compute\boxed{ Breadth\!-\!Optimized\ Compute \neq Depth\!-\!Optimized\ Compute }

以及：

Hardware Mapping=Implementation Choice\boxed{ Hardware\ Mapping = Implementation\ Choice }

算法角色與硬體角色必須分離。

未來的 Depth Engine 可能由：

  • CPU；
  • 高效能通用核心；
  • 圖處理器；
  • recurrent accelerator；
  • control-flow accelerator；
  • 專用 AI 核心；

承擔。

3. 從「學習更多」到「學習更深」

一般大規模訓練容易將改進方向理解成：

More Data+More Parameters+More ComputeMore\ Data + More\ Parameters + More\ Compute

本文提出另一個問題：

若 AI 不需要將所有資訊永久寫入權重，那麼有限的高成本計算應該花在哪裡？

外部記憶允許：

Mexternal=Documents+RAG+Graph+Episodic Store+Versioned StateM_{external} = Documents + RAG + Graph + Episodic\ Store + Versioned\ State

因此：

MemorizationMemorization

不必與：

Representation LearningRepresentation\ Learning

完全等價。

本文正式區分：

3.1 記憶

Memorize(x)Memorize(x)

目標：未來可再次取回。

3.2 學習

Learn(x)Learn(x)

目標：改變泛化、預測或決策能力。

3.3 深化

Deepen(x)Deepen(x)

目標：增加對關係鏈、依賴、因果、系譜、元層或遞歸結構的可保持能力。

因此：

Learn≠Memorize≠Deepen\boxed{ Learn \neq Memorize \neq Deepen }

4. 語料內在深度場

令語料單元集合為：

X={x1,x2,…,xn}\mathcal X = \{ x_1,x_2,\dots,x_n \}

其中 xix_i 可以是：

  • token；
  • phrase；
  • sentence；
  • paragraph；
  • document；
  • theorem；
  • proof；
  • code block；
  • event；
  • theory。

本文定義深度函數：

D:X×T×C→R≥0m\mathcal D: \mathcal X \times \mathcal T \times \mathcal C \rightarrow \mathbb R_{\ge0}^{m}

其中：

  • T\mathcal T ：任務空間；
  • C\mathcal C ：上下文空間。

因此：

D(xi∣τ,C)\mathbf D(x_i\mid\tau,C)

不是永恆固定值。

同一句話在：

  • 翻譯；
  • 因果分析；
  • 法律解釋；
  • 數學形式化；

任務下可具有不同有效深度。

5. 深度不是單一標量

本文反對簡化為：

D(x)∈RD(x)\in\mathbb R

更合理的是：

D(x)=(dlex,dsem,dcontext,dcausal,dlogical,dgene,dmeta,drecursive)\mathbf D(x) = \left( d^{lex}, d^{sem}, d^{context}, d^{causal}, d^{logical}, d^{gene}, d^{meta}, d^{recursive} \right)

5.1 詞義深度

dlexd^{lex}

描述符號的多義分叉。

若：

s→{m1,m2,…,mk}s \rightarrow \{ m_1,m_2,\dots,m_k \}

則不能只依 kk 判斷深度，還需考慮：

Ambiguity(s,C)Ambiguity(s,C)

與語境區分難度。

5.2 語義深度

dsemd^{sem}

描述理解某內容所需的抽象層次：

Literal→Conceptual→Structural→MetaLiteral \rightarrow Conceptual \rightarrow Structural \rightarrow Meta

5.3 上下文深度

dcontextd^{context}

表示理解當前內容需要追溯多少有效上下文：

xt←xt−kx_t \leftarrow x_{t-k}

但 kk 不是唯一指標，因為遠距內容可能不重要。因此更精確：

dcontext(xt)=F(Relevant Dependency Span)d^{context}(x_t) = F( Relevant\ Dependency\ Span )

5.4 因果深度

dcausald^{causal}

若：

A→BA\rightarrow B

則深度較低。

若：

A→M1→M2→⋯→BA \rightarrow M_1 \rightarrow M_2 \rightarrow \dots \rightarrow B

則有效因果深度提高。

但：

Path Length≠Causal DepthPath\ Length \neq Causal\ Depth

因為不同中介節點信息量不同。

5.5 邏輯深度

dlogicald^{logical}

例如：

P1,P2⊢L1P_1,P_2 \vdash L_1 L1,P3⊢L2L_1,P_3 \vdash L_2 L2,L3⊢CL_2,L_3 \vdash C

則 CC 依賴多層推導。

5.6 理論系譜深度

dgened^{gene}

若：

T0→T1→T2→T3T_0 \rightarrow T_1 \rightarrow T_2 \rightarrow T_3

理解 T3T_3 可能需要追溯：

T0,T1,T2T_0,T_1,T_2

5.7 元理論深度

dmetad^{meta}

一階：

T(x)T(x)

元層：

M(T)M(T)

更高：

M(M(T))M(M(T))

5.8 遞歸深度

drecursived^{recursive}

對：

F(x)F(x) F(F(x))F(F(x)) Fn(x)F^n(x)

研究固定點、循環、遞歸狀態與自指結構。

6. 內容深度與關係深度必須分離

某個語料單元本身可以簡單，但它與另一單元之間的關係可能很深。

因此定義：

Di=D(xi)\mathbf D_i = \mathbf D(x_i)

以及：

Dij=D(xi↔xj)\mathbf D_{ij} = \mathbf D(x_i\leftrightarrow x_j)

例如：

Sim(xi,xj)=0.92Sim(x_i,x_j)=0.92

不推出：

DijgeneD_{ij}^{gene}

高。

也不推出：

DijcausalD_{ij}^{causal}

高。

因此：

Semantic Similarity≠Relational Depth\boxed{ Semantic\ Similarity \neq Relational\ Depth }

7. 語料深度場的局部幾何

定義：

D={Di,Dij}\mathfrak D = \{ \mathbf D_i, \mathbf D_{ij} \}

則整個 corpus 形成：

語料深度場

其不是單純向量集合：

{v1,…,vn}\{ v_1,\dots,v_n \}

而是：

C=(V,E,DV,DE)\mathfrak C = ( V, E, \mathbf D_V, \mathbf D_E )

其中：

  • VV ：語料節點；
  • EE ：關係；
  • DV\mathbf D_V ：節點深度；
  • DE\mathbf D_E ：邊深度。

8. 從向量嵌入到深度條件化嵌套表徵

一般 embedding：

xi↦vi∈Rdx_i \mapsto v_i\in\mathbb R^d

本文提出：

xi↦Zix_i \mapsto \mathcal Z_i

其中：

Zi={Zi(0),Zi(1),…,Zi(Li)}\mathcal Z_i = \left\{ Z_i^{(0)}, Z_i^{(1)}, \dots, Z_i^{(L_i)} \right\}

且：

Li=g(xi,τ,C,B)L_i = g( x_i, \tau, C, B )

其中：

  • τ\tau ：任務；
  • CC ：上下文；
  • BB ：預算。

因此：

Li≠ConstantL_i \neq Constant

9. 嵌套不只是維度截斷

Matryoshka 類表徵已研究同一表示按不同容量保留粗到細資訊。

本文不宣稱重新發明嵌套表徵。

本文新增問題是：

表徵層級是否可以由語料內在關係深度決定？

也就是：

Nested CapacityNested\ Capacity

與：

Intrinsic DepthIntrinsic\ Depth

建立條件關係：

Zi(ℓ)=F(xi,Di,τ)Z_i^{(\ell)} = F( x_i, D_i, \tau )

而非只依：

Embedding DimensionEmbedding\ Dimension

決定。

10. 深度層級的候選解釋

一個可實作版本：

Zi(0)Z_i^{(0)}

粗粒度語義。

Zi(1)Z_i^{(1)}

局部上下文。

Zi(2)Z_i^{(2)}

關係與依賴。

Zi(3)Z_i^{(3)}

因果／邏輯。

Zi(4)Z_i^{(4)}

理論系譜。

Zi(5)Z_i^{(5)}

元理論。

Zi(6+)Z_i^{(6+)}

遞歸、長鏈與高階結構。

本文不主張此分層是唯一真實語義本體。它只是：

可檢驗工程分解

11. 自適應深度

不同語料需要不同：

LiL_i

因此：

Li=gθ(xi,τ,C)L_i = g_\theta ( x_i, \tau, C )

對簡單內容：

Li≈1L_i\approx1

對複雜證明：

Li≫1L_i\gg1

但不能人工假設「數學一定比日常語言深」。

真正深度必須由任務收益驗證。

12. 廣度—深度—記憶三分架構

本文提出三種資源角色。

12.1 廣度引擎

記為：

EB\mathcal E_B

適合：

  • 大規模 embedding；
  • 全局候選生成；
  • 大批次相關性；
  • dense tensor operations；
  • 大範圍模式統計。
EB:X→C\mathcal E_B: X \rightarrow \mathcal C

其中 C\mathcal C 為候選集。

12.2 深度引擎

記為：

ED\mathcal E_D

適合：

  • 長依賴；
  • 分支推理；
  • 遞歸；
  • 圖遍歷；
  • 高價值稀疏樣本；
  • 反例；
  • 多步驗證；
  • 關係展開。
ED:C→C∗\mathcal E_D: \mathcal C \rightarrow \mathcal C^\ast

12.3 記憶引擎

記為：

EM\mathcal E_M

適合：

  • 原文保存；
  • RAG；
  • graph memory；
  • episodic memory；
  • version history；
  • external state。
EM:x→Addressable(x)\mathcal E_M: x \rightarrow Addressable(x)

13. 三分路由

對每個單元 xix_i 定義資源分配：

R(xi)=(bi,di,mi)R(x_i) = ( b_i, d_i, m_i )

其中：

  • bib_i ：breadth budget；
  • did_i ：depth budget；
  • mim_i ：memory budget。

滿足：

bi+di+mi≤Bib_i+d_i+m_i \leq B_i

router：

πθ(xi,τ,C,Di)→(bi,di,mi)\pi_\theta ( x_i, \tau, C, \mathbf D_i ) \rightarrow ( b_i,d_i,m_i )

14. 為什麼需要記憶路由

若某資訊：

  • 重要；
  • 稀有；
  • 未必需要改變模型泛化；
  • 未必值得大量重複訓練；

則：

mi≫dim_i \gg d_i

可能更合理。

例如：

  • 精確日期；
  • API 回傳；
  • 特定版本；
  • 長尾事實；
  • 原始文件。

因此：

Store(x)Store(x)

可能優於：

Overtrain(x)Overtrain(x)

15. 為什麼需要深度路由

若某內容：

  • 長依賴；
  • 多層證明；
  • 多中介因果；
  • 高反例價值；
  • 元理論；
  • 遞歸；

則：

di≫bid_i \gg b_i

可能更合理。

16. 為什麼需要廣度路由

若任務是：

  • 候選搜索；
  • 模式統計；
  • 高召回；
  • 大規模分類；
  • 表徵預訓練；

則：

bi≫dib_i \gg d_i

可能更合理。

17. 核心計算深度映射

本文提出：

Dcompute∗(x,τ)=Fθ(Dsemantic(x),Drelational(x),τ,B)\boxed{ D_{compute}^{\ast}(x,\tau) = F_\theta \left( D_{semantic}(x), D_{relational}(x), \tau, B \right) }

其中：

  • DsemanticD_{semantic} ：內容深度；
  • DrelationalD_{relational} ：關係深度；
  • τ\tau ：任務；
  • BB ：資源預算。

這是本文最核心命題。

18. 與 Mixture-of-Depths 的關係

Mixture-of-Depths 的核心方向是：

不讓所有 token 在每層均使用相同計算量。

可抽象：

ri(ℓ)∈{0,1}r_i^{(\ell)} \in \{0,1\}

決定 token ii 在層 ℓ\ell 是否進入高成本運算。

本文接受其基本啟發，但提出不同問題：

Why More Compute?Why\ More\ Compute?

本文希望 router 不只學習：

Token DifficultyToken\ Difficulty

而能顯式或弱顯式利用：

Intrinsic Semantic/Relational DepthIntrinsic\ Semantic/Relational\ Depth

19. 與 Universal Transformer 的關係

Universal Transformer 使用 recurrent refinement，並可結合 adaptive computation time。

其核心方向：

h(t+1)=F(h(t))h^{(t+1)} = F( h^{(t)} )

直到 halting。

本文的差異在於：

遞歸多少次與「語料為何需要更深」之間建立候選可解釋中介層。

即：

Halting=g(State,DepthEstimate,Task,Budget)Halting = g( State, DepthEstimate, Task, Budget )

20. 與 Mixture-of-Recursions 的關係

Mixture-of-Recursions 將：

  • parameter sharing；
  • adaptive computation；
  • recursive depth；

結合。

本文不取代此方向。

本文新增的是：

Dintrinsic→RoutingD_{intrinsic} \rightarrow Routing

假說。

即：

若能估計內容與關係深度，是否能更早預測哪些 token、節點或理論鏈值得增加 recursion？

21. 與 Matryoshka Representation Learning 的關係

Matryoshka Representation Learning 主要解決：

Representation CapacityRepresentation\ Capacity

可按不同維度預算使用。

本文提出：

Representation Capacity+Semantic Depth+Relational DepthRepresentation\ Capacity + Semantic\ Depth + Relational\ Depth

共同決定嵌套層級。

因此：

MRL≠ICDFMRL \neq ICDF

但二者可組合。

22. 一個可能的完整模型

輸入：

X={x1,…,xn}X = \{ x_1,\dots,x_n \}

第一步，廣度表徵：

Vi=EB(xi)V_i = E_B(x_i)

第二步，深度估計：

D^i=Hϕ(Vi,C,τ)\hat{\mathbf D}_i = H_\phi(V_i,C,\tau)

第三步，關係深度：

D^ij=Jψ(Vi,Vj,G)\hat{\mathbf D}_{ij} = J_\psi( V_i, V_j, G )

第四步，路由：

(bi,di,mi)=πθ(Vi,D^i,D^ij,τ)(b_i,d_i,m_i) = \pi_\theta( V_i, \hat{\mathbf D}_i, \hat{\mathbf D}_{ij}, \tau )

第五步，深度展開：

Zi(ℓ+1)=Fℓ(Zi(ℓ),Ni(ℓ))Z_i^{(\ell+1)} = F_\ell ( Z_i^{(\ell)}, N_i^{(\ell)} )

第六步，外部記憶：

Mi=StoreOrRetrieve(xi,mi)M_i = StoreOrRetrieve( x_i, m_i )

第七步，融合：

Yi=Fuse(Zi(Li),Mi,Vi)Y_i = Fuse( Z_i^{(L_i)}, M_i, V_i )

23. 深度估計不應只靠模型自我感覺

若：

D^i\hat D_i

完全由模型自己輸出，可能產生循環：

Model Believes Hard→More Compute→Confirms HardModel\ Believes\ Hard \rightarrow More\ Compute \rightarrow Confirms\ Hard

因此需外部監督或間接效標。

24. 候選深度標籤

可由以下方法產生：

24.1 依賴圖深度

DdepD_{dep}

來自 dependency graph。

24.2 證明深度

DproofD_{proof}

來自 theorem prover trace。

24.3 因果鏈深度

DcauseD_{cause}

來自已知 causal graph。

24.4 理論系譜深度

DgeneD_{gene}

來自 citation/theory genealogy。

24.5 最小充分上下文

DcontextD_{context}

透過刪除上下文實驗估計。

25. 最小充分深度

本文提出一個更可操作定義。

對任務 τ\tau 定義最小充分計算深度：

DMSC(x,τ)=min⁡{d:Perf(x,τ,d)≥η}D_{MSC}(x,\tau) = \min \left\{ d: Perf(x,\tau,d) \geq \eta \right\}

其中 η\eta 為性能門檻。

這不是語料本體深度，但可作為：

操作性深度代理

26. 邊際計算收益

定義：

ΔUd(x)=U(x,d+1)−U(x,d)\Delta U_d(x) = U(x,d+1)-U(x,d)

若：

ΔUd(x)>0\Delta U_d(x)>0

則增加深度有收益。

若：

ΔUd(x)≈0\Delta U_d(x)\approx0

則可停止。

因此：

D∗=arg⁡max⁡d[U(x,d)−λC(d)]D^\ast = \arg\max_d \left[ U(x,d)-\lambda C(d) \right]

27. 深度不是越大越好

本文明確反對：

More Depth=BetterMore\ Depth = Better

因為可能出現：

OverthinkingOverthinking Error AccumulationError\ Accumulation Representation DriftRepresentation\ Drift Latency ExplosionLatency\ Explosion

因此：

D∗<∞D^\ast < \infty

在有限資源下是合理假設。

28. 適量層數原則

本文提出：

適量層數原則

對任務 τ\tau 與樣本 xx ，存在候選最優深度區間：

D∗(x,τ)∈[dmin,dmax]D^\ast(x,\tau) \in [d_{min},d_{max}]

當：

d<dmind<d_{min}

可能欠計算。

當：

d>dmaxd>d_{max}

可能浪費或退化。

29. 深度分層與異構分機

在系統層可分成：

Node Group A
├─ Breadth Accelerator
├─ Large Batch
└─ Candidate Expansion

Node Group B
├─ Depth Engine
├─ Low-Latency Irregular Compute
└─ Recursive / Graph / Causal Work

Node Group C
├─ Memory Engine
├─ Retrieval
└─ Versioned State

這是邏輯分層。

實際硬體可不同。

30. CPU 的合理角色

CPU 可作 Depth Engine 候選，尤其：

  • branch-heavy routing；
  • irregular graphs；
  • orchestration；
  • dynamic scheduling；
  • sparse control。

但不能預設：

CPU>GPUCPU > GPU

於所有深度任務。

因此：

HardwareChoice=arg⁡min⁡(Latency,Energy,Communication,Cost)HardwareChoice = \arg\min ( Latency, Energy, Communication, Cost )

31. 手機式 SoC 與分散式 AI 節點

現代手機／邊緣 SoC 常同時包含：

  • CPU；
  • GPU；
  • NPU；
  • unified or shared memory；
  • media engines。

因此其架構哲學天然接近：

Heterogeneous Local ComputeHeterogeneous\ Local\ Compute

若大量節點互連，可形成：

H={H1,H2,…,Hn}\mathcal H = \{ H_1,H_2,\dots,H_n \}

但實際訓練效率受限於：

  • interconnect；
  • synchronization；
  • memory bandwidth；
  • fault rate；
  • collective communication。

因此本文不主張：

手機 SoC 堆疊必然優於資料中心加速器。

本文只提出：

異構 SoC 的角色分工思想，可作為廣度—深度—記憶架構的工程參考之一。

32. 路由函數

最小形式：

πθ(x)=Softmax(Whx)\pi_\theta(x) = Softmax( W h_x )

輸出：

pB,pD,pMp_B,p_D,p_M

滿足：

pB+pD+pM=1p_B+p_D+p_M=1

33. 多資源預算路由

更一般：

πθ:x→(b,d,m,e,l)\pi_\theta : x \rightarrow ( b, d, m, e, l )

其中：

  • bb ：廣度；
  • dd ：深度；
  • mm ：記憶；
  • ee ：能耗；
  • ll ：延遲。

34. 訓練目標

本文提出：

L=Lpred+λ1Ldepth+λ2Lrelation+λ3Lrouting+λ4Lconsistency+λ5Lbudget\mathcal L = \mathcal L_{pred} + \lambda_1\mathcal L_{depth} + \lambda_2\mathcal L_{relation} + \lambda_3\mathcal L_{routing} + \lambda_4\mathcal L_{consistency} + \lambda_5\mathcal L_{budget}

34.1 預測損失

Lpred\mathcal L_{pred}

維持主任務能力。

34.2 深度損失

Ldepth=∥D^−D∗∥2\mathcal L_{depth} = \| \hat{\mathbf D} - \mathbf D^\ast \|^2

其中 D∗\mathbf D^\ast 可來自 proxy。

34.3 關係損失

Lrelation\mathcal L_{relation}

學習：

xi→rxjx_i \xrightarrow{r} x_j

而非只有相似。

34.4 路由損失

Lrouting\mathcal L_{routing}

鼓勵把高成本深度計算分配給高邊際收益樣本。

34.5 跨層一致性

Lconsistency\mathcal L_{consistency}

避免淺層與深層表徵無約束漂移。

34.6 預算損失

Lbudget=max⁡(0,Cused−B)\mathcal L_{budget} = \max ( 0, C_{used}-B )

35. 深度蒸餾

若深模型：

FDF_D

能建立高深度表示，可蒸餾至：

FSF_S

使部分深度結構壓縮：

ZS≈Compress(ZD)Z_S \approx Compress( Z_D )

因此深度引擎可：

  • 慢速探索；
  • 產生結構；
  • 回灌廣度模型。

36. 廣度先行、深度選擇

本文提出一個高效率流程：

X→BreadthC→Depth RouterCD→DepthC∗X \xrightarrow{Breadth} \mathcal C \xrightarrow{Depth\ Router} \mathcal C_D \xrightarrow{Depth} \mathcal C^\ast

其中：

∣CD∣≪∣C∣|\mathcal C_D| \ll |\mathcal C|

即：

先廣泛找到候選，再只對少量高價值候選深算。

37. 深度先行、廣度擴散

反向也可能成立。

對一個核心命題：

p0p_0

先建立深度結構：

GD(p0)G_D(p_0)

再由廣度引擎搜尋：

{x:Isomorphic(x,GD)}\{ x: Isomorphic(x,G_D) \}

因此：

Depth→BreadthDepth \rightarrow Breadth

同樣重要。

38. 廣度—深度循環

完整系統：

B→D→B→DB \rightarrow D \rightarrow B \rightarrow D

可表示：

S(t+1)=FB(FD(S(t)))S^{(t+1)} = F_B( F_D( S^{(t)} ) )

這比固定單向 pipeline 更符合研究搜索。

39. 與 SGCD 的接口

若既有 SGCD 邊為：

eije_{ij}

耦合向量：

cij\mathbf c_{ij}

本文增加：

dij\mathbf d_{ij}

因此：

eij=(cij,dij)e_{ij} = ( \mathbf c_{ij}, \mathbf d_{ij} )

其中：

  • cij\mathbf c_{ij} ：有多相關；
  • dij\mathbf d_{ij} ：理解此關係需要多深。

40. 與 CRSIL 的接口

若研究物件：

oio_i

已具有：

  • 時間；
  • 版本；
  • provenance；
  • invocation trace；

則本文可增加：

DepthBundleiDepthBundle_i

例如：

depth:
  semantic: 0.71
  causal: 0.33
  logical: 0.82
  genealogical: 0.64
  recursive: 0.11
  confidence: 0.76

因此 AI 搜尋不只問：

哪篇相關？

還問：

這條關係值得多深計算？

41. 語義關係深度幾何

對圖：

G=(V,E)G=(V,E)

每條邊具有：

δ(e)\delta(e)

則路徑深度：

D(π)=∑e∈πδ(e)D(\pi) = \sum_{e\in\pi} \delta(e)

兩節點間：

D(i,j)=min⁡π:i→jD(π)D(i,j) = \min_{\pi:i\to j} D(\pi)

但這仍只是最小模型。

42. 非加性深度

某些關係存在協同效應：

δ(e1∘e2)≠δ(e1)+δ(e2)\delta(e_1\circ e_2) \neq \delta(e_1)+\delta(e_2)

因此更一般：

D(π)=A(e1,…,ek)D(\pi) = \mathcal A( e_1,\dots,e_k )

其中 A\mathcal A 可為非線性聚合器。

43. 深度吸引子

若多個語料路徑：

x1,x2,…,xnx_1,x_2,\dots,x_n

在深度推進後收斂到：

aka_k

則 aka_k 可能是候選深層結構。

例如：

  • 同一因果機制；
  • 同一理論骨架；
  • 同一固定點；
  • 跨領域同構。

44. 深度與困難度不能混同

本文強調：

Difficulty≠DepthDifficulty \neq Depth

某題可能難，因為：

  • 資料不足；
  • 噪聲高；
  • 搜尋空間大。

但不一定深。

反之某題可能深，但規則清楚。

因此：

Hardness=f(Depth,Breadth,Noise,Uncertainty,Search)Hardness = f( Depth, Breadth, Noise, Uncertainty, Search )

45. 深度與長度不能混同

Length(x)≠Depth(x)Length(x) \neq Depth(x)

一篇長文章可能高度重複。

一句短命題可能依賴極深理論。

46. 深度與置信度不能混同

Confidence≠DepthConfidence \neq Depth

模型低置信可能只是陌生。

不必然需要更多 reasoning depth。

47. 深度與新穎性不能混同

Novelty≠DepthNovelty \neq Depth

新概念可能淺。

舊理論可能極深。

48. 可檢驗命題一：深度異質性命題

對語料集合：

X\mathcal X

若固定計算深度：

dd

則樣本的邊際收益不同：

ΔUd(xi)≠ΔUd(xj)\Delta U_d(x_i) \neq \Delta U_d(x_j)

49. 可檢驗命題二：深度可預測命題

若存在：

D^(x)\hat D(x)

使：

Corr(D^(x),DMSC(x))>0Corr( \hat D(x), D_{MSC}(x) ) >0

則語料深度估計具有操作價值。

50. 可檢驗命題三：深度路由優勢命題

在相同平均 compute budget 下：

Perf(DepthAwareRouting)>Perf(UniformDepth)Perf( DepthAwareRouting ) > Perf( UniformDepth )

至少在長依賴與多步結構任務上應可檢驗。

51. 可檢驗命題四：三分路由命題

在包含：

  • 長尾事實；
  • 大規模模式；
  • 深層推理；

的混合任務中：

Breadth+Depth+MemoryBreadth+Depth+Memory

應優於只增加單一路徑 compute。

52. 可檢驗命題五：關係深度命題

對相似度接近的語料對：

Sim(i,j)≈Sim(k,l)Sim(i,j)\approx Sim(k,l)

其最佳額外計算需求仍可能顯著不同：

Dij∗≠Dkl∗D^\ast_{ij} \neq D^\ast_{kl}

53. 可檢驗命題六：嵌套深度表徵命題

若：

Zi={Zi(0),…,Zi(Li)}\mathcal Z_i = \{ Z_i^{(0)},\dots,Z_i^{(L_i)} \}

與深度 supervision 結合，則在多預算任務下可較固定 embedding 提升效率或可解釋性。

54. 可證偽條件

本文不是不可證偽理論。

54.1 深度估計無法預測計算收益

若：

Corr(D^,ΔU)≈0Corr( \hat D, \Delta U ) \approx0

則深度場缺乏路由價值。

54.2 深度只等同困難度

若控制：

  • entropy；
  • uncertainty；
  • length；
  • rarity；

後：

DD

不再有額外解釋力，則本文新變量可能冗餘。

54.3 多模型不穩定

若：

Dϕ1(x)≉Dϕ2(x)D_{\phi_1}(x) \not\approx D_{\phi_2}(x)

且無法建立校準，則深度可能只是模型產物。

54.4 動態路由不如固定深度

若在等算力條件下：

Perfadaptive≤PerffixedPerf_{adaptive} \leq Perf_{fixed}

則工程價值不足。

55. 最小實驗一：語料深度預測

建立樣本：

  • 短事實；
  • 長文本；
  • 多步因果；
  • 證明；
  • 理論系譜；
  • 遞歸程序。

對每個樣本測：

Perf(x,d)Perf(x,d)

其中：

d=1,…,Ld=1,\dots,L

計算：

DMSCD_{MSC}

再訓練：

D^(x)\hat D(x)

預測。

56. 最小實驗二：相同長度不同深度

控制：

Length(xi)≈Length(xj)Length(x_i)\approx Length(x_j)

但人工或圖結構設計：

D(xi)≠D(xj)D(x_i)\neq D(x_j)

測試自適應路由。

57. 最小實驗三：相同相似度不同關係深度

選擇：

Sim(i,j)≈Sim(k,l)Sim(i,j)\approx Sim(k,l)

但：

Drel(i,j)≠Drel(k,l)D_{rel}(i,j)\neq D_{rel}(k,l)

檢驗 embedding similarity 是否不足。

58. 最小實驗四：記憶與深化替代

比較：

  1. 寫入權重；
  2. 外部記憶；
  3. 額外深度；
  4. 三分路由。

測：

Accuracy+Latency+Energy+UpdateabilityAccuracy + Latency + Energy + Updateability

59. 最小實驗五：異構硬體映射

同一 workload：

WW

分成：

WB,WD,WMW_B,W_D,W_M

比較：

  • all-GPU；
  • CPU+GPU；
  • CPU+GPU+NPU；
  • simulator-based specialized depth engine。

60. 評估指標

定義：

M=(Accuracy,Compute,Latency,Energy,Memory,Traceability,DepthCalibration)M = ( Accuracy, Compute, Latency, Energy, Memory, Traceability, DepthCalibration )

其中深度校準：

ECEDECE_D

可類比 calibration error。

61. 消融實驗

依次移除：

  • depth estimator；
  • relational depth；
  • memory router；
  • breadth router；
  • nested representation；
  • heterogeneous scheduler。

觀察：

ΔPerformance\Delta Performance

62. 最小可行架構

Input Corpus
↓
Breadth Encoder
↓
Candidate Graph
↓
Intrinsic Depth Estimator
↓
Breadth / Depth / Memory Router
├─ Breadth Accelerator
├─ Depth Engine
└─ Memory Engine
↓
Nested Representation Fusion
↓
Task Output

63. 最小資料結構

unit_id: X-001

content:
  hash: ...

depth:
  lexical: 0.12
  semantic: 0.61
  contextual: 0.48
  causal: 0.77
  logical: 0.83
  genealogical: 0.20
  meta: 0.33
  recursive: 0.08

routing:
  breadth_budget: 0.25
  depth_budget: 0.60
  memory_budget: 0.15

confidence:
  depth_estimate: 0.72

64. 與高維向量矩陣的結合

一般矩陣：

X∈Rn×dX \in \mathbb R^{n\times d}

本文增加深度軸：

X∈Rn×d×L\mathcal X \in \mathbb R^{n\times d\times L}

但 LL 可變。

因此更接近：

Xi∈Rd×Li\mathcal X_i \in \mathbb R^{d\times L_i}

65. Ragged Nested Tensor

由於：

Li≠LjL_i \neq L_j

可採：

Z={Z11:L1,…,Zn1:Ln}\mathcal Z = \{ Z_1^{1:L_1}, \dots, Z_n^{1:L_n} \}

形成 ragged nested representation。

66. 效率問題

若直接保存：

O(ndL)O(ndL)

成本可能過高。

因此需要：

  • sparse depth；
  • shared prefixes；
  • low-rank depth states；
  • checkpointing；
  • quantization；
  • conditional materialization。

67. 只在需要時實體化深層

定義：

Zi(ℓ)Z_i^{(\ell)}

只有當：

pi(ℓ)>θp_i^{(\ell)} > \theta

才生成。

因此：

Compute∝∑iLiCompute \propto \sum_i L_i

而非：

nLmaxnL_{max}

68. 深度狀態壓縮

對：

Zi(0:L)Z_i^{(0:L)}

可壓縮：

Z~i=Compress(Zi(0:L))\tilde Z_i = Compress( Z_i^{(0:L)} )

並保留重展開索引。

69. 自適應與穩定性的衝突

高度動態路由可能造成：

  • training instability；
  • load imbalance；
  • device underutilization；
  • non-determinism。

因此需要：

Lbalance\mathcal L_{balance}

與：

CapacityConstraintCapacityConstraint

70. 硬體負載平衡

若大量樣本同時被判為深：

∑idi≫CapacityD\sum_i d_i \gg Capacity_D

則需要：

  • queue；
  • defer；
  • approximate；
  • spillover。

需要 scheduler：

S:Tasks→DevicesS: Tasks \rightarrow Devices

71. 深度預算市場

可將資源分配寫成：

max⁡∑iUi(di)\max \sum_i U_i(d_i)

subject to：

∑iCi(di)≤B\sum_i C_i(d_i) \leq B

形成 compute allocation optimization。

72. 深度權重更新

並非所有深層結果都應寫回權重。

可定義：

Wi=g(Novelty,Stability,Generalizability,Reuse)W_i = g( Novelty, Stability, Generalizability, Reuse )

只有高價值結構才：

UpdateWeightsUpdateWeights

其他保留：

ExternalMemoryExternalMemory

73. 從「多看幾次」到「多理解幾層」

傳統重複訓練可能：

x,x,x,xx,x,x,x

本文提出另一方向：

x(0)→x(1)→x(2)x^{(0)} \rightarrow x^{(1)} \rightarrow x^{(2)}

其中每層增加：

  • 關係；
  • 依賴；
  • 因果；
  • 系譜。

即：

重複暴露與結構深化是不同訓練操作。

74. 深度學習的另一重含義

本文不改寫既有「Deep Learning」術語。

但提出：

未來可區分 network depth 與 corpus depth。

即：

Deep NetworkDeep\ Network

與：

Deep Corpus StructureDeep\ Corpus\ Structure

不是同一概念。

75. 可能的新學習範式

本文暫稱：

Depth-Conditioned Learning

或：

Intrinsic-Depth Adaptive Learning

核心：

Data→DepthEstimate→ResourceRouting→NestedLearningData \rightarrow DepthEstimate \rightarrow ResourceRouting \rightarrow NestedLearning

76. 與人類學習的類比限制

人類可被粗略類比：

  • 廣泛接觸；
  • 深度理解；
  • 外部筆記。

但本文不主張：

HumanBrain=CPU/GPUHumanBrain = CPU/GPU

此類比只作啟發。

77. 研究限制

77.1 內在深度可能不存在唯一值

D(x)D(x)

高度任務依賴。

77.2 深度標籤昂貴

人工標註可能主觀。

77.3 表徵深度可能模型依賴

不同模型看見不同深度。

77.4 硬體分工可能被未來架構推翻

本文不綁死 CPU/GPU。

77.5 嵌套層數可能增加記憶成本

需要稀疏化。

78. 主要總猜想

語料內在深度異質性猜想

給定語料：

X\mathcal X

存在：

xi,xjx_i,x_j

使：

Length(xi)≈Length(xj)Length(x_i)\approx Length(x_j) Difficulty(xi)≈Difficulty(xj)Difficulty(x_i)\approx Difficulty(x_j)

但：

DMSC(xi,τ)≠DMSC(xj,τ)D_{MSC}(x_i,\tau) \neq D_{MSC}(x_j,\tau)

且差異可由關係、因果、邏輯、系譜或遞歸結構部分解釋。

深度可路由猜想

若：

D^(x)\hat{\mathbf D}(x)

具有足夠校準能力，則：

Dcompute∗=F(D^,τ,B)D_{compute}^{\ast} = F( \hat{\mathbf D}, \tau, B )

可在固定平均資源下提高效用。

三分資源猜想

在混合 AI 工作負載中：

Breadth+Depth+MemoryBreadth + Depth + Memory

比單純：

More Uniform ComputeMore\ Uniform\ Compute

更接近高效率資源分配。

79. 核心總公式

本文核心可壓縮為：

D(x)=(Dsemantic,Drelational,Dcausal,Dlogical,Dgenealogical,Dmeta,Drecursive)\boxed{ \mathbf D(x) = ( D_{semantic}, D_{relational}, D_{causal}, D_{logical}, D_{genealogical}, D_{meta}, D_{recursive} ) } R(x)=(b,d,m)\boxed{ R(x) = ( b, d, m ) } Dcompute∗(x,τ)=Fθ(D(x),Drel(x),τ,B)\boxed{ D_{compute}^{\ast}(x,\tau) = F_\theta \left( \mathbf D(x), \mathbf D_{rel}(x), \tau, B \right) }

80. 結論

本文提出「語料內在深度場」與「異構自適應學習」框架。

其最核心的轉換不是：

CPU→DeepCPU \rightarrow Deep GPU→WideGPU \rightarrow Wide

而是：

Uniform Compute→Depth ⁣− ⁣Aware Resource Allocation\boxed{ Uniform\ Compute \rightarrow Depth\!-\!Aware\ Resource\ Allocation }

以及：

Flat Embedding→Depth ⁣− ⁣Conditioned Nested Representation\boxed{ Flat\ Embedding \rightarrow Depth\!-\!Conditioned\ Nested\ Representation }

本文認為，未來 AI 的資料處理可能不只問：

這段語料與什麼相似？

還應問：

這段語料自身有多深？

它與另一段語料之間的關係有多深？

此任務值得投入多少額外計算？

這部分應學入權重、深入推進，還是只需寫入記憶？

因此，AI 資源路由可由：

SimilaritySimilarity

逐步擴展至：

Similarity+Depth+Task+BudgetSimilarity + Depth + Task + Budget

最終形成：

Breadth↔Depth↔Memory\boxed{ Breadth \leftrightarrow Depth \leftrightarrow Memory }

的動態循環。

若本文主要命題成立，則「深度」將不再只是神經網路有幾層，而可能成為：

語料結構、理論關係、計算資源與異構硬體之間的共同中介座標。

附錄 A：一句話版本

不是所有語料都應被同樣深地計算；最佳計算深度應由語料自身的候選語義深度、關係深度、當前任務與資源預算共同決定。

附錄 B：三分架構

AI=Breadth+Depth+Memory\boxed{ AI = Breadth + Depth + Memory }

附錄 C：三分路由

πθ(x,τ,C,D)→(b,d,m)\boxed{ \pi_\theta ( x, \tau, C, \mathbf D ) \rightarrow ( b,d,m ) }

附錄 D：嵌套表示

Zi={Zi(0),Zi(1),…,Zi(Li)}\boxed{ \mathcal Z_i = \{ Z_i^{(0)}, Z_i^{(1)}, \dots, Z_i^{(L_i)} \} }

其中：

Li=g(xi,τ,C,B)\boxed{ L_i = g( x_i, \tau, C, B ) }

附錄 E：最小系統流程

Input
↓
Breadth Encoder
↓
Candidate Graph
↓
Depth Estimator
↓
Breadth / Depth / Memory Router
├─ Breadth Compute
├─ Depth Compute
└─ External Memory
↓
Nested Representation Fusion
↓
Output

附錄 F：與既有方向的概念邊界

Mixture-of-Depths
└─ 動態分配 token 計算量

Universal Transformer
└─ 共享轉換與自適應重複計算

Mixture-of-Recursions
└─ 參數共享 + 動態遞歸深度

Matryoshka Representation Learning
└─ 粗到細、不同容量的嵌套表示

本文
└─ 候選語料內在深度
   + 關係深度
   + 廣度/深度/記憶路由
   + 嵌套表示
   + 異構硬體映射

附錄 G：可直接實作的 MVP 模組

1. Corpus Encoder
2. Intrinsic Depth Estimator
3. Relational Depth Estimator
4. Candidate Graph
5. Breadth Router
6. Depth Router
7. Memory Router
8. Nested Representation Store
9. Heterogeneous Scheduler
10. Evaluation Harness

附錄 H：特別聲明

本文不宣稱：

  1. 語料存在唯一客觀深度；
  2. CPU 必然最適合所有深度任務；
  3. GPU 只能處理廣度；
  4. 嵌套表示本身為本文首次提出；
  5. 動態計算深度為本文首次提出；
  6. 所有深度都能由單一模型正確估計；
  7. 增加計算深度必然改善結果；
  8. AI 應將所有知識寫入權重；
  9. 外部記憶可完全取代模型學習。

本文的定位是：

提出一個將語料候選內在深度、關係深度、自適應計算、外部記憶與異構硬體路由統一到同一方法論框架中的可檢驗研究方向。

參考資料

  1. Raposo, D. et al. (2024). Mixture-of-Depths: Dynamically allocating compute in transformer-based language models. arXiv:2404.02258.

  2. Dehghani, M. et al. (2018). Universal Transformers. arXiv:1807.03819.

  3. Kusupati, A. et al. (2022). Matryoshka Representation Learning. arXiv:2205.13147.

  4. Bae, S. et al. (2025). Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation. arXiv:2507.10524.

  5. Sapunov, G. et al. (2026). Depth-State Trade-offs in Adaptive Recursive Reasoning. arXiv:2604.21999.

文件結束