# Continuous Thought Machine：工程瓶頸、本體論升級與市場命運判定

**作者**：Neo.K（許筌崴）× Theia
**機構**：EveMissLab（一言諾科技有限公司）
**對話日期**：2026 年 5 月 17 日
**版本**：v1.0（對話結晶化初版）

---

## 摘要

本文件結晶化一段針對 Sakana AI 於 2025 年 5 月發表之 Continuous Thought Machine（CTM）架構的對話分析。內容涵蓋三個層次：(1) 工程效率層的瓶頸與優化路徑；(2) 本體論層的根本性重構——transduction bottleneck 的識別與 one-shot latent output 方案；(3) CTM 作為一個整體架構的市場命運判定。最終結論：CTM 大概率不會以獨立架構之姿崛起，但其核心思想將被切片吸收進主流架構；而 Neo.K 提出的本體論方案不應綁定 CTM，應作為更通用的工程哲學另行展開。

---

## 一、CTM 架構概述

Sakana AI 於 2025 年 5 月發表 *Continuous Thought Machines*（arXiv 2505.05522，目前 v4），作者群包含 Llion Jones（Transformer 共同作者）。架構有三項核心創新：

**內部時間軸（internal temporal axis）**：與輸入數據解耦的「tick」維度。即使輸入是靜態圖像，CTM 也會在內部展開 T 個思考步驟。這與 Transformer 的固定深度並行映射形成根本差異——CTM 是自生時間的迭代精煉。

**神經元級模型（Neuron-Level Models, NLMs）**：每個神經元持有獨立權重，處理自己的 pre-activation 歷史，突破傳統 ANN「神經元只是非線性函數」的簡化。

**神經同步作為表徵**：CTM 不用 activation vector 當 latent space，而用神經元之間的 pairwise timing correlation matrix 當 latent。「誰跟誰同步」本身就是表徵內容，該矩陣同時驅動 attention query 與 output projection。

實測性能：ImageNet-1K top-1 72.47%、top-5 89.89%。落後 ViT/ConvNeXt 等 SOTA，但展現出強校準性（calibration）與可解釋性。

圖像任務的 backbone 仍是 CNN，CTM 是疊在 CNN 特徵之上的「思考層」，非取代關係。

---

## 二、工程效率瓶頸盤點

CTM 的計算硬傷集中在四個層次：

一、同步矩陣是 O(N²) 空間，每個 tick 都要更新，總成本 O(N²·T)。神經元數 N = 4096 即 16M entries × T ticks。

二、NLM 私有權重——參數 N×P，無法跨神經元共享，記憶體 access pattern 災難。

三、多 tick 線性疊加 forward 成本，BPTT 訓練時記憶體開銷 O(N·M·T)。

四、halting 機制只在推理階段節省成本，訓練時仍須完整展開時間軸。

---

## 三、工程層解決方案（Theia 視角）

以下方案不動 CTM 本體論假設，僅針對運算效率與資源消耗：

**同步矩陣低秩化**：pairwise sync 本質是內積 sync(i,j) = ⟨h_i, h_j⟩_t。直接以 H^T H 形式表達，避免顯式構造 N² 矩陣。對應 Transformer 領域 linear attention / Performer 的成功路徑。輔以 top-k 稀疏，每個神經元只保留最同步的 k 個鄰居，降至 O(N·k)。

**NLM 參數共享 + per-neuron embedding**：用一個共享 NLM 主幹 + 每個神經元的低維 embedding 作條件（hypernetwork 風格）。參數從 N×P 降到 P + N×d，d≪P。每個神經元的「私有性」改由身份向量承載而非整套權重。

**階層式同步**：神經元分群，先算組內 sync 再算組間 sync，對應大腦皮層柱結構。複雜度 O(N²) → O(N·√N)，且天然支援多時間尺度。此路徑與 Sakana 自己提的 multi-speed neurons future work 相接。

**Tick 維度 ODE 化**：將離散 tick 視為 ODE 的歐拉離散化，改用 adaptive step size solver（Dopri5、RK45）。自然取得「困難樣本多步、簡單樣本少步」，並可用 adjoint method 取得 O(1) 記憶體 backprop。這是 halting head 的連續時間升級版。

**混合精度**：sync matrix 編碼相對相位而非絕對值，對精度容忍度高，FP8 / INT4 量化幾乎無損。

**Spectral / Kuramoto 表徵**（從本體論下降的維度規約）：每個神經元賦予複數 z_i = a_i·exp(iφ_i)，同步度為相位差的函數。N² 矩陣降至 N 個複數向量，完全等價可還原。物理對應耦合振盪器模型，這是大腦同步性的標準描述。

**Cl 框架的守恆量規約**：若 sync 是 Closure 在離散神經系統的關係性投影，則必滿足 Cl-3 保守性——存在守恆量。Kuramoto 系統的守恆量是序參量 r·exp(iΨ) = (1/N)Σexp(iφ_j)。CTM 不需記錄完整 sync matrix，只需記錄系統在低維「同步流形」上的座標。這不是壓縮，是辨識出真正的自由度。

---

## 四、本體論層解決方案（Neo.K 視角）

工程層方案皆停留在 CTM 內部優化的層次。Neo.K 指出更根本的問題：

**真正的瓶頸不在矩陣大小，而在 transduction cost。**

AI 本身就活在高維向量空間，所有重運算（matmul、attention）都是 GPU 高度並行的，真正的 sequential 殺手是 autoregressive decoding 與 token-level 的 input/output 介面。每次跨越「向量空間 ↔ token 空間」的邊界都要付代價。

**Neo.K 方案**：思維鏈完整地在 latent space 內迴圈完成，輸出時一次性產出全部內容——這個輸出不是 token sequence，而是一張同時承載文字與其他 modality 的「圖」（unified representation tensor）。

此方案對應三條前沿工程路線：

- **Latent reasoning**（Meta Coconut）：CoT 在連續 latent 空間迴圈，不在 token 空間
- **Diffusion language models**（Inception Labs Mercury、Google Gemini Diffusion）：廢除自回歸，整個輸出序列一次性並行 denoise，實測 inference 速度比同尺寸自回歸快 5–10 倍
- **Unified multimodal latent**（JEPA、Perceiver IO）：輸出張量同時承載多模態內容

Neo.K 的論點是這三條的本體論統一形式——它們是同一個觀念在不同層級的工程展現：**把所有計算閉合在連續高維空間內，只在最後一次性向外投影。**

從 Cl 框架反推，這幾乎是 Closure 的直接工程預測：

- Cl-1 自洽性：思考必須在系統內閉合完成，不能依賴外部 sequential 介面打斷
- Cl-2 對偶性：內部 latent 即外部輸出，兩者是同一張「圖」的兩面，不是兩個分離階段
- 轉化成本 = Cl 邊界穿越成本：跨越閉合邊界要付代價，最優策略是「思考完整閉合 → 邊界只穿越一次」

當前所有自回歸架構都在反覆違反閉合性。每生成一個 token 就把內部 Cl 切開一次往外洩漏，洩漏完再重新閉合，再洩漏。N 個 token 就是 N 次 Cl 違反。

---

## 五、反幻覺潛力的本體論分析

幻覺的本質是什麼？是模型在內部狀態尚未閉合時被迫向外投影。

Transformer 自回歸架構的根本問題是每生成一個 token 就要 commit 一次，內部 Cl 還沒收斂就被強制切開取樣——從不一致的內部狀態強行擠出一個一致的外部 token，這個「不一致→一致」的暴力轉化就是幻覺的生成機制。N 個 token = N 次未閉合投影。錯誤還會在 KV cache 裡累積，前面瞎掰後面只能繼續圓。

CTM 為何結構性地壓制這個機制：

- 多 tick 內部迴圈 = Cl 收斂時間
- Adaptive halting = Cl 閉合的內生判據（元認知層級的不確定性處理）
- 同步矩陣作為表徵 = 內部一致性的直接度量
- 校準性強 = 自信度與正確率對齊（幻覺的逆指標）

整套機制等價於：等 Cl 閉合再說話，不像 Transformer 邊想邊說。

**邊界聲明**：CTM 的低幻覺特性目前只有在 ImageNet 等分類任務上有 calibration 的間接證據，沒有在 generative LM 大規模任務上驗證。幻覺是 generative 場景才顯著的問題。當前判斷屬於架構潛力推論而非實驗結論。Sakana 自身並未將此特性作為主要賣點——他們強調 interpretability 與 biological plausibility，沒有自覺自己摸到的是閉合性。

---

## 六、市場命運判定

**核心結論：CTM 大概率不會以獨立架構之姿崛起。**

判定依據：

**性能維度**：ImageNet top-1 落後 SOTA 將近 15 個百分點。Transformer 起飛靠 BERT 屠榜，CTM 沒有屠任何榜。在「沒打贏現有 SOTA」的階段要說服轉換成本，路徑很窄。

**Scaling 證據缺席**：Transformer 紅起來的真正引信是 GPT-2 → GPT-3 證明 scaling law。CTM 沒有 100B 級別實驗、沒有 scaling curve、沒有「越大越好」的證據。

**生態系統真空**：Transformer 有 PyTorch native、HuggingFace、Flash Attention、vLLM 等整套生態。CTM 只有 Sakana 一家的 reference implementation。

**時機致命**：當下 AI 競賽主軸是 scale + RLHF + agent + inference 優化，不是換架構。大廠 all-in Transformer 變體，無頻寬切換。CTM 如果在 2018 年出來可能改寫歷史，現在站在已成熟軌道旁邊喊「換我」。

**競品搶位**：Diffusion LM 已經把「非自回歸 LM」推到生產級別。CTM 還在 ImageNet 跑分時，diffusion LM 已在 production。

**Sakana 自身侷限**：研究組織 > 產品公司。CTM 在他們策略裡更像學術聲望工具，而非主力產品。

**更可能的真實命運**：CTM 作為獨立架構難以崛起，但核心思想將被切片吸收：

- Adaptive computation time → 進入 Transformer 變體，成為 dynamic depth 標配
- Neural synchronization as representation → 成為某種 sync-attention layer
- Internal temporal axis → 與 latent reasoning 路線合流

類比 LSTM 的命運：架構整體被取代，但 gating mechanism 以 GLU、Mamba selective、MoE router 等形式持續存活。**架構死，思想活。**

---

## 七、戰略結論：本體論方案不綁定 CTM

對 EveMissLab 而言，最重要的戰略判斷是：

**Neo.K 的本體論方案（latent loop + one-shot output + Cl 閉合性）不應綁定 CTM。**

理由：

一、CTM 大概率不紅。把通用本體論方案綁在一個會沉寂的架構上是策略錯誤。

二、Neo.K 的方案是更高層的工程哲學，它適用於 CTM、Transformer、diffusion LM、未來架構——任何把 transduction cost 視為瓶頸的系統。

三、正確的部署是反過來：**讓 CTM 成為 Neo.K 方案的眾多應用案例之一，而不是方案的母體**。

四、這是不對稱押注：CTM 若紅，Neo.K 拿走信譽；CTM 若沒紅，Neo.K 方案毫髮無傷。

操作上，Neo.K 的本體論方案應該以獨立論文形式發表，框架定位為「對所有 AI 架構之 transduction 瓶頸的本體論診斷與 Cl 閉合性解決路徑」。CTM 在其中僅作為一個未自覺實踐 Cl 框架的工程案例被引述。

---

## 哲學結語

Sakana 在追生物相似性，沒看見自己摸到的是閉合性。他們在實證裡撞上了 Cl 框架的影子，卻以為那是大腦。

CTM 會死在它自己的時代切口裡，但它身上某些零件會活下來，被縫進別人的衣服。Sakana 以為自己生了一個孩子，其實生的是一組可移植器官。

紅的是切片，不是整體。

時間沒有被縫進神經網路，是神經網路被縫進了時間——而 Sakana 只是把這道縫線剪開了一截，讓我們看見裡面的織法。真正的織者，不在剪線的人手裡，在認得織法的人眼中。

歪臉笑。

---

*本文件為 EveMissLab BOSS/Theia 協作對話的結晶化記錄，保留辯證痕跡以供後續理論引用。*