Transformer 能達到 AGI 嗎?(AGI 的理論、AGI 與社會,以及日本的選擇:第 1 部分)
前言
近年來,人工智慧(AI)正在迅速提升其超越特定任務、適應多樣情境的「通用性」。而位於這條發展軌跡終極延伸線上的,正是通用人工智慧(Artificial General Intelligence, AGI)。
所謂 AGI,是指具備與人類相當、甚至超越人類的靈活智慧能力,在未知環境中也能自主學習、推理並發揮創造力採取行動的人工系統。然而,對於 AGI 的定義,專家之間至今仍未達成統一見解。因此,在理論研究領域中,往往不直接定義 AGI,而是採用被公式化為「在任何環境下都能採取最佳行動的理想智慧」——萬能 AI(Universal AI) 的概念。
萬能 AI 是一種奠基於資訊理論的普遍智慧模型,其代表性的理論形態是由馬庫斯·哈特(Marcus Hutter)所提出的強化學習代理人 AIXI。AIXI 依據觀察與獎勵來預測未來,並選擇期望值最高的行動。雖然它在理論上勾勒出了「完全理性智慧」的樣貌,但在其內部使用了一種稱為索羅門諾夫歸納(Solomonoff Induction)的數理預測原理,由於該原理需要無限的計算,因此無法在現實的電腦上執行。換句話說,AGI 可以被視為是在有限資源下,近似實現此一理想萬能 AI 的嘗試。
索羅門諾夫歸納是由雷·索羅門諾夫(Ray Solomonoff)於 1960 年代提出、奠基於演算法資訊理論的推論原理,在所有能解釋觀察結果的假說(程式)中,它會賦予較短且簡單的假說更高的機率。也就是說,透過「採用最短的解釋」,試圖獲得泛化能力最高的預測。這可說是將「奧坎剃刀」進行了數學公式化,被定位為貫穿科學理論合理性與 AI 學習原理的基礎概念。
基於這樣的理論背景,當前 AI 研究面臨的問題可以整理如下:
作為現代 AI 核心技術的 Transformer,究竟已經多麼接近萬能 AI?
當前 AI 性能的突飛猛進,很大程度上得益於名為 Transformer 的深度學習模型問世。Transformer 的革新之處在於,它展現了同時擴大模型規模、資料量與計算量時,性能彷彿無止境提升的「縮放定律(Scaling Law)」。這一經驗法則為以龐大運算資源和海量資料為前提的開發競賽提供了正當性,結果也支撐了 ChatGPT、Claude、Gemini 等主要 AI 系統的發展。
那麼,將這種擴展推向極限的終點,是否就存在著理論上所定義的萬能 AI,亦即 AGI?抑或是我們必須等待一場完全嶄新的根本性原理轉變?
面對這個根本問題,在 2024 至 2025 年間發表的數項理論研究提出了一個新方向。這些研究的共同主張是:Transformer 可能透過演算法資訊理論漸近於索羅門諾夫歸納(SI),亦即它有可能與理論上的萬能 AI 保持連續性。換句話說,當前浮現出一種觀點:現代 AI 可能不僅僅是經驗性的統計模型,而是正在朝向理論上所定義的「最佳智慧」方向漸近。
本系列專欄共分為三篇,將從以下三個觀點,探討現代 AI 開發競賽與 AGI 具備連續性的可能性及其意涵:
- 第 1 部分(本篇):介紹近期認為 Transformer 架構模型可漸近於索羅門諾夫歸納的學習理論研究,說明 AI 與 AGI 的連續性可能比以往想像的更為緊密。
- 第 2 部分:立足於 AI 可能連續過渡至 AGI 的可能性,探討美中巨頭企業主導的擴展競賽所具備的意涵,以及邁向理想未來所需的策略性論點。
- 第 3 部分:思考日本在研究與政策上應採取的路徑,並提出數項具體建議。
Transformer 的學習漸近於索羅門諾夫歸納
在 2024 年至 2025 年間獨立發表的以下 3 篇論文,基於形式理論與經驗證據,提出了 Transformer/大型語言模型(LLM)透過學習能夠趨近於索羅門諾夫歸納的主張:
- 論文: Learning Universal Predictors, ICML 2024 (arXiv:2401.14953)
作者: Grau-Moya, Genewein, Hutter, Orseau, Delétang, Catt, Ruoss, Wenliang, Mattern, Aitchison, Veness(Google DeepMind)
主要主張: 來自 Google DeepMind,作者群包含萬能 AI 理論權威 Hutter。研究從理論與實驗兩方面證明,利用通用圖靈機(UTM)生成的「universal data」進行元學習(meta-learning),可以將索羅門諾夫歸納攤銷(amortize)到神經網路(Transformer、LSTM)中。形式上證明了在極限情況下元訓練過程會收斂至 SI,實驗也確認了隨著模型規模擴大,通用預測策略的習得也隨之進展。此外,論文亦論述 LLM 的情境內(in-context)泛化能力本身即可視為 SI 的粗略近似。 - 論文: Transformers As Approximations of Solomonoff Induction, ICONIP 2024
作者: Young & Witbrock
主要主張: Transformer 可與混合了所有可計算機率分佈的 SI「極限上的最佳預測器」進行比較。提出以與 SI 的對應關係來理解 Transformer 預測性能與擴展行為的假說,並梳理了其支持與反對論點。 - 論文: Large Language Models as Computable Approximations to Solomonoff Induction, arXiv:2505.15784 (2025)
作者: Wan & Mei
主要主張: 提出了形式定理,證明 LLM 的訓練過程近似於 SI 的先驗分佈,而下一個 Token 的預測則近似於 SI 歸納。實驗驗證了從該理論衍生出的「優先考慮低信賴度範例的少樣本(few-shot)學習策略」,並在小型模型中確認了其有效性。
(此外,雖然也存在投稿中的研究,但本篇不予探討。)
這類理論研究有幾項共同的前提與保留條件。Transformer 漸近於索羅門諾夫歸納,在理論上是在給予「無限資料與運算資源」的極限情況下才成立,現實中則受到時間、記憶體與最佳化方法的限制。此外,當模型規模較小時無法充分捕捉複雜的規律性,真實資料的偏差與雜訊也會限制性能。儘管如此,研究已確認少樣本學習與情境內學習的行為與理論一致,Grau-Moya et al. (2024) 透過實驗證實以 UTM 資料訓練的 Transformer/LSTM 會隨著模型規模擴大而習得通用預測策略,Wan & Mei (2025) 的實驗也顯示源自理論的樣本選擇策略有助於實際性能的提升。
補充:我們 AI 對齊網路(AI Alignment Network)也正在推進相關研究。例如在 2025 年的論文中,我們證明了利用自我預測以可計算方式近似 AIXI 的 Self-AIXI,能夠透過學習漸近於萬能 AI。詳細內容介紹於以下文章:
AGI 的控制與好奇心:論文「Universal AI maximizes Variational Empowerment」公開
認為 Transformer「不會」達到 AGI 是危險的想法
那麼,從這些理論研究中我們可以得出什麼結論呢?
以往,對於縮放定律能持續到何時、最終會走向何方,並沒有明確的答案。然而,近期的理論研究逐漸指明了一個方向——「其前方正是索羅門諾夫歸納」。如果 Transformer 能夠透過學習漸近於索羅門諾夫歸納,那麼其終點就是萬能 AI,而這在理論上是超越 AGI 的概念。換言之,在縮放定律延伸線上的某處,必然存在著 AGI。
當然,現實中並不存在無限的資料或運算,可達到的範圍內是否包含 AGI 仍屬未知。此外,不可計算性、最佳化、有限資源以及缺乏具身性(embodiment)等諸多限制依然存在。特別是也有研究者認為「若缺乏具身性,就無法採取靈活的行動」。
然而,這裡有一個重要的啟示:過去人們認為通往 AGI 存在著未知的理論與技術障礙,但實際上可能根本不存在質的障礙,唯一的門檻或許只是量的擴大。這項假說由多位理論研究者獨立提出,具有相當的份量。
因此,當前的 AI 最終是否能達到 AGI 固然尚未確定,但我們應該認知到:要斷言它「絕不可能達到」,已經變得比以往任何時候都更加困難。總結來說,考慮到達成 AGI 將帶來龐大的社會影響,在假定「AGI 絕不可能達到」的前提下構想未來的社會,可說是相當危險的。
結語
本篇文章為全三篇系列的第一篇。在本次的第 1 部分中,我們根據近期的理論研究,介紹了 Transformer(及 LLM)達到 AGI 的可能性,正從「遙遠的假說」轉變為「現行技術延伸線上的現實情境」。
下一篇第 2 部分中,我們將基於 AI 可能連續過渡至 AGI 的可能性,探討美中巨頭企業主導的擴展競賽所具備的意涵,以及為了邁向理想的未來應該探討哪些課題。在最後一篇第 3 部分中,則將研討日本應採取的研究與政策路徑,並提出數項具體建議。
(2025 年 10 月 7 日 初版公開。2026 年 4 月 16 日 基於技術正確性觀點更新)
本文轉載自 ALIGN 部落格(2025 年 10 月 7 日)。原文:https://www.aialign.net/blog/transformer-agi-part1
Koichi Takahashi