Transformer能否到达AGI?(AGI的理论、AGI与社会,以及日本的选择:第1部分)

引言

近年来,人工智能(AI)正在迅速提高其超越特定任务、适应多样化场景的“通用性”。位于这一趋势终极延伸线上的,正是通用人工智能(Artificial General Intelligence, AGI)。

所谓AGI,是指拥有与人类相当甚至更高水平的灵活智能,能够在未知环境中自主学习、推理并进行创造性行动的人工系统。然而,关于AGI的定义,专家之间也并未达成统一的共识。因此,在理论研究领域,学者们往往不直接定义AGI,而是常常使用被形式化为“在任何环境下都能采取最优行动的理想智能”的万能AI(Universal AI)这一概念。

万能AI是基于信息论的普遍智能模型,其代表性的理论形式是马库斯·赫特(Marcus Hutter)提出的名为 AIXI 的强化学习智能体。AIXI基于观测和奖励来预测未来,并选择期望值最高的行动。理论上,它勾勒出了“完全理性智能”的形态,但在其内部使用的是一种被称为所罗门诺夫归纳(Solomonoff Induction)的数学预测原理,由于这需要无限的计算,因而在现实的计算机上是无法运行的。换句话说,AGI可以被看作是用有限资源近似实现这一理想万能AI的尝试。

所罗门诺夫归纳是雷·所罗门诺夫(Ray Solomonoff)于20世纪60年代提出的、基于算法信息论的推理原理,它在解释观测结果的所有假设(程序)中,赋予更短、更简单的假设更高的概率。也就是说,通过“采用最短的解释”,来获得泛化能力最强的预测。这可以说是“奥卡姆剃刀”的数学形式化表达,被定位为贯穿科学理论合理性与AI学习原理的基础概念。


基于这样的理论背景,当前AI研究所面临的问题可以梳理如下:

作为现代AI核心技术的Transformer,究竟在多大程度上接近了万能AI?

当前AI性能的迅猛提升,很大程度上得益于被称为Transformer的深度学习模型的出现。Transformer的革新之处在于展现了“缩放定律(Scaling Law)”:通过同时扩大模型规模、数据量和计算量,性能似乎可以无止境地提升。这一经验法则为以巨额算力和海量数据为前提的开发竞争提供了合理性,并最终支撑了ChatGPT、Claude、Gemini等主流AI系统的发展。

那么,在这条缩放之路推进到极致的前方,是否存在着理论上定义的万能AI,即AGI?还是说,我们必须等待全新的原理性转变?

针对这一根本问题,2024年至2025年间发表的多项理论研究指出了新的方向。这些研究的共同主张是:Transformer可能通过算法信息论渐近于所罗门诺夫归纳(SI),也就是说,它可能与理论上的万能AI是连续的。换言之,一种新的视角正在浮现:现代AI或许并非仅仅是经验性的统计模型,而可能正朝着理论上定义的“最优智能”方向渐近。


在本系列共三篇文章中,我们将从以下三个视角梳理现代AI开发竞争与AGI保持连续的可能性及其意义。

  • 第1部分(本篇):介绍认为Transformer架构模型可以渐近于所罗门诺夫归纳的近期学习理论研究,阐明AI与AGI之间的连续性可能比以往认为的更为紧密。
  • 第2部分:基于AI走向AGI的连续性可能,探讨中美科技巨头主导的缩放竞争的意义,以及面向理想未来的战略性议题。
  • 第3部分:考察日本应采取的研究与政策路径,并提出若干具体建议。

Transformer的学习渐近于所罗门诺夫归纳

2024年至2025年间独立发表的以下3篇论文,基于形式理论与实证证据,展开了关于Transformer/大语言模型(LLM)通过学习逼近所罗门诺夫归纳的主张。

  1. 论文: Learning Universal Predictors, ICML 2024 (arXiv:2401.14953)
    作者: Grau-Moya, Genewein, Hutter, Orseau, Delétang, Catt, Ruoss, Wenliang, Mattern, Aitchison, Veness(Google DeepMind)
    主要观点: 由Google DeepMind发表,作者阵容包括万能AI理论的权威学者Hutter。论文从理论和实验两方面证明,通过使用由通用图灵机(UTM)生成的“通用数据(universal data)”进行元学习,可以将所罗门诺夫归纳摊销(amortize)到神经网络(Transformer、LSTM)中。形式化地证明了在极限情况下元训练过程会收敛到SI,并在实验中确认了随着模型规模的扩大,通用预测策略的习得也在推进。此外,论文还论述了LLM的上下文泛化能力本身就可以视为SI的粗糙近似。
  2. 论文: Transformers As Approximations of Solomonoff Induction, ICONIP 2024
    作者: Young & Witbrock
    主要观点: Transformer可与混合了所有可计算概率分布的SI的“极限最优预测器”相提并论。论文提出了从与SI的对应关系来理解Transformer的预测性能及缩放行为的假说,并梳理了其支持与反对意见。
  3. 论文: Large Language Models as Computable Approximations to Solomonoff Induction, arXiv:2505.15784 (2025)
    作者: Wan & Mei
    主要观点: 给出了形式化定理,表明LLM的训练过程近似于SI的先验分布,而下一词元预测则近似于SI归纳。实验验证了由该理论导出的“优先选择低置信度样本的少样本学习策略”,并在小型模型上确认了其有效性。

(此外也存在一些投稿中的研究,但本文不做讨论。)

这类理论研究包含一些共同的前提和保留条件。Transformer渐近于所罗门诺夫归纳,在理论上是在给定“无限数据与算力”的极限情况,而现实中存在时间、内存和优化方法的限制。此外,模型规模较小时无法充分捕捉复杂的规律性,真实数据的偏差和噪声也会限制性能。即便如此,研究已确认少样本学习和上下文学习的行为与理论相符:Grau-Moya等人(2024)通过实验证实,在UTM数据上训练的Transformer/LSTM随着模型规模的扩大会获得通用预测策略;Wan & Mei(2025)的实验则表明,由理论推导出的样本选择策略确实有助于提升实际性能。

补充:我们AI对齐网络(AI Alignment Network)也在推进相关研究。例如在2025年的论文中,我们证明了通过自预测来对AIXI进行可计算近似的Self-AIXI,能够通过学习渐近于万能AI。详情请见以下文章:
AGI的控制与好奇心:论文《Universal AI maximizes Variational Empowerment》发表

认为Transformer“无法”到达AGI是危险的

那么,从这些理论研究中我们能得出什么结论呢?

以往,对于缩放定律能持续到何时、最终会走向何方,并没有明确的答案。然而,近期的理论研究正在指明一个方向:“其前方正是所罗门诺夫归纳”。如果Transformer通过学习能够渐近于所罗门诺夫归纳,那么在其前方的就是万能AI,而这在理论上是一个超越AGI的概念。也就是说,在缩放定律延伸线的某处,必然存在着AGI。

当然,现实中不存在无限的数据或计算,可达范围内是否包含AGI仍未确定。此外,不可计算性、优化问题、有限资源、缺乏具身性(embodiment)等诸多限制依然存在。尤其是部分研究人员认为“没有具身性就无法实现灵活的行动”。

然而,这带来了一个重要的启示:过去人们认为通往AGI存在未知的理论和技术壁垒,但实际上可能根本不存在壁垒,障碍或许仅仅在于量的扩大。多位理论研究者独立提出了这一假说,这一点具有相当的分量。

因此,当前的AI能否到达AGI目前尚无定论,但我们应当认识到:断言它无法到达,已经变得比以往任何时候都要困难。总而言之,考虑到AGI到来的巨大社会影响,在假设“无法到达AGI”的前提下构想未来的社会是危险的。

总结

本文是全三篇系列文章的第一篇。在本次的第1部分中,我们基于近期的理论研究介绍了这样一种趋势:Transformer(及LLM)到达AGI的可能性,正在从“遥远的假说”转变为“现有技术延伸线上的现实情景”。

在接下来的第2部分中,我们将基于AI走向AGI的连续性可能,探讨中美科技巨头主导的缩放竞争的意义,以及为了走向理想的未来我们应当审视哪些问题。在最后的第3部分中,我们将探讨日本应采取的研究与政策路径,并提出若干具体建议。

(2025年10月7日 初版发布。2026年4月16日 基于技术准确性视角更新)

前往第2部分


本文转载自 ALIGN 博客(2025年10月7日)。原文:https://www.aialign.net/blog/transformer-agi-part1

Koichi Takahashi

tomola is a place to exchange ideas across languages. Every post can be read in your language.

Log in to reply or mark a post as Insightful. Membership is by invitation. Log in