算力扩展竞争彼岸的AGI与局域化风险(AGI理论、AGI与社会以及日本的抉择:第二部分)

引言

当前AI的发展在很大程度上由“扩展定律”(Scaling Law)所解释。也就是说,随着模型参数量、训练所用数据量以及计算资源(FLOPs)呈指数级增长,其性能不断提升,使得以往被认为不可能完成的任务变得可行。在这条延长线上是否存在“通用人工智能(AGI)”,一直以来都备受广泛关注。

在上一篇第一部分中,我们介绍了近期多项理论研究不约而同地指出,Transformer架构模型有望渐近所罗门诺夫归纳(SI),展现出在算力扩展竞争的延长线上正逐渐浮现出AGI雏形的现状。同时,我们还探讨了若考虑到AGI一旦实现将对社会带来的巨大冲击,那么设立“当前的技术竞争延长线上不存在AGI”这一强假设是伴随巨大风险的。

因此,作为社会整体,我们必须充分认识到“AGI并非通过质的飞跃降临,而是有可能以连续的方式达成”这一情景。


本系列文章共分三期,将从以下三个视角探讨现代AI开发竞争与AGI连续演进的可能性及其深远意义。

  • 第一部分:介绍了近期的学习理论研究表明Transformer架构模型有望渐近所罗门诺夫归纳,指出AI与AGI之间的连续性可能远比以往所认为的更为紧密。
  • 第二部分(本篇):基于AI向AGI连续演进的可能性,探讨由中美科技巨头主导的扩展竞争所蕴含的意义,以及面向理想未来的战略性议题。
  • 第三部分:考察日本应采取的研究与政策路径,并提出若干具体建议。

扩展与AGI的连续性

——应考量无需根本性飞跃即可达成AGI的可能性——

长期以来,一直有人认为AGI的实现需要“根本性的全新算法”或“未知的范式”。然而,理论研究的进展正让这一观点发生动摇。当前以Transformer为基础的学习算法,若能持续增加数据和计算资源,就有可能逼近所罗门诺夫归纳;若果真如此,通往AGI的路径就不能被称为“飞跃”,而更应表述为“渐近”。

从学术严谨性出发,这当然并不是在断言“AGI必然会实现”。我们所能确定的,仅仅是“存在理论上的连续性”。然而,这一认知差异对社会而言具有极其重大的意义。因为在当前尚不明确实现AGI未来还需要多大规模扩展的情况下,若懈怠于为未来AGI可能实现做好准备,一旦AGI真正成为现实,必将导致无法挽回的滞后。

以“达成AGI”情景为基准

风险评估的基本原则是:

研讨优先级 = 发生概率 × 现实化时的冲击影响

考虑到AGI技术一旦实现将对人类社会产生极为广泛且深远的冲击,即便其实现概率存在相当程度的不确定性,将“无法达成AGI”作为主基调情景也将承担过高的风险。

这种思路类似于应对气候变化的讨论。即便全球变暖的进程不及预期严重,未雨绸缪的投资仍具备一定的价值。然而,若气候变暖迅速加剧而社会毫无防备,人类将面临极其严峻的危机。对于AGI而言亦是如此,在政策制定和制度设计中,将“达成AGI”作为主要情景之一并置于基准地位是合理的设想。即便AGI最终并未实现,那也仅意味着某种预设的灾难性风险没有成为现实,并不代表前期的防范准备毫无意义。

局域化风险及其替代情景

对于以AGI为代表的先进AI技术被少数国家或实体寡头垄断所带来的巨大风险,各界论者早已屡屡敲响警钟。

单极情景(Singleton Scenario)

在讨论AGI乃至更高级别的超级智能(ASI)时,经常会提到“单极(Singleton)”这一概念。该概念由牛津大学前教授尼克·博斯特罗姆(Nick Bostrom)提出。AGI指的是能够替代人类所能执行的一切智力任务的技术。由于人类能执行的任务也包括对AI本身的改进,这意味着AGI同样能够改进自身。也就是说,当AI达到某种推理能力后,从此便可在无需人类协助的情况下,自主执行针对自身的再改进闭环(自我改进循环)。所谓单极,即指通过这种自我改进循环实现指数级的性能提升,从而由单一实体(某个AI或拥有该AI的组织)垄断压倒性智能的状态。博斯特罗姆主张,一旦陷入这种状态,初始的能力差距将呈指数级拉大,极难打破这种寡头垄断(即获得“决定性战略优势 decisive strategic advantage”)。单极一旦出现,其行为将单方面决定整个地球的未来,因此被认为可能直接关乎人类的“生存风险”。

多极情景

博斯特罗姆等人虽已从多方面论证了单极情景的可能性,但这也可以说是一种忽视了物理和社会约束的极端设想。如果单极不会出现,那么接下来需要考虑的便是“多极情景”。在多极情景中,多个实体(如国家或企业等)寡头垄断AGI/ASI技术,彼此处于竞争关系。即便主体不止一个,若仅局限于少数几方,掌握与未掌握AGI/ASI技术者之间仍会产生巨大的力量鸿沟。此外,由于各AGI/ASI之间始终处于竞争状态,这一情景被认为极易由AI技术诱发事故与灾难,具有高度的不稳定性。

生态系统情景

相较于上述并不理想的情景,更为可取的替代方案是“生态系统情景”。在这一情景下,所设想的不仅是单纯的多极化,而是构建一个相互依存的AI网络状态。包括AGI在内的各类AI智能体与构成人类社会的个人、法人及其他实体相互连接,自发且复杂地形成相互依存、相互验证、相互制约、相互让渡、相互审计与相互补充的关系,期望以此展现出宛如自然界生态系统般的稳健性(鲁棒性)。这也是日本研究人员依托东方思维发展出的独特理念。

生态系统网络路径具备诸多优势。当某个AI试图失控时,其他节点可承担验证与控制的职能,从而确保人类社会与AI的复合系统整体能够稳定运行。此外,存在基于多样化设计、数据及文化背景的AI模型,能降低单一缺陷波及全局的风险。通过相互审计确保透明度,并提供从多元视角验证决策与输出合理性的机制。简而言之,将AI作为生态系统网络融入人类社会,无论从安全性还是可信度的角度来看,都是一条更为理想的路径。

补充说明:然而,构建了复杂的网络并不意味着它能自动保证对人类社会是有利的。要满足何种条件才能使人类社会与AI的复合系统稳定且健康地发挥作用,从理论和数理层面阐明这些条件,正是我们AI对齐网络(AI Alignment Network)的核心研究课题之一。


有关这些情景的详细说明及成立条件,请参阅以下论文:

关于未来机器智能的情景与分水岭,《人工知能学会誌》Vol. 33 No. 6 (2018/11)


国际多极竞争的必要性

当前,需要巨额资金与基础设施的前沿AI开发高度集中于美中两国的数家巨头企业。这些企业凭借庞大的算力与海量的训练数据主导着扩展竞争。尽管技术成果斐然,但在国际层面上却呈现出极度的分布不均。这种结构正在促使未来的局域化风险显现,令人深感忧虑。

为了提高AGI技术实现后整个人类社会的稳定性,必须尽可能培育出中美之外的第三极、第四极乃至更多力量。只要有多个国家与企业作为核心参与者存在,就有更大可能将多极结构转变为生态系统网络型结构。此外,为了确保整个社会的稳健性与反脆弱性,这些参与者拥有多元的文化与技术背景以保障价值观的多样性也至关重要。

作为第三极、第四极之后的候选者,日本、欧洲、印度以及中东各国备受期待。其中,日本在技术底蕴、研究人才以及国际社会信任度方面兼具良好条件,若能通过大规模投资,完全有望承担起这一角色。

结语

理论研究所揭示的“AGI处于算力扩展竞争的连续延长线上”这一洞见,为社会带来了重大的前提转变。一旦认识到AGI可能并非通过“飞跃”,而是通过“渐近”达成,防范筹备的优先级就将发生根本性改变。

换言之,我们必须正视少数参与者寡头垄断AGI技术的危险性,积极推进多极化、相互依存的网络型AI建设,同时促使更多国家展开积极投资,以培育出中美之外的新生力量。

对于日本而言,这一方向不仅契合提高人类社会稳定性的诉求,同时也有助于维持其作为发达国家的竞争力。在接下来的第三部分中,我们将针对这种技术与国际态势,就日本应当采取的行动及应落地的政策提出具体建议。

前往第三部分


本文转载自 ALIGN 博客(2025年10月10日)。原文:https://www.aialign.net/blog/transformer-agi-part2

Koichi Takahashi

tomola is a place to exchange ideas across languages. Every post can be read in your language.

Log in to reply or mark a post as Insightful. Membership is by invitation. Log in