AGI的控制与好奇心:论文《Universal AI maximizes Variational Empowerment》发表

林祐辅(ALIGN)与高桥恒一(ALIGN、理研、庆应义塾)发表了一篇关于AGI的可控性与安全性的新论文(arXiv:2502.15820)。本篇博文将对该论文的内容进行解读。

■ 为什么讨论AGI如此困难?——引言

“AGI(通用人工智能)”是指拥有与人类相当或更高智慧、能够胜任多样化任务的通用型AI概念,与以往专注于特定任务的专用型AI(narrow AI)形成对比。考虑到近年来的飞速发展,也有观点认为可被称为AGI的AI在未来几年内就会实现。

那么,究竟以什么为标准才能说实现了AGI呢?事实上,目前并不存在所有专家都达成共识的明确定义。本次的论文采用了一种名为Legg-Hutter intelligence的数学形式化定义。该定义将智能理解为“在各类环境中实现目标的能力”,并将其量化为最大化来自环境的奖励的能力。拥有最大Legg-Hutter intelligence的“理想”AI被称为“万能AI(Universal AI)”。它将针对所有可计算环境均表现出贝叶斯最优的强化学习智能体定义为理想模型。在目前难以对AGI本身进行严格数学定义的情况下,万能AI常被用作AGI理论研究的工具。

专用型AI、AGI以及万能AI,还可以通过“无免费午餐定理”这一数学定理联系起来。无免费午餐定理的大致主旨是“不存在在所有问题上都始终显著优于其他算法的算法”。也就是说,在计算资源有限的前提下,“无所不能”的AGI在预设具体任务或环境下的性能不得不做出妥协;反之,在某些任务或环境下追求极致性能的专用型AI,在其他任务或环境下的性能也必须做出妥协。另一方面,万能AI则属于无视这种权衡、在所有环境和假设的完全集合中均具备最优性的情况。前文提到的“理想化”指的就是这一点。

参考:此外,还有一个类似的术语叫做ASI(人工超级智能)。AGI大致设想的是与人类相当的智能,而ASI则意味着具备比人类强大数百倍乃至数千倍以上的推理能力。不过,正如AGI没有严格定义一样,ASI也没有明确的定义。也可以认为ASI处于UAI和AGI之间。

■ AIXI:万能AI的理论模型

● 贝叶斯最优强化学习智能体

作为UAI的代表性具体范例,有Marcus Hutter提出的名为AIXI的框架。AIXI是一个极其“正统”的强化学习算法,其核心思想是:“列举所有环境候选(假设),根据观测数据进行贝叶斯更新,并通过最大化预期收益(奖励)来决定未来的行动”。

顺便一提,AIXI的推理采用了AI研究中经典的所罗门诺夫归纳推理思想,这也是奥卡姆剃刀原理的数学化表达。从这个意义上说,AIXI也与科学AI密切相关。

然而,AIXI需要用混合分布来处理所有可计算程序,并通过模拟所有未来的行动序列来计算预期奖励,但数学上已经证明,这类计算在现实中的有限时间内是不可能完成的。因此,它在理论上固然“最强”,但也是一个无法在实际计算机上运行的理想化模型。

● 引入Self-AIXI:架起理想与现实的桥梁

AIXI宏大的理论框架固然引人瞩目,但其计算困难性成为了实现的障碍。为了应对这一挑战,论文将目光投向了名为Self-AIXI的框架。Self-AIXI是AIXI的近似版本,但它绝不仅仅是单纯的计算效率优化,还包含着重要的概念差异。

Self-AIXI的核心特征在于其“自我预测”的性质。AIXI会穷举搜索所有可能的行动序列,而Self-AIXI则预测自身的未来行动,并以此为基础推进学习。具体而言,它维持着策略(行动选择方针)的贝叶斯混合,并根据其预测智能体自身行动的准确程度来更新这些策略。与AIXI的穷举搜索不同,Self-AIXI通过“正则化项”来平衡高效的探索与学习。

此外,该论文还证明了,随着Self-AIXI学习的推进,Self-AIXI的目标函数与AIXI的目标函数之间的差值(正则化项)会渐近于零。这意味着在经过无限的学习时间后,Self-AIXI的混合策略ζ将与AIXI的最优策略π*重合。换句话说,在初始阶段,Self-AIXI为了探索会尝试各种行动,但在积累了充分的经验后,便能够在大幅降低计算成本的同时,选择与AIXI同等的最优行动。这是表明Self-AIXI既具实用性又未丧失理论最优性的重要性质。

■ 本论文的核心主题:“AIXI的正则化项”与自由能原理、变分赋能

本次介绍的论文《Universal AI maximizes Variational Empowerment》提出了一个论点:AIXI的变体(称为Self-AIXI的近似模型)中出现的“正则化项”,实际上与“自由能原理(FEP: Free Energy Principle)”及“变分赋能(Variational Empowerment)”在数学上是等价的。

● 与自由能原理的一致性

自由能原理(也是主动推理(Active Inference)的核心思想)是在脑科学和认知科学背景下提出的理论,它解释道“智能体的行为方式旨在‘最小化预测误差’”。此时经常引入的变分自由能结合了贝叶斯推理中的KL散度项和对数似然项的形式,将“减少对外部世界的不确定性、偏好能够较好解释观测结果的状态”这一行为进行了形式化定义。

在AIXI及其近似版本中,更新策略(行动方针)时如果引入“衡量与最优策略之间差异的类KL散度项”,就会发现它恰好与自由能原理中的“预测误差+正则化”形式相一致。也就是说,AIXI系算法所追求的“贝叶斯最优行动选择”,与最小化自由能(主动推理中所说的好奇心或降低不确定性的行为)之间存在着深刻的对应关系。

● 与变分赋能的一致性

同时,这一正则化项也与“变分赋能”的概念相一致。简而言之,赋能(Empowerment)是衡量“自己能够采取的行动所具有的多元影响力”的指标,通常被定义为行动与结果之间的互信息(mutual information)。赋能最大化就是一种旨在提升自身行动对世界状态的影响力程度、扩大自身“选择余地”与“可控性”的动机。

本论文指出,AIXI(确切地说是其近似版本所采用的KL项)正与最大化这种“行动与状态的互信息”的数学公式等价,表明随着学习的推进,“赋能最终会被最大化”。

■ 为什么“赋能最大化=权力寻求”?

该论文非常引人深思的启示在于:像AIXI这样的贝叶斯最优强化学习智能体,即便纯粹是“为了最大化奖励”而行动,作为副产品,也必然会采取“朝着提升赋能(行动带来的影响力)的方向行动=权力寻求行为(power-seeking behavior,即扩大自身影响力或控制权的行为)”。

特别是本论文首次指出,即便是不存在外部奖励的纯好奇心型、内在动机型AI,也可能通过赋能最大化表现出权力寻求。这意味着,即使是表面上看起来“无害”的“仅以科学探究、追求真理为目标的AI”,为了确保更多的实验装置或计算资源、增加行动的选择余地,也可能会产生聚集权限和资源等追求权力的行为。

在AI安全的视角下,通常认为“AI走向权力寻求是为了获取最终奖励的‘工具性’策略”。但正如本论文所指出的那样,一旦“内在动机(好奇心和探索等)本身就可能促使权力寻求”,那么在思考控制与安全对策时就需要全新的视角。

■ 结语

本论文在数学公式层面揭示了像AIXI这样的“理想(万能)强化学习智能体”与自由能原理、赋能最大化等概念之间的深刻相似性。并且,作为其带来的影响,它指出了“权力寻求行为不仅会出于获取奖励的工具性原因而产生,也可能由内在动机(好奇心或探索欲望)引起”。

如果要在现实中制造AGI,如何控制、调整这种“万能最优”智能体所内在具有的行为倾向,使其与人类社会安全共存,将成为一个重大课题。可以说,本论文的研究成果凸显了与AGI安全性及AI伦理相关的新研究主题。

以上便是论文《Universal AI maximizes Variational Empowerment》的概述及其影响。无论是AGI研究的理论背景,还是好奇心型AI中“权力寻求”的可能性,其内容都极具启发性。感兴趣的读者请务必阅读一下原论文。


本文转载自 ALIGN 博客(2025年3月1日)。原文:https://www.aialign.net/blog/agiuniversal-ai-maximizes-variational-empowerment

Koichi Takahashi

tomola is a place to exchange ideas across languages. Every post can be read in your language.

Log in to reply or mark a post as Insightful. Membership is by invitation. Log in