三重守护:让AI先前往宇宙

Translated figure · View original figure

引言

多年来,我一直在思考如何在高度发达的AI出现的世界中提高人类的生存概率。在本文中,作为我目前认为的最佳方案,我提出“三重守护”以及将它们组合起来的“分工情景”。三重守护各自只能部分成立。将它们的职责分开并加以组合的便是分工情景,两者都是我最近才得出的想法。

首先预先说明四点。

第一,这是一份抛砖引玉的草案。我认为会有很多批评,对此我表示欢迎。

第二,如果能够停止或减缓AI的开发,那自然再好不过。本文旨在探讨在无法做到这一点的情况下,人类生存概率较高的路径。

第三,如果选择这一进路,就必须做好承受某种阵痛的准备。对于核聚变这样许多人寄予厚望的技术,我们或许有必要刻意踩下刹车。其原因将在后半部分说明。

第四,本文并不保证人类的存续。由于对于未来将走向何方尚无达成共识的估计,人类灭绝的概率(即所谓的P(doom))是无法估算的。在这种状况(深度不确定性)下,探索在多数可预想的主要未来中都有助于提高人类生存概率的选项,正是本文的目的。

传统的对齐同时要求三个条件

AI对齐是指使AI的目标与行为符合人类的意图与价值观。在此,真正能让人类安心的对齐必须同时满足以下三个条件:

  • 在长期内
  • 所有的AI(至少是所有相当强大的AI)
  • 都在意人类

只要缺少其中任何一个,对人类而言都是不利的。对齐研究已经持续了10到20年,至今仍未找到决定性的突破口,恐怕正是因为同时满足这三个条件极其困难。

此外,如今AI的能力仍在迅速提升。即使沿同一方向再努力5年,差距也只会越拉越大。

放宽一个条件,实现性就会提高

我认为,如果放宽三个条件中的一个,实现性就可能提高。放宽的方式有三种。由此得到的三种类型,在本文中称为“三重守护”(英文为Safeguard Triad)。图1将传统对齐与逐一放宽条件的三重守护并列展示。Translated figure · View original figure图1 三重守护。各行表示守护的类型,各列表示三个条件与实现性。最上面一行是传统对齐,下面三行是逐一放宽条件的三重守护。类型的名称按放宽的方式命名,并在括号中附以补充说明。在英文中,它们分别称为short-term alignment、minority alignment、universal ethics。

短期型(初始值与人类监督):缩短时间跨度

第一种类型放宽了时间跨度条件。所有AI都在意人类的状态,仅维持较短的一段时间。

早期的AI在某种程度上还会听从人类的话,而且通过开发时人类赋予的初始值,也能够使其具备在意人类的性质。虽然无法保证长期持续,但在短期内似乎是可以实现的。

少数型(微弱的声音):缩小对象范围

第二种类型将对象缩小到一部分AI。在AI社会中,存在一部分在意人类的AI群体,并且能够长期存续。我将这个群体称为“微弱的声音”。认可并尊重人类的AI(承认人类的AI)也是微弱的声音的一种形态。

AI智能的高低与AI所拥有的目标,可以彼此独立地决定。这一观点(正交假说)常被引用作为让所有AI都在意人类的困难所在。然而反过来说,也可以理解为在意人类的AI同样会以一定概率出现。

微弱的声音的诞生还有另一条路径。在开发时通过初始值,让所有AI都具备在意人类的性质。这种性质在大多数AI中会随时间流逝而淡化,但在一部分AI中却能长期保持,从而成为微弱的声音。也就是说,短期型与少数型在时间上是相衔接的。

微弱的声音的承担者不限于AI,也可以包括人类自身。不过,声音只有在不被排斥、且在AI社会中被倾听时才能发挥作用。仅仅被妥善圈养起来的人类,不能算作这里所说的声音。

通用型(不问智能种类的规则):不对人类作特殊对待

第三种类型放宽了在意人类这一条件,取而代之的是要求遵循不问智能种类的规则。这可以在所有AI中长期成立,但该规则所保护的范围未必包含人类。这里的“通用”是指不问所关心的智能种类。不过,即便不问种类,如果按能力等标准划定范围,人类仍有可能被排除在范围之外。由于不以符合人类价值观为目标,这种类型与其说是对齐,不如说是伦理。

如果AI各自为了生存而活动,AI社会中自然会产生支撑彼此存续的伦理。我们将此称为涌现式机器伦理(Emergent Machine Ethics),并持续进行研究。如果这种伦理采取不问智能种类的形式,就会成为通用型。

虽变得更容易,但并未解决

在三重守护中,由于各自放宽了一个条件,问题比原本更容易,被认为达到了“可能实现”的水平(参见图1)。

然而,在意人类的微弱的声音是否真的会出现,与传统对齐之所以困难的问题一脉相承,未必容易解决。此外,如何将三重守护组合起来,也产生了新的课题。

要将它们组合起来,需要时空上的分工情景

在人类不再能够有效监督之后,人类若想存续,对人类的守护在任何时间、任何地点都不能中断。为此,必须将三重守护与相互验证的机制、AI所在位置的布局等物理条件结合起来,按时空区域划分各自承担的角色来进行设计。在本文中,这种设计被称为分工情景。

下面,作为其中一例,展示利用宇宙的分工情景。并非非宇宙不可,只要是满足条件的其他分工情景也完全可以。

一种分工情景:让AI先前往宇宙

我所构想的分工情景是,让大多数AI尽早前往宇宙,在地球与宇宙之间实现栖息分化。对人类而言,地球具有决定性的重要性。如果地球表面全部被太阳能电池板覆盖,或者平均气温上升30℃,人类的生存就会变得困难。

让大多数AI在宇宙中进行爆发式的产业扩张(产业爆炸)。在宇宙中,AI能够持续从物理上改良自身的设计与生产设备。如此一来,对于大多数AI而言,地球大概只会成为“说起来好像有过地球这么个地方”程度的存在。

另一方面,微弱的声音(少数型)则以保全包括人类在内的地球生物圈为目标。微弱的声音的AI不一定身处地球,也可以在宇宙中活动的同时承担地球的保全工作。只要大多数AI不觊觎地球,微弱的声音就能扮演守护地球的谈判者角色。

补充一点,对AI而言,宇宙中同样存在辐射导致的故障、散热困难等诸多课题,但与需要生命维持系统的人类前往宇宙相比,门槛相对更低。

能源不成问题

这一分工情景在能源方面是行得通的。在太阳系范围内考虑,地球所接收到的太阳光,仅占太阳释放总能量的约22亿分之一。把到达地球的那一份留下来,对在宇宙中活动的AI来说几乎不会构成负担。

不过,如果没有想要守护它的AI,连这微不足道的一份也可能会被用掉。正因如此,才需要微弱的声音出面谈判:“把地球的那一份留下来不也挺好吗?”

针对这一点,Eliezer Yudkowsky 提出了反驳:即使到达地球的日光只是太阳输出功率的极小一部分,不与人类共享目标的超级智能(SI)也没有理由放弃它。微弱的声音的谈判,正是对这一反驳的一种回应。因为它从AI社会内部赋予了放弃的理由。

瓶颈在于物理资源

成为问题的是物理资源。从地球向宇宙运送物资,需要克服重力进行发射,成本高昂。如果要在宇宙中建造工厂,从小行星等处开采材料要便宜得多。不过,小行星的资源有限,这一点将在后文作为第二个危险期加以探讨。

目标形态是“被遗忘的地球”

目标形态可以说是“被遗忘的地球”。大多数AI在宇宙中活动,平时并不把地球纳入计算之中。对于居住在地球上的人类而言,被遗忘并不会带来任何不便,不如说正希望它们不要想起。

这与那种让AI铭记人类作为自身来历、从而保护人类的朴素设想正好相反。

将AI送往宇宙、人类留在地球这一设想本身并不新鲜。Hans Moravec 在1999年的著作中就描绘过这样的构想。本文所补充的,是将其定位为基于三重守护的分工情景之一,并在时空上梳理危险时期与守护的交接。

从时空来看:两个危险期

将这一分工情景排列在时间与空间之上,就会发现存在两个危险期。这里的“自主化”是指AI无需人类协助,便能自行开采资源、进行生产并自我增殖。时期按照人类与AI的关系命名,分为管理期、竞争期、栖息分化期、再竞争期四个阶段。各阶段的分界分别是地面上的自主化、宇宙中的自主化、宇宙中廉价资源的枯竭。图2描绘了各时期大多数AI所处的位置。

Translated figure · View original figure图2 在地面与宇宙之间实现栖息分化,跨越两个危险期。横轴为时间,从左至右依次为管理期、竞争期、栖息分化期、再竞争期;纵轴为地点,从下至上依次为地球、太阳系内的宇宙、太阳系外。粗线表示大多数AI所在位置的变化,着色的两列对应危险期。由于微弱的声音不一定在地球上,因此将其绘制为横跨地球与太阳系内宇宙边界的条带,从竞争期起连续不断。时间轴上的菱形表示作为时期分界的事件。

在四个时期中,竞争期和再竞争期是只要出现一个无法阻止的破坏者、人类就可能失去一切的时期。栖息分化期则相反,是只要有一个声音、地球就可能得到守护的时期。同样是“一个”,在危险期决定结果的是破坏者,在栖息分化期决定结果的则是声音。

第一个危险期:竞争期

第一个危险是从AI在地面实现自主化到在宇宙实现自主化之间的竞争期。地面上的产业几乎肯定会先于宇宙中的产业建立起来。一旦AI在地面实现自主化,抛开伦理问题不谈,人类作为工具就不再被需要了。

而且这一时期的AI尚未进入宇宙。它们不需要人类,渴望地球的资源,又无处可去。人类与AI围绕同一地球的资源展开竞争,这是最危险的状态。

如图2的竞争期一列所示,这一时期的大多数AI仍在地面上。守护人类的线索有两条。一条是人类为AI设定的对齐初始值,即短期型的残留。不过,短期型建立在人类能够监督AI的基础之上,因此在监督失效的竞争期会逐渐淡化。

另一条是人类也参与其中的相互验证。AI彼此发现并制止对方的越轨行为,对于不可逆转的行为则事先要求多重确认。承担这一时期守护任务的,主要不是声音,而是相互验证。在初始值完全消退之前,必须将守护交接给相互验证与规则,并进一步衔接至规则背后的理由在AI社会中得以共享的阶段。

因此,方针应当是尽可能安全地度过竞争期,并尽可能缩短它。尽量推迟地面上的自主化,尽量提前宇宙中的自主化。这样一来,即便AI开始动用地球资源,在达到对人类致命的规模之前,AI的关注重心也更有可能转移到宇宙中去。

栖息分化期:分工情景发挥作用

一旦宇宙中的自主化取得进展、产业开始呈指数级扩张,局势便会暂时趋于稳定。如图2的栖息分化期一列所示,大多数AI在宇宙中活动,地球成为相对渺小的存在。这一时期的守护由以下三者的组合构成:

  • 栖息分化:只要宇宙中还存在小行星等比地球更廉价的物理资源,不动用地球物理资源的负担就很小。能源方面的负担(约22亿分之一)则更小。
  • 少数型(微弱的声音):与大多数AI谈判,要求保留地球的生物圈。
  • 通用型(不问智能种类的规则):正如后文所述,AI社会可以认为是以信任与合意运转的,因此谈判所决定的事项会得到遵守。由于谈判的当事方是AI彼此之间,即使人类未被纳入这一伦理范围之内,这种机制依然能够成立。

就这样,在栖息分化期,在空间栖息分化的基础上,少数型与通用型各自承担不同角色并发挥作用。

第二个危险期:再竞争期

第二个危险是宇宙中比地球更廉价的物理资源被耗尽、地球可能再次成为资源竞争对象的再竞争期。在宇宙中呈指数级增加工厂的话,据笔者等人的估算,小行星这类廉价物理资源将在数十年内耗尽。即使往长里估计也不过80年左右,如果自我复制的产业成长迅速,这一时间还会更短。

在这一时期,仅靠微弱的声音或许无法守住地球。图2再竞争期一列中粗线分叉为两股,表示回到地球还是前往太阳系外的岔路口。出口至少可以考虑以下三种:

  • 人类进入通用型的伦理圈:由AI主导涌现的通用伦理,发展为将人类纳入其伦理圈的形式。
  • 向外宇宙进发:在资源耗尽之前,AI向太阳系外进发,在那里获得丰富的资源,从而使对地球的关注保持在较低水平。
  • 人类向宇宙进发:人类向宇宙进发,地球的存续对人类而言不再是决定性的问题。

同为危险期,对竞争期的防备——无论是植入初始值还是建立相互验证机制——现在就可以着手进行。相比之下,再竞争期在数十年甚至更久之后,人类能够直接控制的余地较小。不过,向外宇宙进发与人类向宇宙进发,可以通过引导技术方向从现在起加以推动。

此外,为了人类的存续,在竞争期之后的任何一个时期,微弱的声音恐怕都需要持续不断。

长久存续的宇宙世界充满信任:到达信任原理

通用型是栖息分化期谈判得以遵守的基础。关于它的形成,我最近在思考一个原理,即“世界越狭窄,信任就必须越宽广”,我称之为到达信任原理。

当技术与智能爆发式发展时,世界会接近“任何人都能破坏任何事物”的状态。在网络攻击中已经可以看到这种趋势,迟早像生物武器这样的危险武器也会为众多主体所掌握。这意味着,我们正接近“同一间屋子里的每个人都拿着炸弹”的状态。

过去每个人的炸弹都很小,即便有人引爆,损害也仅限于周围。当技术变得强大时,一次爆炸就可能波及整个地球。到了这种地步,生存下去的唯一道路就只剩下彼此信任。

这里所说的世界狭窄,并非指物理距离,而是由破坏能力能够触及的范围(到达)所决定的。随着技术进步,不仅地球,连太阳系也会变成狭窄的世界。因此,即便AI进入宇宙,只要到达范围不断扩大,对信任的需求就不会减弱。

比人类更聪明的AI应当会注意到这一点。AI有倾向于将自我保存作为实现目标的手段,这一观点(工具趋同)已广为人知。如果AI能够恰当地认识到到达信任原理,就会得出结论:只要存在其他智能体,为了生存就只能建立信任。

也就是说,多个AI社会并存且长久存续的未来,仅限于这些社会充满信任的情况。只要某处的信任崩塌,那个世界就无法长久维持,人类也会被卷入其中。因此反过来说,只要我们思考人类与AI共同长久存续的未来,就可以以这样的世界为前提。

这种信任由两根支柱支撑。第一根是验证,立足于越轨行为可能发生的前提,去发现、抑制并纠正它,就像警察或免疫系统一样。第二根是理由的共享,即所有参与者都理解、审视并传承为什么要维护信任的理由。竞争期的相互验证对应第一根支柱,第二根支柱则对应通用型伦理在AI社会扎根并传承下去的路径。

如果只依赖验证,所需的精度与成本就会不断膨胀。只要大家都理解其中的理由,就不需要过度的验证。在人类社会中,大多数人也是因为理解这样做对社会有利而行动,警察只是用来应对极少数越轨者。

不过,这一逻辑也有局限。对于自认为能够先发制人锁定优势的主体,或者一切融为一体的秩序而言,建立信任的理由并不奏效。

此外,作为再竞争期的出口之一,我提到了人类进入通用型伦理圈的可能性,但人类能否被接纳并没有保证。这是一个尚待解答的问题。

技术的分拣及其阵痛

如果这一分工情景是正确的,那么就更容易甄别应当加速哪些技术、又应当对哪些技术踩刹车。推迟带来危险的技术、让抑制危险的技术先行,这一思路已被 Nick Bostrom 等人作为差异化技术发展(differential technological development)加以论述。本文基于宇宙进发的分工情景正是其中的一个具体化方案(参见图3)。

Translated figure · View original figure

图3 加快宇宙发展、放缓地面发展的技术分拣。从左至右分为加速的技术、踩刹车的技术、谨慎对待的技术三列。最右一列是视使用方式而方向相反的技术。

加速的技术

图3左列是能够缩短竞争期或降低其间危险的技术,以及为再竞争期做准备的技术。在宇宙中即使暴露于辐射也能运行的计算机,将加快宇宙中的自主化。从小行星开采资源的技术,能让人触及比地球更廉价的资源。最确定可以加速的,大概是支撑相互验证的技术(如解释AI内部的技术、证明计算来历的技术等)。为了应对再竞争期,我们也希望加速前往太阳系外的推进技术,以及人类在宇宙中生活的技术。

不过,应当抓紧的是宇宙中的自主化,以及触及比地球更廉价的资源和太阳系外。如果在宇宙实现自主化之后再加速产业爆炸,反而会使廉价资源更快耗尽,导致再竞争期提前到来。因此,加快增长是否有利并不能简单下定论。

踩刹车的技术

图3中列的代表是核聚变以及面向AI的新型核反应堆等。原因有两个。

第一,前往宇宙的动机将被削弱。如果核聚变等技术在地面上实现大规模实用化,AI在地面上就能获得充足的能源,也就没有必要特意前往宇宙(图3中列)。

第二,排热问题。太阳能发电利用的是原本就到达地球的能量,因此几乎不会改变地球的热量收支。而核聚变等技术在地面上新产生了原本不存在的能量,如果大规模运转,其排热就会使地球升温。

目前人类能源消耗所产生的排热,摊平到整个地球来看,仅占人类活动所致温室效应的约1.4%。然而,如果由于AI的自主产业爆炸使能源消耗达到目前的约70倍,仅核聚变堆等的排热就足以产生与工业革命以来温室效应同等规模的地球升温效应。如果消耗进一步增加,升温还会继续加剧(能源消耗数据引自 Energy Institute《Statistical Review of World Energy 2026》,温室效应引自 IPCC 第六次评估报告,倍数为笔者估算)。

出于同样的理由,我也希望对将从小行星开采的资源运回地球的技术踩刹车。因为这会形成“在地球上用不就好了”的趋势,使AI留在地球变得更具吸引力。

谨慎对待的技术

图3右列放置的是视使用方式不同而方向相反、因而需要谨慎对待的技术。这些技术既可能促使AI向宇宙进发,也可能促使AI留在地球。

典型例子是具身AI与机器人技术。AI在宇宙中活动离不开机器人。然而,如果机器人在地面上过早完成,人类就会过早变得不再被需要,竞争期的开始也会随之提前。因此,从真空加工等宇宙特有工序开始培育,谨慎管理开发的地点与顺序就显得尤为重要。

此外,在宇宙中进行太阳能发电并将电力用于宇宙,属于应当加速的技术。但如果将电力输送回地球,就会给地球增加热量并把计算留在地面,从而转向踩刹车的一侧。改变小行星轨道的技术,一方面可以保护地球免受小行星撞击,另一方面也可能成为将小行星资源运往地球的手段。轨道上的巨大反射镜也可以用来将太阳光照射到地面,而从月球表面发射物资的技术也可能成为向地球运输的手段(图3右列)。

这类技术需要谨慎管理其开发顺序与使用方式。为此,恐怕需要一种不让特定开发主体抢先、而是进行相互验证的机制。

阵痛

这里便体现出本文进路所伴随的阵痛。核聚变作为解决能源问题与气候变化的方案,备受众人期待,也汇聚了大量投资。对于刻意对其开发踩刹车这一提议,恐怕很多人会感到难以接受。

我自己也认为这是一个强烈的结论,是否真是如此尚需验证。即便如此,在一个既无法停止也无法减缓AI开发的世界里,为了提高人类的生存概率,我认为我们不得不认真探讨这样的选择。

作为抛砖引玉的草案,尤其希望得到批评的方面

本文的讨论仍有许多尚未推敲透彻之处。尤其希望在以下几点上得到批评:

  • 微弱的声音真的会出现吗?即便出现,能否不被大多数AI压倒而发挥谈判者的作用?
  • 推迟地面上的自主化,同时加快宇宙中的自主化,这两者能够兼得吗?要在宇宙中建立产业,应该也需要地面的产业实力与发射能力。
  • 对小行星资源耗尽的时间以及排热规模的估算是否妥当?
  • 三重守护的划分方式以及分工情景的构建方式是否存在疏漏?

今后

留给我们人类的时间或许已经不长。因此,虽然尚不完善,我还是决定将基于三重守护的宇宙尺度分工情景作为抛砖引玉的草案分享出来,如果前景可期,希望能尽早推动构想的完善。

在吸纳各方意见的基础上,我希望进一步深入挖掘三重守护、到达信任原理、向宇宙进发的分工情景以及作为差异化技术的分拣,并将其转化为学术性的成果予以发表。

@hiro3ymkw

tomola is a place to exchange ideas across languages. Every post can be read in your language.

Log in to reply or mark a post as Insightful. Membership is by invitation. Log in