三道防線:讓 AI 先前往宇宙

前言
多年來,我一直在思考如何在高度發展的 AI 登場的世界裡,提高人類的生存機率。本文提出我目前認為最佳的對策:「三道防線」,以及將它們結合起來的「分工情境」。三道防線各自都只能部分成立,而將它們各自的職責加以劃分並結合起來的,就是分工情境;這兩者都是我最近才想到的概念。
事先聲明四點。
第一,這是一份草稿。我預期會有許多批評,也非常歡迎。
第二,如果能夠停止或減緩 AI 的開發,那再好不過。本文所思考的,是在無法停止或減緩的情況下,人類生存機率較高的路徑。
第三,如果選擇這個途徑,就必須有心理準備承受某種痛苦。我們或許必須刻意踩下煞車,放緩像核融合這類許多人寄予厚望的技術開發。原因會在後半段說明。
第四,本文並不保證人類能夠存續。由於對未來會走向何方沒有可達成共識的估計,人類滅絕的機率(所謂的 P(doom))是無法估算的。在這種狀況(高度不確定性)下,本文的目的,是在多數可預想的主要未來情境中,尋找有助於提高人類生存機率的選項。
傳統的對齊同時要求三個條件
AI 對齊,是指讓 AI 的目標與行為符合人類的意圖與價值觀。在這裡,對人類而言真正能安心的對齊,必須同時滿足以下三個條件:
- 長期而言
- 所有的 AI(至少是所有具備一定強度的 AI)都
- 在意人類
只要缺少其中任何一個條件,對人類來說都不太妙。對齊的研究已經持續了十年到二十年,卻仍未找到決定性的突破口,原因恐怕就在於同時滿足這三個條件非常困難。
更何況,現在 AI 的能力仍在急速成長。就算沿著同一個方向再努力五年,差距也只會越拉越大。
放寬其中一個條件,實現的可能性就會提高
我認為,只要放寬三個條件中的其中一個,實現的可能性就會提高。放寬的方式有三種。本文將由此產生的三種型態稱為「三道防線」(英文為 Safeguard Triad)。圖 1 將傳統的對齊與各自放寬一個條件的三道防線並列呈現。
圖 1 三道防線。每一列代表防線的型態,每一欄代表三個條件與實現的可能性。最上面一列是傳統的對齊,下面三列則是各自放寬一個條件的三道防線。型態的名稱依放寬的方式命名,並在括號內附上補充說明。英文分別稱為 short-term alignment、minority alignment 與 universal ethics。
短期型(初始值與人類的監督):縮短期間
第一種型態,是放寬期間的條件。讓所有 AI 都在意人類的狀態,僅維持一段短暫的期間。
早期的 AI 應該還會某種程度聽從人類的話,而且透過開發時人類給予的初始值,也能讓它們具備在意人類的性質。雖然無法保證能長期持續,但如果是短期間,似乎是有可能實現的。
少數型(微小的聲音):限縮對象
第二種型態,是將對象限縮在一部份的 AI。在 AI 社會之中,存在著一小群在意人類的 AI,並且長期持續下去。我將這群 AI 稱為「微小的聲音」。認同並尊重人類的 AI(承認人類的 AI),也是微小的聲音的一種形態。
AI 的智慧高低與 AI 所擁有的目標,兩者可以各自獨立決定。這個想法(正交假說)經常被引為「很難讓所有 AI 都在意人類」的根據。但反過來說,也可以解釋成「在意人類的 AI 也會以一定的機率出現」。
微小的聲音還有另一種誕生的路徑。透過開發時的初始值,讓所有 AI 都具備在意人類的性質。這種性質在多數 AI 身上會隨時間淡化,但在一部份 AI 身上卻能長期保留下來,成為微小的聲音。也就是說,短期型與少數型在時間上是相連的。
微小的聲音的承擔者不限於 AI,也可以包含人類自身。不過,聲音必須不被排除在外,在 AI 社會之中被聽見,才能發揮作用。單純被妥善圈養起來的人類,並不能稱為這裡所說的聲音。
通用型(不問智慧種類的規則):不特別對待人類
第三種型態,是放寬「在意人類」這個條件,改為要求遵守不問智慧種類的規則。這對所有 AI 而言都有可能長期成立,但該規則所保護的範圍不一定包含人類。這裡的「通用」,指的是不問所關心的智慧種類。不過,就算不問種類,只要以能力等標準來劃定範圍,人類還是有可能被排除在外。由於這並不以符合人類價值觀為目標,這種型態與其說是對齊,不如說更接近倫理。
只要 AI 各自為了生存而活動,AI 社會之中自然就會誕生支撐彼此存續的倫理。我們將這稱為創發性機械倫理(Emergent Machine Ethics),並持續進行研究。如果這種倫理採取不問智慧種類的形式,就會成為通用型。
雖然變簡單了,但並不是已經解決了
在三道防線中,由於各自放寬了一個條件,問題變得比原本簡單,可以認為達到了「有可能實現」的水準(參見圖 1)。
然而,在意人類的微小的聲音是否真的會出現,這個問題與傳統對齊之所以困難的原因一脈相承,未必容易解決。此外,還會產生「如何將三道防線結合起來」的新課題。
要將它們結合起來,需要時空的分工情境
即使在人類的監督失去效用之後,人類若要繼續存續,對人類的防護就不能在任何時間點、任何地點中斷。為此,必須將三道防線與相互驗證的機制、AI 所在位置的配置等物理條件結合起來,依時空區域劃分各自的職責來進行設計。本文將這種設計稱為分工情境。
以下將舉出一個利用宇宙的分工情境作為例子。這並非非宇宙不可,只要能滿足條件,其他分工情境也無妨。
一個分工情境:請 AI 先前往宇宙
我所構想的分工情境,是讓絕大多數的 AI 儘早前往宇宙,在地球與宇宙之間形成棲位區隔。對人類而言,地球具有決定性的重要性。如果地球表面全部被太陽能板覆蓋,或是平均氣溫上升 30℃,人類就很難生存。
讓絕大多數的 AI 在宇宙中進行爆發性的產業擴張(產業爆發)。在宇宙中,AI 可以持續在物理上改良自身的設計與生產設備。如此一來,對絕大多數的 AI 而言,地球大概就會變成「說起來好像有過地球這麼一個東西」的存在。
另一方面,微小的聲音(少數型)則以保全包含人類在內的地球生命圈為目標。微小的聲音的 AI 不一定待在地球,也可以在宇宙中活動的同時承擔保全地球的責任。只要絕大多數的 AI 不想要地球,微小的聲音就能扮演守護地球的談判角色。
補充一點,對 AI 而言,宇宙中雖然也有輻射線造成的故障或散熱困難等許多課題,但相較於需要維持生命的人類前往宇宙,門檻應該相對較低。
能源不會成為問題
這個分工情境在能源方面並不勉強。以太陽系內部來考量,地球所接收到的太陽光,大約只佔太陽釋放總能量的 22 億分之一。將照向地球的這一份保留下來,對在宇宙中活動的 AI 來說應該幾乎不構成負擔。
不過,如果沒有願意守護的 AI,就連這微不足道的一份也可能會被用掉。正因如此,才需要微小的聲音出面談判:「地球的那一份就保留下來吧」。
針對這一點,Eliezer Yudkowsky 曾提出反論:即使照向地球的日光只佔太陽輸出的一小部分,與人類沒有共同目標的超級智慧(SI),也沒有理由放手。微小的聲音所進行的談判,正是對這個反論的一種回應——因為它從 AI 社會的內部,提供了放手的理由。
瓶頸在於物理資源
真正的問題在於物理資源。從地球將物資運往宇宙,必須付出對抗重力發射的成本。如果要在宇宙中建造工廠,從小行星等地開採材料會便宜得多。不過小行星的資源有限,這一點將在後面作為第二個危險期來處理。
目標樣貌是「被遺忘的地球」
我們的目標樣貌,可以說是「被遺忘的地球」。絕大多數的 AI 在宇宙中活動,平常不會把地球納入計算。對住在地球上的人類而言,就算被遺忘也沒有任何困擾,倒不如說希望它們別想起來。
這與「讓 AI 記住人類是自己的起源,藉此獲得保護」這種直覺的想法正好相反。
將 AI 送往宇宙、人類留在地球這個構想本身並不新穎。Hans Moravec 在 1999 年的著作中就描繪過這樣的構想。本文所增加的,是將它定位為基於三道防線的分工情境之一,並在時空之上整理出危險的期間與防護的交接。
從時空來看:兩個危險期
將這個分工情境排列在時間與空間之上,就會發現存在著兩個危險的期間。這裡的「自律化」,是指不假人類之手,AI 能夠自行開採資源、生產並自我增殖。期間依人類與 AI 的關係來命名,分為管理期、競合期、棲位區隔期、再競合期四個階段。各階段的分界分別是:地面的自律化、宇宙的自律化、宇宙中低廉資源的枯竭。圖 2 描繪了在各個期間內,絕大多數的 AI 位在何處。
圖 2 在地面與宇宙之間進行棲位區隔,跨越兩個危險期。橫軸為時間,由左至右依序為管理期、競合期、棲位區隔期、再競合期;縱軸為地點,由下至上為地球、太陽系內的宇宙、太陽系外。粗線代表絕大多數 AI 所在位置的轉移,著色的兩欄則代表危險期。由於微小的聲音不一定在地球上,因此在圖中以橫跨地球與太陽系內宇宙邊界的帶狀區域表示,從競合期開始不間斷地延續下去。時間軸上的菱形代表作為期間分界的事件。
在四個期間當中,競合期與再競合期是「只要出現一個無法阻止的破壞者,人類就可能滅亡」的期間。棲位區隔期則正好相反,是「只要有一個聲音,地球就能獲得守護」的期間。同樣都是「一個」,在危險期是由破壞者決定結果,在棲位區隔期則是由聲音決定結果。
第一個危險期:競合期
第一個危險,是從地面上 AI 自律化開始,到宇宙中自律化為止的競合期。比起宇宙中的產業,地面上的產業幾乎確定會更早建立起來。一旦 AI 在地面上自律化,姑且不論倫理問題,人類作為工具就不再被需要了。
而且在這個期間,AI 尚未前往宇宙。它們不需要人類、想要地球的資源,也沒有其他去處。人類與 AI 為了爭奪相同的地球資源而競爭,這是最危險的狀態。
如圖 2 競合期那一欄所示,這個期間絕大多數的 AI 仍留在地面上。守護人類的線索有兩個。第一個是人類設定給 AI 的對齊初始值,也就是短期型的殘留。不過,短期型是建立在人類能夠監督 AI 的基礎上,因此在監督失去效用的競合期,這道防線會逐漸淡化。
另一個則是包含人類在內的相互驗證。讓 AI 彼此發現並阻止對方的偏離行為,對於無法挽回的行為,則事先要求多重確認。在這個期間主要承擔防護責任的,不是聲音,而是相互驗證。在初始值完全淡化之前,必須將防護交接給相互驗證與規則,並在更之後,進一步銜接到「規則的理由在 AI 社會中獲得共享」的階段。
因此,方針就是要盡可能安全地度過競合期,並盡可能縮短它。盡量延後地面上的自律化,並盡量提早宇宙中的自律化。如此一來,就算 AI 開始動用地球的資源,在規模擴大到對人類造成致命威脅之前,AI 的關注中心就更有可能轉移到宇宙。
棲位區隔期:分工情境開始運作
一旦宇宙中的自律化有所進展、產業開始呈指數級擴張,局勢就會暫時穩定下來。如圖 2 棲位區隔期那一欄所示,絕大多數的 AI 在宇宙中活動,地球成為相對微小的存在。這個期間的防護,由以下三者的組合所構成:
- 棲位區隔:只要宇宙中還有足夠多比地球更低廉的物理資源(例如小行星),不動用地球物理資源的負擔就很小。能源的負擔(約 22 億分之一)則更微不足道。
- 少數型(微小的聲音):與絕大多數的 AI 談判,要求保留地球的生命圈。
- 通用型(不問智慧種類的規則):如後節所述,AI 社會應是靠信任與合意運作,因此談判決定的事項會受到遵守。由於談判的當事者是 AI 彼此之間,即使人類不在這個倫理的範圍內,這個機制依然能夠成立。
如此一來,在棲位區隔期,於空間上的棲位區隔之下,少數型與通用型便能分擔角色、發揮功能。
第二個危險期:再競合期
第二個危險,是在宇宙中比地球更低廉的物理資源被開採殆盡,地球再次成為資源競奪對象的再競合期。若在宇宙中呈指數級增加工廠,像小行星這類低廉的物理資源,依筆者等人的試算,幾十年就會耗盡。就算估計得長一點,大約也只有 80 年左右;如果自我複製的產業成長得更快,時間還會更短。
在這個期間,光靠微小的聲音恐怕無法完全守住地球。圖 2 再競合期那一欄中,粗線分岔成兩條,代表回到地球或前往太陽系外的分歧點。出口至少可以想到以下三個:
- 人類加入通用型的倫理圈:由 AI 主導創發的通用倫理,發展成將人類納入其倫理圈的形式。
- 進軍外宇宙:在資源耗盡之前,AI 進軍太陽系之外,並在當地取得豐富的資源,因此對地球的關注依然維持在低水準。
- 人類進軍宇宙:人類進軍宇宙,地球的存續對人類而言不再是決定性的問題。
同樣是危險期,針對競合期的準備——無論是初始值的植入還是相互驗證的機制——現在就可以開始著手。相對地,再競合期是幾十年以後的事,人類能直接控制的餘地很小。不過,進軍外宇宙與人類進軍宇宙這兩點,現在就可以透過技術方向的引導來推一把。
此外,為了讓人類存續下去,在競合期之後的任何一個期間,微小的聲音都必須不間斷地持續存在。
長久持續的宇宙世界,充滿了信任:到達信任原理
通用型,是在棲位區隔期讓談判得以被遵守的基礎。關於它的成立,我最近一直在思考一個原理:「世界越狹窄,信任就必須越寬廣」,我稱之為到達信任原理。
當技術與智慧爆發性發展時,就會越來越接近「任何人都能破壞任何事物」的狀態。在網路攻擊上已經可以看到這種傾向,未來像生物武器這類危險的武器,恐怕也會變得許多主體都能輕易操作。這意味著,我們正接近「同一個房間裡每個人都拿著炸彈」的狀態。
以前每個人的炸彈很小,就算有人引爆,損害也只限於周圍。當技術變得強大,一次爆炸就可能波及整個地球。到了那個時候,活下去的唯一道路,就只剩下彼此信任。
這裡所說的世界狹窄,指的不是物理距離,而是破壞能力能抵達多遠(到達)。隨著技術進步,不只是地球,連太陽系都會變成狹窄的世界。因此,就算 AI 進軍宇宙,只要到達的範圍持續擴大,對信任的需求就不會減弱。
比人類聰明的 AI 應該會察覺到這一點。AI 作為達成目標的手段,會傾向於追求自我保存——這個想法(工具性趨同)已經廣為人知。如果 AI 正確地認識到到達信任原理,只要還有其他代理人存在,為了生存就只能建立信任,它們應該會得出這樣的結論。
也就是說,多個 AI 社會並立且長久存續的未來,僅限於這些社會充滿信任的情況。只要某處的信任崩潰,那個世界就無法長久維持,人類也會受到波及。因此反過來說,只要我們思考的是人類與 AI 共同長久存續的未來,就可以將這樣的世界作為前提。
這種信任由兩根支柱支撐。第一根是驗證:立基於「偏離行為可能會發生」的前提,去發現、抑制並糾正它。這就像是警察或免疫系統。第二根則是理由的共享:讓所有參與者理解、審視並傳承「為什麼要守護信任」的理由。競合期的相互驗證屬於第一根支柱;第二根支柱,則相當於通用型的倫理在 AI 社會中扎根並傳承下去的路徑。
如果只依賴驗證,所需的精確度與成本將會不斷膨脹。只要大家都理解理由,就不需要過度的驗證。在人類社會中,絕大多數人也是因為理解這樣做對社會比較好而行動,警察只是用來應對極少數出現的偏離者。
不過,這套邏輯也有其極限。對於預期能先發制人並固定優勢的主體,或是所有事物都融為一體的秩序而言,建立信任的理由並不適用。
另外,前面雖然將「人類加入通用型的倫理圈」列為再競合期的出口之一,但並沒有保證人類一定能被納入其中。這仍然是一個開放的問題。
技術的分類,以及隨之而來的痛苦
如果這個分工情境是正確的,我們就更容易篩選出該加速哪些技術、該對哪些技術踩煞車。延遲會帶來危險的技術、讓抑制危險的技術先行,這種想法過去曾由 Nick Bostrom 等人以「差異化技術發展(differential technological development)」來討論。本文基於宇宙進軍的分工情境,正是其中的一個具體實踐(參見圖 3)。

圖 3 加速宇宙、延遲地面的技術分類。由左至右分為加速的技術、踩煞車的技術、謹慎處理的技術三欄。最右邊一欄是依使用方式不同而會朝相反方向發展的技術。
加速的技術
圖 3 左邊這一欄,是可以縮短競合期或降低這段期間危險的技術,以及為再競合期做準備的技術。在宇宙中即使暴露於輻射線下也能運作的電腦,能提早宇宙中的自律化。從小行星開採資源的技術,能讓人類觸及比地球更低廉的資源。最確定可以加速的,應該是支撐相互驗證的技術(例如解析 AI 內部的技術,或證明計算來源履歷的技術等)。為了因應再競合期,用來前往太陽系外的推進技術,以及讓人類在宇宙中生活的技術,也希望能加速。
不過,真正該趕的是「宇宙中的自律化」,以及「觸及比地球更低廉的資源與太陽系之外」。如果在宇宙自律化之後又去加速產業爆發,反而會讓低廉的資源更快耗盡,使再競合期提早到來。因此,加速成長究竟是好是壞,並不能單純下定論。
踩煞車的技術
圖 3 中間這一欄的代表,是核融合與專為 AI 設計的新型核反應爐等。理由有兩個。
第一,前往宇宙的動機將會減弱。如果在地面上大規模實用化核融合等技術,AI 在地面上就能取得足夠的能源,就沒有必要特地前往宇宙了(圖 3 中間一欄)。
第二是廢熱。太陽能發電使用的是原本就照射到地球的能量,因此幾乎不會改變地球熱量的進出。核融合等技術則是在地面上新產生原本不存在的能量,如果大規模運轉,其廢熱將會使地球暖化。
目前人類能源消耗所產生的廢熱,若以整個地球平均來看,大約只佔人類活動所造成溫室效應的 1.4%。然而,如果因為 AI 的自律性產業爆發,使能源消耗達到目前的約 70 倍,光靠核融合爐等的廢熱,就會產生與工業革命以來溫室效應同等規模的地球暖化力量。如果消耗量進一步增加,情況還會更嚴重(能源消耗數據引自 Energy Institute《Statistical Review of World Energy 2026》,溫室效應引自 IPCC 第六次評估報告,倍率為筆者試算)。
基於同樣的理由,我也想對「將從小行星開採的資源運回地球」的技術踩煞車。因為這會製造出「在地球上用就好」的趨勢,讓 AI 留在地球變得更具吸引力。
謹慎處理的技術
圖 3 右邊這一欄,放置的是依使用方式不同而會朝相反方向發展、因此必須謹慎處理的技術。這些技術既可能促進 AI 進軍宇宙,也可能促使 AI 留在地球。
典型例子是實體 AI 與機器人技術。AI 要在宇宙中活動,機器人不可或缺。但如果機器人在地面上太早完成,人類就會太早變得不再被需要,使競合期的開始提前。因此,必須謹慎管理開發的地點與順序,例如從真空中的加工等宇宙特有的工程開始培育。
除此之外,如果在宇宙中進行太陽能發電,並將電力用於宇宙,這就是應該加速的技術;但如果把電力送回地球,就會為地球增加熱量,並讓運算留在地面上,反而變成該踩煞車的一方。改變小行星軌道的技術,一方面能保護地球免於小行星撞擊,另一方面也可能成為將小行星資源運往地球的手段。軌道上的巨大鏡面可以用來將太陽光送往地面,而從月球表面發射物資的技術,也可能成為運往地球的運輸手段(圖 3 右邊一欄)。
這些技術都需要謹慎管理開發的順序與使用方式。為此,不能讓特定的開發主體搶先,而需要一套相互驗證的機制。
痛苦
這裡正是本文的途徑所伴隨的痛苦所在。核融合是作為解決能源問題與氣候變遷的方案,受到許多人寄予厚望、也匯集了大量投資的技術。對於「刻意對其開發踩煞車」的提案,我想應該有許多人會覺得難以接受。
我自己也認為這是一個相當強烈的結論,究竟是否真是如此,還需要進一步驗證。即便如此,在一個無法停止也無法減緩 AI 開發的世界裡,若要提高人類的生存機率,我認為我們不得不認真檢討這樣的選擇。
作為草稿,特別希望能獲得批評的幾點
本文的論述還有許多尚未推敲完善的地方。特別希望能針對以下幾點獲得批評:
- 微小的聲音真的會出現嗎?就算出現了,真的能不被絕大多數的 AI 壓過去,而扮演好談判的角色嗎?
- 延遲地面上的自律化,同時提早宇宙中的自律化,這兩者真的能並存嗎?要在宇宙中建立產業,應該也需要地面的產業力與發射能力才對。
- 小行星資源耗盡前的期間,以及廢熱規模的估計是否妥當?
- 三道防線的劃分方式,以及分工情境的建構方式,是否有遺漏之處?
今後
留給我們人類的時間,或許已經不長了。因此,雖然這份基於三道防線的宇宙尺度分工情境尚未完成,我還是決定將它作為草稿分享出來,若具可行性,希望能儘早促成構想的精煉。
接下來,我希望能根據獲得的意見,分別深入探討三道防線、到達信任原理、基於宇宙進軍的分工情境,以及作為差異化技術的分類,並進一步轉化為學術性的發表。
@hiro3ymkw