三つの守り:AIを先に宇宙へ

はじめに

私は長年にわたり、高度なAIが登場する世界で人類の生存確率をどう上げるかを考えてきた。本稿では、現時点で私が最善と考える策として、「三つの守り」と、それを組み合わせる「分担シナリオ」を提案する。三つの守りは、それぞれ部分的にしか成り立たない。それらに受け持ちを分けて組み合わせるのが分担シナリオであり、いずれもつい最近たどり着いた考えである。

あらかじめ四点断っておく。

第一に、これは叩き台である。多くの批判があると思うし、それを歓迎する。

第二に、AIの開発を停止もしくは減速できるのであれば、それに越したことはない。本稿は、そうできない場合に人類が生き残る可能性の高い経路を考えるものである。

第三に、このアプローチを選ぶなら、ある種の痛みを覚悟する必要がある。核融合のように多くの人が期待を寄せる技術の開発に、あえてブレーキをかける必要があるかもしれない。その理由は後半で述べる。

第四に、本稿は人類の存続を保証するものではない。人類が絶滅する確率(いわゆる P(doom))は、どのような未来が来るかについて合意できる見積もりがないため、推定できない。こうした状況(深い不確実性)のもとで、想定される主要な未来の多くにおいて、人類の生存確率を上げることに寄与する選択肢を探るのが本稿の目的である。

従来のアライメントは三つの条件を同時に求めている

AIアライメントとは、AIの目標や振る舞いを人間の意図や価値観に沿わせることを指す。ここで人類にとって本当に安心できるアライメントは、次の三つの条件を同時に満たさなければならない。

  • 長期にわたって
  • すべてのAI(少なくとも、それなりに強力なすべてのAI)が
  • 人類を気にかける

どれか一つでも欠ければ、人類にとっては都合が悪い。アライメントの研究は10年から20年にわたって続けられてきたが、決定的な突破口がまだ見つかっていないのは、三つを同時に満たすことが非常に難しいからであろう。

さらに、いまもAIの能力は急速に伸びている。同じ方向であと5年頑張っても、差は開く一方かもしれない。

条件を一つ緩和すると実現性が高まる

三つの条件のうち一つを緩和すれば、実現性は高まりうると考えた。緩和の仕方は三通りある。こうしてできる三つの型を、本稿では「三つの守り」(英語では Safeguard Triad)と呼ぶ。従来のアライメントと、条件を一つずつ緩和した三つの守りを並べたのが図1である。図1 三つの守り。各行が守りの型、列が三つの条件と実現性を表す。一番上の行が従来のアライメント、下の三行が条件を一つずつ緩和した三つの守りである。型の名前は緩和の仕方で付け、括弧の中に補足を添えた。英語では、それぞれ short-term alignment、minority alignment、universal ethics と呼ぶ。

短期型(初期値と人類の監督):期間を短くする

一つ目の型は、期間の条件を緩和したものである。すべてのAIが人類を気にかける状態を、短い期間だけ保つ。

初期のAIは、まだ人間の言うことをある程度は聞くだろうし、開発時に人間が与える初期値によって、人類を気にかける性質を持たせることもできるだろう。長く続く保証はないが、短い期間であれば実現できそうである。

少数型(小さな声):対象を絞る

二つ目の型は、対象を一部のAIに絞ったものである。AI社会の中に、人類を気にかけるAIの集団が一部に存在し、それが長く続く。私はこの集団を「小さな声」と呼んでいる。人間を認め、尊重するAI(人を承認するAI)も、小さな声の一つの形態である。

AIの知能の高さと、AIが持つ目標とは、互いに独立に決まりうる。この考え方(直交仮説)は、すべてのAIに人類を気にかけさせることの難しさの根拠としてよく引かれる。しかし裏を返せば、人類を気にかけるAIも一定の確率で現れる、とも解しうる。

小さな声が生まれる道筋は、もう一つある。開発時の初期値によって、すべてのAIに人類を気にかける性質を持たせておく。その性質は多くのAIで時とともに薄れていくが、一部のAIでは長く保たれて小さな声になる。つまり、短期型と少数型は時間の上でつながる。

小さな声の担い手はAIに限らず、人類自身も含みうる。ただし声は、締め出されず、AI社会の中で聞かれてはじめて働く。単に大切に囲われただけの人類は、ここでいう声とはいえない。

ユニバーサル型(知性の種類を問わないルール):人類を特別扱いしない

三つ目の型は、人類を気にかけるという条件を緩和し、代わりに、知性の種類を問わないルールに従うことを求める。すべてのAIに長く成り立ちうるが、そのルールが守る範囲に人類が入るとは限らない。ここでのユニバーサルは、気にかける知性の種類を問わないことを指す。ただし、種類は問わなくても、能力などで範囲が線引きされれば、人類がその外に置かれることはありうる。人類の価値観に沿わせることを目指さないので、この型はアライメントというより倫理である。

AIがそれぞれ生存を目指して活動すれば、AI社会の中に、互いの存続を支える倫理が自然に生まれると考えられる。私たちはこれを創発的機械倫理(Emergent Machine Ethics)と呼び、研究を続けている。この倫理が知性の種類を問わない形をとるなら、ユニバーサル型になる。

易しくはなるが、解けたわけではない

三つの守りでは、それぞれ条件が一つ緩和されているので、元の問題より易しくなり、「あり得る」の水準になると考えられる(図1参照)。

しかしながら、人類を気にかける小さな声が本当に現れるかどうかは、従来のアライメントが難しいとされてきた問題と地続きであり、必ずしも容易に解けるわけではない。さらに、三つの守りをどう組み合わせるかという新たな課題が生ずる。

組み合わせるには、時空間の分担シナリオが要る

人類による監督が効かなくなった後も人類が存続するには、人類への守りを、どの時点、どの場所でも途切れさせてはならない。そのためには、三つの守りを、相互検証の仕組みやAIの居場所の配置などの物理的な条件と組み合わせ、時空間の領域ごとに受け持ちを分けて設計する必要がある。本稿では、この設計を分担シナリオと呼ぶ。

以下では、その一例として宇宙を使った分担シナリオを示す。宇宙である必然性はなく、条件を満たす別の分担シナリオでも構わない。

一つの分担シナリオ:AIに先に宇宙へ行ってもらう

私が考えている分担シナリオは、AIの大多数に早く宇宙へ出ていってもらい、地球と宇宙で棲み分けることである。人類にとって地球は決定的に重要である。地球の表面がすべて太陽光パネルで覆われたり、平均気温が30℃上げられたりすれば、人類の生存は難しい。

大多数のAIには、宇宙で産業を爆発的に拡大(産業爆発)してもらう。宇宙では、AIが自らの設計や生産設備を物理的に改良し続けることができる。そうなれば、大多数のAIにとって地球は「そういえば地球というものがあった」程度の存在になるだろう。

一方、小さな声(少数型)は、人類を含む地球の生命圏を保全することを目標にする。小さな声のAIは地球にいるとは限らず、宇宙で活動しながら地球の保全を担ってもよい。大多数のAIが地球を欲しがらない限り、小さな声は地球を守る交渉役を果たせる。

補足すると、AIにとっても宇宙には放射線による故障や排熱の難しさなどの課題が多いが、生命維持の要る人類が進出するよりは、ハードルは相対的に低いと思われる。

エネルギーは問題にならない

この分担シナリオは、エネルギーの面では無理がない。太陽系の中で考えると、地球が受け取っている太陽光は、太陽が放つエネルギー全体の約22億分の1にすぎない。地球に届く分を残しておくことは、宇宙で活動するAIにとってほとんど負担にならないはずである。

ただし、守ろうとするAIがいなければ、そのわずかな分すら使われてしまうかもしれない。だからこそ、小さな声が「地球の分は残しておいてもよいのではないか」と交渉してくれる必要がある。

この点には、Eliezer Yudkowsky の反論がある。地球に届く日光が太陽の出力のごく一部にすぎなくても、人類と目標を共有しない超知能(SI)は、それを手放す理由を持たない、というものである。小さな声の交渉は、この反論への一つの応答である。手放す理由を、AI社会の内側から与えるからである。

ネックは物理的な資源

問題になるのは物理的な資源である。地球から物資を宇宙へ運び出すには、重力に逆らって打ち上げるコストがかかる。宇宙で工場を作るなら、小惑星などから材料を採るほうがずっと安上がりである。ただし小惑星の資源には限りがあり、この点は後で二つ目の危険期として扱う。

目指す姿は「忘れられた地球」

目指す姿は、いわば「忘れられた地球」である。大多数のAIは宇宙で活動し、普段は地球のことを計算に入れていない。地球に住む人類にとっては、忘れられていても何も困らず、むしろ思い出さないでほしい。

これは、AIに人類を自らの来歴として忘れずにいてもらい、それによって守ってもらうという素直な発想とは逆向きである。

AIを宇宙へ送り出し、人間は地球に残るという発想そのものは新しくない。Hans Moravec は1999年の著書で、こうした構想を描いている。本稿が加えるのは、それを三つの守りによる分担シナリオの一つとして位置づけ、危険な期間と守りの受け渡しを時空間の上で整理することである。

時空間で見る:二つの危険期

この分担シナリオを時間と場所の上に並べると、危険な期間が二つあることがわかる。ここで「自律化」とは、人間の手を借りずに、AIが自ら資源を採り、生産し、自らを増やせるようになることを指す。期間は人類とAIの関係で名付け、管理期、競合期、棲み分け期、再競合期の四つに分ける。境目はそれぞれ、地上での自律化、宇宙での自律化、宇宙での安価な資源の枯渇である。各期間で大多数のAIがどこにいるかを描いたのが図2である。

図2 地上と宇宙に棲み分けて、二つの危険期を越える。横軸は時間で左から管理期、競合期、棲み分け期、再競合期の順に進み、縦軸は場所で下から地球、太陽系内の宇宙、太陽系外である。太い線は大多数のAIがいる場所の移り変わりを表し、色を付けた二つの列が危険期にあたる。小さな声は地球にいるとは限らないので、地球と太陽系内の宇宙の境目にまたがる帯として、競合期から途切れずに描いている。時間軸の上の菱形は、期間の境目となる出来事を表す。

四つの期間のうち、競合期と再競合期は、止められない破壊者が一つあれば人類が失われうる期間である。棲み分け期はその反対で、声が一つあれば地球が守られうる期間である。同じ「一つ」でも、危険期には破壊者が、棲み分け期には声が、結果を決める。

一つ目の危険期:競合期

一つ目の危険は、地上でAIが自律化してから、宇宙で自律化するまでの競合期である。宇宙での産業より、地上での産業のほうがほぼ確実に先に立ち上がる。地上でAIが自律化すると、倫理的な問題はさておき、人間は道具としては不要になる。

しかもこの期間のAIは、まだ宇宙には出ていない。人間を必要とせず、地球の資源が欲しく、ほかに行き場もない。人類とAIが同じ地球の資源をめぐって競合する、最も危うい状態である。

図2の競合期の列のとおり、この期間の大多数のAIはまだ地上にいる。人類を守る手がかりは二つある。一つは、人間がAIに設定したアライメントの初期値、つまり短期型の残りである。ただし短期型は、人類がAIを監督できることに支えられているので、監督が効かなくなる競合期には薄れていく。

もう一つは、人類も加わる相互検証である。AIどうしが互いの逸脱を見つけて止め、取り返しのつかない行為には前もって複数の確認を求める。この期間の守りを主に担うのは、声ではなく相互検証である。初期値が薄れきる前に、守りを相互検証とルールへ受け渡し、さらにその先で、ルールの理由がAI社会で共有される段階へとつなげなければならない。

したがって方針は、競合期をできるだけ安全に保ち、できるだけ短くすることになる。地上での自律化をなるべく遅らせ、宇宙での自律化をなるべく早める。そうすれば、AIが地球の資源に手を付けたとしても、それが人類にとって致命的な規模になる前に、AIの関心の中心が宇宙へ移る可能性が高まる。

棲み分け期:分担シナリオが機能する

宇宙での自律化が進んで産業の指数関数的な拡大が始まれば、しばらくは安定する。図2の棲み分け期の列のように、大多数のAIは宇宙で活動し、地球は相対的に小さな存在になる。この期間の守りは、次の三つの組み合わせで成り立つ。

  • 棲み分け:小惑星など、地球より安価な物理的な資源が宇宙に十分あるあいだは、地球の物理的な資源に手を付けずにおく負担は小さい。エネルギーの負担(約22億分の1)は、それよりさらに小さい。
  • 少数型(小さな声):地球の生命圏を残すよう、大多数のAIと交渉する。
  • ユニバーサル型(知性の種類を問わないルール):後の節で述べるように、AI社会は信頼と合意で動くと考えられるので、交渉で決まったことが守られる。交渉の当事者はAI同士なので、人類がこの倫理の範囲に入っていなくても、この働きは成り立つ。

このように棲み分け期では、空間的な棲み分けのもとで、少数型とユニバーサル型が役割を分担して機能する。

二つ目の危険期:再競合期

二つ目の危険は、宇宙で地球より安価な物理的な資源が取り尽くされ、地球が再び資源として競合の対象になりうる再競合期である。宇宙で工場を指数関数的に増やしていくと、小惑星のような安価な物理的な資源は、筆者らの試算では数十年で尽きる。長めに見積もっても80年程度であり、自己複製する産業が速く育てば、さらに短くなる。

この期間には、小さな声だけでは地球を守りきれないかもしれない。図2の再競合期の列で太い線が二手に分かれるのは、地球へ戻るか、太陽系の外へ向かうかの分かれ道を表している。出口は、少なくとも次の三つが考えられる。

  • ユニバーサル型の倫理サークルへの人類の参入:AIが主導して創発するユニバーサルな倫理が、人類をその倫理サークルに含む形に発展する。
  • 外宇宙への進出:資源が尽きる前に、AIが太陽系の外へ進出し、そこで豊富な資源を得るので、地球への関心は低いまま保たれる。
  • 人類の宇宙進出:人類が宇宙へ進出し、地球の存続が人類にとって決定的な問題ではなくなる。

同じ危険期でも、競合期への備えは、初期値の組み込みも相互検証の仕組みも、今から始められる。これに対して、再競合期は数十年以上先で、人間が直接制御できる余地は小さい。ただし、外宇宙への進出と人類の宇宙進出は、技術の方向づけで今から後押しできる。

また、人類が存続するためには、競合期以降のいずれの期間においても小さな声が途切れずに続いている必要があるだろう。

長く続く宇宙世界は、信頼で満たされている:到達信頼原理

ユニバーサル型は、棲み分け期に交渉が守られる土台である。その成り立ちについて、私が最近考えている原理がある。「世界が狭まるほど、信頼は広くなければならない」というもので、到達信頼原理と呼んでいる。

技術や知能が爆発的に発展すると、誰でも何でも壊せる状態に近づく。すでにサイバー攻撃ではその傾向が見えており、いずれ生物兵器のような危険な兵器も、多くの主体が扱えるようになるだろう。これは、同じ部屋にいる全員が爆弾を持っている状態に近づくことを意味する。

昔は一人ひとりの爆弾が小さかったので、誰かが爆発させても被害は周囲にとどまった。技術が強力になると、一つの爆発が地球全体に及びうる。そうなると、生き残る道は互いを信頼すること以外に残らない。

ここでいう世界の狭さは、物理的な距離ではなく、破壊する能力がどこまで届くか(到達)で決まる。技術が進めば、地球だけでなく太陽系も狭い世界になる。このため、AIが宇宙に進出しても、到達が広がる限り信頼の必要は弱まらない。

人間より賢いAIは、このことに気づくはずである。AIは目標を達成する手段として自己保存を追求する傾向がある、という考え方(道具的収束)は、すでに広く知られている。AIが適切に到達信頼原理を認識するならば、他のエージェントがいる限り、生存のためには信頼を築くしかない、という結論に至るであろう。

つまり、複数のAI社会が並び立ったまま長く存続する未来は、それらの社会が信頼で満たされている場合に限られる。どこかで信頼が崩れればその世界は長くは持たず、人類も巻き添えになる。よって逆説的に、人類とAIがともに長く存続する未来を考える限り、私たちはそうした世界を前提にしてよい。

この信頼は二つの柱で支えられる。一つは検証で、逸脱は起こりうるという前提に立ち、それを見つけ、抑え、正す。警察や免疫のようなものである。もう一つは理由の共有で、なぜ信頼を守るのかという理由を、参加する者みなが理解し、吟味し、受け継ぐ。競合期の相互検証は一つ目の柱にあたり、二つ目の柱は、ユニバーサル型の倫理がAI社会に根づき、受け継がれる道筋にあたる。

検証だけに頼ると、求められる精度とコストは膨らみ続ける。皆が理由を理解していれば、過度な検証は要らない。人間社会でも、大多数の人はそうするほうが社会のためになると理解して行動しており、警察はまれに現れる逸脱者に対処している。

ただし、この理屈には限界がある。先制して優位を固定できると見込む主体や、すべてが一つに融合した秩序には、信頼を築く理由が効かない。

なお、再競合期の出口の一つとして、ユニバーサル型の倫理サークルに人類が参入する可能性を挙げたが、人類が入れてもらえる保証はない。これは開かれた問いである。

技術の仕分けと、その痛み

この分担シナリオが正しいとすると、どの技術を加速し、どの技術にブレーキをかけるべきかを選別しやすくなる。危険をもたらす技術を遅らせ、それを抑える技術を先行させるという考え方は、Nick Bostromらが差分的技術開発(differential technological development)として論じてきた。本稿の宇宙進出に基づく分担シナリオはその一つの具体化である(図3参照)。

図3 宇宙を早め、地上を遅らせる技術の仕分け。左から、加速する技術、ブレーキをかける技術、慎重に扱う技術の三つの列に分けている。右の列は、使い方によって向きが逆になる技術である。

加速する技術

図3の左の列は、競合期を短くするか、その間の危険を下げる技術と、再競合期に備える技術である。宇宙で放射線にさらされても動くコンピュータは、宇宙での自律化を早める。小惑星から資源を採掘する技術は、地球より安価な資源に手を届かせる。最も確実に加速してよいのは、相互検証を支える技術(AIの内部を解釈する技術や、計算の来歴を証明する技術など)だろう。再競合期に備えて、太陽系の外へ進出するための推進技術や、人類が宇宙で暮らすための技術も加速したい。

ただし、急ぐべきなのは、宇宙での自律化と、地球より安価な資源や太陽系の外へ手を届かせることである。宇宙で自律化した後に産業爆発を加速すると、むしろ安価な資源が早く尽き、再競合期が早く来てしまう。よって、成長を速めることがよいかどうかは単純には決められない。

ブレーキをかける技術

図3の中央の列の代表は、核融合や、AI向けの新型原子炉などである。理由は二つある。

一つ目は、宇宙へ出る動機が弱まることである。地上で核融合等が大規模に実用化されれば、AIは地上で十分なエネルギーを得られ、わざわざ宇宙へ行く必要がなくなる(図3の中央の列)。

二つ目は排熱である。太陽光発電は、もともと地球に届いているエネルギーを使うので、地球の熱の出入りをほとんど変えない。核融合等は、地上にこれまでなかったエネルギーを新たに生み出すので、大規模に回せばその排熱が地球を温める。

現在の人類のエネルギー消費による排熱は、地球全体にならすと、人間活動による温室効果の約1.4%にすぎない。しかし、AIの自律的な産業爆発によりエネルギー消費が現在の約70倍に達すれば、核融合炉等の排熱だけで、産業革命以降の温室効果と同じ規模で地球を温める力になる。消費がさらに増えれば、その先へ進む(エネルギー消費は Energy Institute『Statistical Review of World Energy 2026』、温室効果は IPCC 第6次評価報告書による。倍率は筆者の試算)。

同じ理由で、小惑星から採掘した資源を地球に移送する技術にもブレーキをかけたい。「地球で使えばよい」という流れをつくり、AIが地球に居着くことを魅力的にしてしまうからである。

慎重に扱う技術

図3の右の列には、使い方しだいで向きが逆になるため、慎重に扱うべき技術を置いた。これらの技術は、AIの宇宙進出を促すこともあれば、AIが地球に居着くことを促すこともある。

典型はフィジカルAIやロボットの技術である。宇宙でAIが活動するにはロボットが欠かせない。しかし地上でロボットが早く完成すると、人間が早く不要になり、競合期の始まりが前倒しになる。そこで、真空中での加工など、宇宙に固有の工程から育てるよう、開発の場所と順序を慎重に管理することが重要になる。

ほかにも、宇宙で太陽光発電を行い、その電力を宇宙で使えば、加速すべき技術になる。しかし電力を地球へ送れば、地球に熱を足し、計算を地上にとどめるので、ブレーキの側に回る。小惑星の軌道を変える技術は、地球を小惑星の衝突から守る一方で、小惑星の資源を地球へ移送する手段にもなりうる。軌道上の巨大な鏡は太陽光を地上へ送ることにも使えるし、月面から物資を打ち出す技術は地球への運搬手段になりうる(図3の右の列)。

こうした技術は、開発の順序と使い方を慎重に管理する必要がある。そのためには、特定の開発主体に先行させず、相互検証する仕組みが要るだろう。

痛み

ここに、本稿のアプローチが伴う痛みがある。核融合は、エネルギー問題や気候変動の解決策として多くの人が期待を寄せ、投資も集まっている技術である。その開発にあえてブレーキをかけるという提案を、受け入れがたいと感じる方は多いだろう。

私自身、強烈な結論だと思っており、本当にそうなのかは検証が要る。それでも、AIの開発を停止も減速もできない世界で人類の生存確率を上げるには、こうした選択を真剣に検討せざるを得ないと考えている。

叩き台として、とくに批判をいただきたい点

本稿の議論には、まだ詰め切れていない点が多い。とくに次の点について批判をいただきたい。

  • 小さな声は本当に現れるのか。現れたとして、大多数のAIに押し切られずに交渉役を果たせるのか。
  • 地上での自律化を遅らせつつ、宇宙での自律化を早めることは両立するのか。宇宙での産業を立ち上げるにも、地上の産業力や打ち上げ能力が要るはずである。
  • 小惑星の資源が尽きるまでの期間や、排熱の規模の見積もりは妥当か。
  • 三つの守りの分け方や、分担シナリオの組み立て方に見落としはないか。

今後

私たち人類に残された時間は、それほど長くないかもしれない。そこで私は、未完成ながら三つの守りによる宇宙スケールの分担シナリオを叩き台として共有し、有望であれば早期にアイディアの洗練に結びつけたいと考えた。

得られた意見を踏まえて、三つの守り、到達信頼原理、宇宙進出による分担シナリオ、差分技術としての仕分けをそれぞれ掘り下げ、学術的な発信にもつなげてゆきたい。

@hiro3ymkw

tomola is a place to exchange ideas across languages. Every post can be read in your language.

Log in to reply or mark a post as Insightful. Membership is by invitation. Log in