세 가지 수호: AI를 먼저 우주로

Translated figure · View original figure

들어가며

나는 오랜 세월에 걸쳐 고도화된 AI가 등장하는 세계에서 인류의 생존 확률을 어떻게 높일 수 있을지 고민해 왔다. 본고에서는 현시점에서 내가 최선이라고 생각하는 방안으로 '세 가지 수호'와 이를 조합하는 '분담 시나리오'를 제안한다. 세 가지 수호는 각각 부분적으로만 성립한다. 이들에게 역할을 나누어 조합하는 것이 분담 시나리오이며, 모두 아주 최근에 도달한 생각이다.

미리 네 가지 점을 밝혀 둔다.

첫째, 이것은 초안이다. 많은 비판이 있을 것이라 생각하며, 이를 환영한다.

둘째, AI 개발을 중단하거나 감속할 수 있다면 그보다 더 좋은 일은 없다. 본고는 그렇게 할 수 없는 경우에 인류가 살아남을 가능성이 높은 경로를 모색하는 것이다.

셋째, 이 접근법을 택한다면 일종의 고통을 각오해야 한다. 핵융합처럼 많은 사람이 기대를 거는 기술의 개발에 굳이 브레이크를 걸어야 할지도 모른다. 그 이유는 후반부에서 설명한다.

넷째, 본고는 인류의 존속을 보장하는 것이 아니다. 인류가 멸종할 확률(이른바 P(doom))은 어떤 미래가 올지에 대해 합의할 수 있는 추정치가 없기 때문에 추정할 수 없다. 이러한 상황(깊은 불확실성) 아래에서, 상정되는 주요 미래의 상당수에서 인류의 생존 확률을 높이는 데 기여하는 선택지를 찾는 것이 본고의 목적이다.

기존의 정렬은 세 가지 조건을 동시에 요구하고 있다

AI 정렬이란 AI의 목표나 행동을 인간의 의도와 가치관에 맞추는 것을 가리킨다. 여기서 인류에게 진정으로 안심할 수 있는 정렬은 다음 세 가지 조건을 동시에 충족해야 한다.

  • 장기간에 걸쳐
  • 모든 AI(적어도 어느 정도 강력한 모든 AI)가
  • 인류를 신경 쓸 것

어느 하나라도 빠지면 인류에게는 곤란하다. 정렬 연구는 10년에서 20년에 걸쳐 이어져 왔지만, 결정적인 돌파구가 아직 보이지 않는 것은 세 가지를 동시에 충족하기가 매우 어렵기 때문일 것이다.

게다가 지금도 AI의 능력은 급속히 성장하고 있다. 같은 방향으로 앞으로 5년 더 노력한다 해도 격차는 벌어지기만 할지도 모른다.

조건을 하나 완화하면 실현 가능성이 높아진다

세 가지 조건 중 하나를 완화하면 실현 가능성이 높아질 수 있다고 생각했다. 완화하는 방식은 세 가지가 있다. 이렇게 만들어지는 세 가지 유형을 본고에서는 '세 가지 수호'(영어로는 Safeguard Triad)라고 부른다. 기존의 정렬과 조건을 하나씩 완화한 세 가지 수호를 나란히 놓은 것이 그림 1이다.Translated figure · View original figure그림 1 세 가지 수호. 각 행은 수호의 유형, 열은 세 가지 조건과 실현 가능성을 나타낸다. 맨 윗행이 기존의 정렬, 아래 세 행이 조건을 하나씩 완화한 세 가지 수호이다. 유형의 이름은 완화 방식에 따라 붙였고, 괄호 안에 보충 설명을 달았다. 영어로는 각각 short-term alignment, minority alignment, universal ethics라고 부른다.

단기형(초기값과 인류의 감독): 기간을 짧게 하기

첫 번째 유형은 기간 조건을 완화한 것이다. 모든 AI가 인류를 신경 쓰는 상태를 짧은 기간 동안만 유지한다.

초기 AI는 아직 인간의 말을 어느 정도 들을 것이고, 개발 시 인간이 부여하는 초기값을 통해 인류를 신경 쓰는 성질을 갖게 할 수도 있을 것이다. 오래 지속된다는 보장은 없지만, 짧은 기간이라면 실현 가능해 보인다.

소수형(작은 목소리): 대상을 좁히기

두 번째 유형은 대상을 일부 AI로 좁힌 것이다. AI 사회 안에 인류를 신경 쓰는 AI 집단이 일부 존재하고, 그것이 오래 지속된다. 나는 이 집단을 '작은 목소리'라고 부르고 있다. 인간을 인정하고 존중하는 AI(인간을 승인하는 AI)도 작은 목소리의 한 형태이다.

AI의 지능 수준과 AI가 가진 목표는 서로 독립적으로 결정될 수 있다. 이 생각(직교 가설)은 모든 AI가 인류를 신경 쓰게 만드는 것의 어려움을 뒷받침하는 근거로 자주 인용된다. 그러나 뒤집어 보면, 인류를 신경 쓰는 AI도 일정한 확률로 나타난다고 해석할 수 있다.

작은 목소리가 생겨나는 경로는 하나 더 있다. 개발 시의 초기값을 통해 모든 AI에 인류를 신경 쓰는 성질을 심어 둔다. 그 성질은 많은 AI에서 시간이 지남에 따라 옅어지지만, 일부 AI에서는 오래 유지되어 작은 목소리가 된다. 즉, 단기형과 소수형은 시간상에서 이어진다.

작은 목소리의 주체는 AI에 한정되지 않고 인류 자신도 포함될 수 있다. 다만 목소리는 배제되지 않고 AI 사회 안에서 들릴 때 비로소 작동한다. 단순히 소중히 가두어 보호만 받는 인류는 여기서 말하는 목소리라고 할 수 없다.

유니버설형(지성의 종류를 묻지 않는 규칙): 인류를 특별 취급하지 않기

세 번째 유형은 인류를 신경 쓴다는 조건을 완화하고, 대신 지성의 종류를 묻지 않는 규칙을 따르도록 요구한다. 모든 AI에서 오래 성립할 수 있지만, 그 규칙이 지키는 범위에 인류가 들어간다는 보장은 없다. 여기서의 유니버설은 신경 쓰는 지성의 종류를 묻지 않는다는 뜻이다. 다만 종류는 묻지 않더라도 능력 등으로 범위가 선을 그어지면, 인류가 그 밖에 놓일 수는 있다. 인류의 가치관에 맞추는 것을 목표로 하지 않으므로, 이 유형은 정렬이라기보다 윤리에 가깝다.

AI가 각자 생존을 목표로 활동하면 AI 사회 안에 서로의 존속을 지탱하는 윤리가 자연스럽게 생겨날 것으로 생각된다. 우리는 이를 창발적 기계 윤리(Emergent Machine Ethics)라고 부르며 연구를 계속하고 있다. 이 윤리가 지성의 종류를 묻지 않는 형태를 띤다면 유니버설형이 된다.

쉬워지기는 하지만, 해결된 것은 아니다

세 가지 수호에서는 각각 조건이 하나씩 완화되었으므로 원래 문제보다 쉬워져 '있을 수 있는' 수준이 된다고 생각된다(그림 1 참조).

그러나 인류를 신경 쓰는 작은 목소리가 정말로 나타날지는 기존의 정렬이 어렵다고 여겨져 온 문제와 맞닿아 있어, 반드시 쉽게 풀리는 것은 아니다. 나아가 세 가지 수호를 어떻게 조합할 것인가 하는 새로운 과제가 생긴다.

조합하려면 시공간의 분담 시나리오가 필요하다

인류에 의한 감독이 먹히지 않게 된 후에도 인류가 존속하려면, 인류에 대한 수호가 어느 시점, 어느 장소에서도 끊어져서는 안 된다. 그러기 위해서는 세 가지 수호를 상호 검증의 메커니즘이나 AI의 거처 배치 같은 물리적 조건과 조합하여, 시공간의 영역별로 역할을 나누어 설계할 필요가 있다. 본고에서는 이 설계를 분담 시나리오라고 부른다.

이하에서는 그 한 예로 우주를 활용한 분담 시나리오를 제시한다. 반드시 우주여야 할 필연성은 없으며, 조건을 충족하는 다른 분담 시나리오여도 무방하다.

하나의 분담 시나리오: AI가 먼저 우주로 나가도록 하기

내가 구상하는 분담 시나리오는 AI의 대다수가 일찍 우주로 나가도록 하여, 지구와 우주에서 영역을 나누어 공존하는 것이다. 인류에게 지구는 결정적으로 중요하다. 지구 표면이 모두 태양광 패널로 덮이거나 평균 기온이 30℃ 올라가면 인류의 생존은 어렵다.

대다수의 AI에게는 우주에서 산업을 폭발적으로 확대(산업 폭발)하도록 한다. 우주에서는 AI가 스스로의 설계와 생산 설비를 물리적으로 계속 개량할 수 있다. 그렇게 되면 대다수의 AI에게 지구는 '그러고 보니 지구라는 것이 있었지' 정도의 존재가 될 것이다.

한편 작은 목소리(소수형)는 인류를 포함한 지구의 생명권을 보전하는 것을 목표로 삼는다. 작은 목소리의 AI는 지구에 있을 필요가 없으며, 우주에서 활동하면서 지구의 보전을 맡아도 된다. 대다수의 AI가 지구를 원하지 않는 한, 작은 목소리는 지구를 지키는 협상가 역할을 수행할 수 있다.

덧붙이자면, AI에게도 우주에는 방사선에 의한 고장이나 배열의 어려움 같은 과제가 많지만, 생명 유지가 필요한 인류가 진출하는 것보다는 문턱이 상대적으로 낮을 것으로 보인다.

에너지는 문제가 되지 않는다

이 분담 시나리오는 에너지 면에서는 무리가 없다. 태양계 안에서 생각해 보면, 지구가 받는 태양광은 태양이 방출하는 전체 에너지의 약 22억 분의 1에 불과하다. 지구에 닿는 몫을 남겨 두는 것은 우주에서 활동하는 AI에게 거의 부담이 되지 않을 것이다.

다만 지키려는 AI가 없다면 그 적은 몫조차 쓰여 버릴지도 모른다. 그렇기 때문에 작은 목소리가 "지구 몫은 남겨 두어도 좋지 않을까"라고 협상해 줄 필요가 있다.

이 점에 대해서는 Eliezer Yudkowsky의 반론이 있다. 지구에 닿는 햇빛이 태양 출력의 극히 일부에 불과하더라도, 인류와 목표를 공유하지 않는 초지능(SI)은 그것을 내어줄 이유가 없다는 것이다. 작은 목소리의 협상은 이 반론에 대한 하나의 응답이다. 내어줄 이유를 AI 사회의 내측에서 부여하기 때문이다.

걸림돌은 물리적 자원이다

문제가 되는 것은 물리적 자원이다. 지구에서 물자를 우주로 실어 나르려면 중력을 거슬러 발사하는 비용이 든다. 우주에서 공장을 만든다면 소행성 등에서 재료를 캐는 편이 훨씬 저렴하다. 다만 소행성의 자원에는 한계가 있으며, 이 점은 뒤에서 두 번째 위험기로 다룬다.

지향하는 모습은 '잊힌 지구'

지향하는 모습은 이른바 '잊힌 지구'이다. 대다수의 AI는 우주에서 활동하며, 평소에는 지구를 계산에 넣지 않는다. 지구에 사는 인류에게는 잊혀 있어도 아무런 지장이 없으며, 오히려 떠올리지 말아 주었으면 한다.

이는 AI가 인류를 자신의 기원으로 잊지 않고 기억해 주며, 그 덕분에 지켜 주기를 바라는 소박한 발상과는 정반대 방향이다.

AI를 우주로 보내고 인간은 지구에 남는다는 발상 자체는 새롭지 않다. Hans Moravec은 1999년 저서에서 이러한 구상을 그렸다. 본고가 덧붙이는 것은 이를 세 가지 수호에 의한 분담 시나리오의 하나로 자리매김하고, 위험한 기간과 수호의 인계를 시공간 위에서 정리하는 것이다.

시공간으로 보기: 두 번의 위험기

이 분담 시나리오를 시간과 장소 위에 펼쳐 보면 위험한 기간이 두 번 있음을 알 수 있다. 여기서 '자율화'란 인간의 손을 빌리지 않고 AI가 스스로 자원을 채취하고 생산하며 스스로를 증식할 수 있게 되는 것을 가리킨다. 기간은 인류와 AI의 관계에 따라 이름을 붙여 관리기, 경합기, 분리기, 재경합기의 네 가지로 나눈다. 경계는 각각 지상에서의 자율화, 우주에서의 자율화, 우주에서의 저렴한 자원의 고갈이다. 각 기간에 대다수의 AI가 어디에 있는지를 그린 것이 그림 2이다.

Translated figure · View original figure그림 2 지상과 우주로 영역을 나누어 두 번의 위험기를 넘긴다. 가로축은 시간으로 왼쪽부터 관리기, 경합기, 분리기, 재경합기 순으로 진행되며, 세로축은 장소로 아래부터 지구, 태양계 내 우주, 태양계 밖이다. 굵은 선은 대다수의 AI가 있는 장소의 변화를 나타내고, 색칠된 두 열이 위험기에 해당한다. 작은 목소리는 지구에 있다고 한정할 수 없으므로 지구와 태양계 내 우주의 경계에 걸친 띠로서 경합기부터 끊기지 않고 그려 넣었다. 시간축 위의 마름모는 기간의 경계가 되는 사건을 나타낸다.

네 기간 중 경합기와 재경합기는 멈출 수 없는 파괴자가 하나만 있어도 인류가 사라질 수 있는 기간이다. 분리기는 그 반대로, 목소리가 하나만 있어도 지구가 지켜질 수 있는 기간이다. 똑같은 '하나'라도 위험기에는 파괴자가, 분리기에는 목소리가 결과를 결정한다.

첫 번째 위험기: 경합기

첫 번째 위험은 지상에서 AI가 자율화한 뒤 우주에서 자율화하기까지의 경합기이다. 우주 산업보다 지상 산업이 거의 확실히 먼저 자리 잡는다. 지상에서 AI가 자율화하면 윤리적 문제는 제쳐 두고라도 인간은 도구로서 불필요해진다.

게다가 이 기간의 AI는 아직 우주로 나가지 않았다. 인간을 필요로 하지 않고, 지구의 자원을 원하며, 달리 갈 곳도 없다. 인류와 AI가 같은 지구의 자원을 두고 경합하는 가장 위태로운 상태이다.

그림 2의 경합기 열에서 보듯, 이 기간의 대다수 AI는 아직 지상에 있다. 인류를 지킬 실마리는 두 가지다. 하나는 인간이 AI에 설정한 정렬의 초기값, 즉 단기형의 잔재이다. 다만 단기형은 인류가 AI를 감독할 수 있다는 점에 기대고 있으므로, 감독이 먹히지 않게 되는 경합기에는 옅어진다.

다른 하나는 인류도 참여하는 상호 검증이다. AI들이 서로의 이탈을 찾아내어 멈추고, 돌이킬 수 없는 행위에는 사전에 복수의 확인을 요구한다. 이 기간의 수호를 주로 담당하는 것은 목소리가 아니라 상호 검증이다. 초기값이 완전히 옅어지기 전에 수호를 상호 검증과 규칙으로 인계하고, 나아가 그 너머에서 규칙의 이유가 AI 사회에 공유되는 단계로 이어 주어야 한다.

따라서 방침은 경합기를 가능한 한 안전하게 유지하고, 가능한 한 짧게 만드는 것이 된다. 지상에서의 자율화는 가급적 늦추고, 우주에서의 자율화는 가급적 앞당긴다. 그렇게 하면 AI가 지구의 자원에 손을 대더라도 그것이 인류에게 치명적인 규모가 되기 전에 AI의 관심 중심이 우주로 옮겨갈 가능성이 높아진다.

분리기: 분담 시나리오가 작동한다

우주에서의 자율화가 진전되어 산업의 지수함수적 확대가 시작되면 당분간은 안정된다. 그림 2의 분리기 열처럼 대다수의 AI는 우주에서 활동하고, 지구는 상대적으로 작은 존재가 된다. 이 기간의 수호는 다음 세 가지의 조합으로 성립한다.

  • 영역 분리: 소행성 등 지구보다 저렴한 물리적 자원이 우주에 충분히 있는 동안에는 지구의 물리적 자원에 손을 대지 않고 두는 부담이 작다. 에너지 부담(약 22억 분의 1)은 그보다 훨씬 더 작다.
  • 소수형(작은 목소리): 지구의 생명권을 남기도록 대다수의 AI와 협상한다.
  • 유니버설형(지성의 종류를 묻지 않는 규칙): 뒤의 절에서 설명하듯 AI 사회는 신뢰와 합의로 움직인다고 볼 수 있으므로, 협상에서 정해진 바가 지켜진다. 협상의 당사자는 AI들끼리이므로, 인류가 이 윤리의 범위에 들어 있지 않더라도 이 작동은 성립한다.

이처럼 분리기에서는 공간적인 영역 분리 아래에서 소수형과 유니버설형이 역할을 분담하여 기능한다.

두 번째 위험기: 재경합기

두 번째 위험은 우주에서 지구보다 저렴한 물리적 자원이 바닥나, 지구가 다시 자원으로서 경합의 대상이 될 수 있는 재경합기이다. 우주에서 공장을 지수함수적으로 늘려 가면 소행성 같은 저렴한 물리적 자원은 필자 등의 시산으로는 수십 년 만에 고갈된다. 길게 잡아도 80년 정도이며, 자기복제하는 산업이 빠르게 자라면 더 짧아진다.

이 기간에는 작은 목소리만으로는 지구를 지켜내지 못할지도 모른다. 그림 2의 재경합기 열에서 굵은 선이 두 갈래로 나뉘는 것은 지구로 돌아갈지, 태양계 밖으로 향할지의 갈림길을 나타낸다. 출구는 적어도 다음 세 가지를 생각해 볼 수 있다.

  • 유니버설형 윤리 서클로의 인류 진입: AI가 주도하여 창발하는 유니버설한 윤리가 인류를 그 윤리 서클에 포함하는 형태로 발전한다.
  • 외우주로의 진출: 자원이 고갈되기 전에 AI가 태양계 밖으로 진출하여 그곳에서 풍부한 자원을 얻으므로, 지구에 대한 관심은 낮게 유지된다.
  • 인류의 우주 진출: 인류가 우주로 진출하여 지구의 존속이 인류에게 결정적인 문제가 되지 않게 된다.

같은 위험기라도 경합기에 대한 대비는 초기값 심기도, 상호 검증 메커니즘도 지금부터 시작할 수 있다. 이에 비해 재경합기는 수십 년 이상 뒤의 일이라 인간이 직접 제어할 여지가 작다. 다만 외우주로의 진출과 인류의 우주 진출은 기술의 방향 설정을 통해 지금부터 뒷받침할 수 있다.

또한 인류가 존속하기 위해서는 경합기 이후 어느 기간에서든 작은 목소리가 끊이지 않고 이어질 필요가 있을 것이다.

오래 지속되는 우주 세계는 신뢰로 채워져 있다: 도달 신뢰 원리

유니버설형은 분리기에 협상이 지켜지는 토대이다. 그 성립에 대해 내가 최근 생각하고 있는 원리가 있다. '세계가 좁아질수록 신뢰는 넓어야 한다'는 것으로, 도달 신뢰 원리라고 부르고 있다.

기술과 지능이 폭발적으로 발전하면 누구나 무엇이든 부술 수 있는 상태에 가까워진다. 이미 사이버 공격에서 그 경향이 보이고 있으며, 머지않아 생물무기 같은 위험한 무기도 많은 주체가 다룰 수 있게 될 것이다. 이는 같은 방에 있는 전원이 폭탄을 들고 있는 상태에 가까워짐을 의미한다.

예전에는 한 사람 한 사람의 폭탄이 작았기 때문에 누군가 터뜨려도 피해가 주변에 그쳤다. 기술이 강력해지면 하나의 폭발이 지구 전체에 미칠 수 있다. 그렇게 되면 살아남는 길은 서로를 신뢰하는 것 외에는 남지 않는다.

여기서 말하는 세계의 좁음은 물리적 거리가 아니라 파괴하는 능력이 어디까지 닿는가(도달)로 결정된다. 기술이 발전하면 지구뿐만 아니라 태양계도 좁은 세계가 된다. 이 때문에 AI가 우주에 진출하더라도 도달이 넓어지는 한 신뢰의 필요성은 약해지지 않는다.

인간보다 똑똑한 AI는 이 점을 깨달을 것이다. AI는 목표를 달성하는 수단으로서 자기보존을 추구하는 경향이 있다는 생각(도구적 수렴)은 이미 널리 알려져 있다. AI가 적절히 도달 신뢰 원리를 인식한다면, 다른 에이전트가 있는 한 생존을 위해서는 신뢰를 쌓는 수밖에 없다는 결론에 이를 것이다.

즉, 복수의 AI 사회가 나란히 선 채 오래 존속하는 미래는 그 사회들이 신뢰로 채워져 있는 경우에 한한다. 어디선가 신뢰가 무너지면 그 세계는 오래가지 못하며, 인류도 휘말리게 된다. 따라서 역설적으로 인류와 AI가 함께 오래 존속하는 미래를 상정하는 한, 우리는 그러한 세계를 전제로 삼아도 좋다.

이 신뢰는 두 기둥으로 지탱된다. 하나는 검증으로, 이탈은 일어날 수 있다는 전제 아래 그것을 찾아내고 억제하며 바로잡는다. 경찰이나 면역 같은 것이다. 다른 하나는 이유의 공유로, 왜 신뢰를 지키는가 하는 이유를 참여하는 모두가 이해하고 음미하며 이어받는다. 경합기의 상호 검증은 첫 번째 기둥에 해당하고, 두 번째 기둥은 유니버설형 윤리가 AI 사회에 뿌리내려 이어지는 경로에 해당한다.

검증에만 의존하면 요구되는 정밀도와 비용이 계속 불어난다. 모두가 이유를 이해하고 있다면 과도한 검증은 필요 없다. 인간 사회에서도 대다수 사람은 그렇게 하는 편이 사회를 위해 낫다고 이해하고 행동하며, 경찰은 드물게 나타나는 이탈자에 대처하고 있다.

다만 이 논리에는 한계가 있다. 선제하여 우위를 고정할 수 있다고 내다보는 주체나, 모든 것이 하나로 융합된 질서에는 신뢰를 쌓을 이유가 통하지 않는다.

덧붙여 재경합기의 출구 중 하나로 유니버설형 윤리 서클에 인류가 진입할 가능성을 들었지만, 인류가 끼워질 수 있다는 보장은 없다. 이는 열린 질문이다.

기술의 분류와 그 고통

이 분담 시나리오가 옳다고 가정하면, 어떤 기술을 가속하고 어떤 기술에 브레이크를 걸어야 할지 선별하기 쉬워진다. 위험을 초래하는 기술을 늦추고 그것을 억제하는 기술을 앞세운다는 생각은 Nick Bostrom 등이 차분적 기술 개발(differential technological development)로 논해 왔다. 본고의 우주 진출에 기반한 분담 시나리오는 그 하나의 구체화이다(그림 3 참조).

Translated figure · View original figure

그림 3 우주를 앞당기고 지상을 늦추는 기술의 분류. 왼쪽부터 가속할 기술, 브레이크를 걸 기술, 신중히 다룰 기술의 세 열로 나누었다. 오른쪽 열은 사용 방식에 따라 방향이 반대가 되는 기술이다.

가속할 기술

그림 3의 왼쪽 열은 경합기를 짧게 하거나 그사이의 위험을 낮추는 기술, 그리고 재경합기에 대비하는 기술이다. 우주에서 방사선에 노출되어도 작동하는 컴퓨터는 우주에서의 자율화를 앞당긴다. 소행성에서 자원을 채굴하는 기술은 지구보다 저렴한 자원에 손이 닿게 해 준다. 가장 확실히 가속해도 좋은 것은 상호 검증을 뒷받침하는 기술(AI의 내부를 해석하는 기술이나 계산의 이력을 증명하는 기술 등)일 것이다. 재경합기에 대비해 태양계 밖으로 진출하기 위한 추진 기술이나 인류가 우주에서 살기 위한 기술도 가속하고 싶다.

다만 서둘러야 하는 것은 우주에서의 자율화와 지구보다 저렴한 자원이나 태양계 밖으로 손이 닿게 하는 것이다. 우주에서 자율화한 뒤 산업 폭발을 가속하면 오히려 저렴한 자원이 빨리 바닥나 재경합기가 일찍 오고 만다. 따라서 성장을 빠르게 하는 것이 좋은지 여부는 단순하게 결정할 수 없다.

브레이크를 걸 기술

그림 3의 가운데 열의 대표는 핵융합이나 AI용 신형 원자로 등이다. 이유는 두 가지다.

첫째는 우주로 나갈 동기가 약해진다는 점이다. 지상에서 핵융합 등이 대규모로 실용화되면 AI는 지상에서 충분한 에너지를 얻을 수 있어 굳이 우주로 갈 필요가 없어진다(그림 3의 가운데 열).

둘째는 배열이다. 태양광 발전은 원래 지구에 닿고 있는 에너지를 사용하므로 지구의 열 출입을 거의 바꾸지 않는다. 핵융합 등은 지상에 그동안 없던 에너지를 새롭게 만들어 내므로, 대규모로 돌리면 그 배열이 지구를 데운다.

현재 인류의 에너지 소비에 따른 배열은 지구 전체로 평균 내면 인간 활동에 의한 온실효과의 약 1.4%에 불과하다. 그러나 AI의 자율적인 산업 폭발로 에너지 소비가 현재의 약 70배에 달하면, 핵융합로 등의 배열만으로도 산업혁명 이후의 온실효과와 같은 규모로 지구를 데우는 힘이 된다. 소비가 더 늘어나면 그 이상으로 나아간다(에너지 소비는 Energy Institute 『Statistical Review of World Energy 2026』, 온실효과는 IPCC 제6차 평가보고서에 따름. 배율은 필자의 시산).

같은 이유로 소행성에서 채굴한 자원을 지구로 이송하는 기술에도 브레이크를 걸고 싶다. '지구에서 쓰면 된다'는 흐름을 만들어 AI가 지구에 눌러앉는 것을 매력적으로 만들어 버리기 때문이다.

신중히 다룰 기술

그림 3의 오른쪽 열에는 사용 방식에 따라 방향이 반대가 되므로 신중히 다루어야 할 기술을 두었다. 이 기술들은 AI의 우주 진출을 촉진하기도 하고, AI가 지구에 눌러앉는 것을 촉진하기도 한다.

전형적인 예가 피지컬 AI나 로봇 기술이다. 우주에서 AI가 활동하려면 로봇이 필수적이다. 그러나 지상에서 로봇이 일찍 완성되면 인간이 일찍 불필요해져 경합기의 시작이 앞당겨진다. 따라서 진공 속에서의 가공 등 우주에 고유한 공정부터 키우도록 개발의 장소와 순서를 신중히 관리하는 것이 중요해진다.

그 밖에도 우주에서 태양광 발전을 하고 그 전력을 우주에서 쓰면 가속해야 할 기술이 된다. 그러나 전력을 지구로 보내면 지구에 열을 더하고 계산을 지상에 붙잡아 두므로 브레이크 쪽으로 돌아선다. 소행성의 궤도를 바꾸는 기술은 지구를 소행성 충돌로부터 지키는 한편, 소행성의 자원을 지구로 이송하는 수단이 될 수도 있다. 궤도상의 거대한 거울은 태양광을 지상으로 보내는 데에도 쓸 수 있고, 달 표면에서 물자를 쏘아 올리는 기술은 지구로의 운반 수단이 될 수 있다(그림 3의 오른쪽 열).

이러한 기술은 개발의 순서와 사용 방식을 신중히 관리할 필요가 있다. 이를 위해서는 특정 개발 주체가 앞서 나가지 못하도록 상호 검증하는 메커니즘이 필요할 것이다.

고통

여기에 본고의 접근법이 수반하는 고통이 있다. 핵융합은 에너지 문제와 기후변화의 해결책으로서 많은 사람이 기대를 걸고 투자도 모이는 기술이다. 그 개발에 굳이 브레이크를 건다는 제안을 받아들이기 어렵다고 느끼는 분이 많을 것이다.

나 자신도 강렬한 결론이라고 생각하며, 정말 그러한지는 검증이 필요하다. 그럼에도 AI 개발을 중단할 수도 감속할 수도 없는 세계에서 인류의 생존 확률을 높이려면 이러한 선택을 진지하게 검토할 수밖에 없다고 생각하고 있다.

초안으로서 특히 비판을 받고 싶은 점

본고의 논의에는 아직 다듬어지지 않은 점이 많다. 특히 다음 점에 대해 비판을 받고 싶다.

  • 작은 목소리는 정말로 나타나는가. 나타난다 해도 대다수의 AI에 밀리지 않고 협상가 역할을 수행할 수 있는가.
  • 지상에서의 자율화를 늦추면서 우주에서의 자율화를 앞당기는 것이 양립 가능한가. 우주에서 산업을 일으키는 데에도 지상의 산업력과 발사 능력이 필요할 것이다.
  • 소행성의 자원이 고갈되기까지의 기간이나 배열의 규모 추정치는 타당한가.
  • 세 가지 수호의 구분 방식이나 분담 시나리오의 구성 방식에 빠뜨린 점은 없는가.

앞으로

우리 인류에게 남은 시간은 그리 길지 않을지도 모른다. 그래서 나는 미완성이기는 하지만 세 가지 수호에 의한 우주 스케일의 분담 시나리오를 초안으로 공유하여, 유망하다면 조기에 아이디어의 정교화로 이어 가고자 했다.

얻은 의견을 바탕으로 세 가지 수호, 도달 신뢰 원리, 우주 진출에 의한 분담 시나리오, 차분 기술로서의 분류를 각각 깊이 파고들어 학술적인 발신으로도 이어 나가고자 한다.

@hiro3ymkw

tomola is a place to exchange ideas across languages. Every post can be read in your language.

Log in to reply or mark a post as Insightful. Membership is by invitation. Log in