스케일링 경쟁의 너머로 보이는 AGI와 편재 리스크 (AGI의 이론, AGI와 사회, 그리고 일본의 선택: 파트 2)
들어가며
현재 AI의 발전은 ‘스케일링 법칙(Scaling Law)’으로 크게 설명되고 있습니다. 즉, 모델의 파라미터 수, 학습에 사용되는 데이터양, 계산 자원(FLOPs)이 지수적으로 확대됨으로써 성능이 향상되고, 지금까지 불가능하다고 여겨졌던 태스크들이 가능해졌습니다. 이러한 연장선상에 ‘AGI(일반인공지능)’가 존재하는지에 대해서는 널리 관심이 집중되어 왔습니다.
지난 파트 1에서는 최근 Transformer 기반 모델이 솔로모노프 귀납(SI)에 점근할 수 있다는 이론 연구들이 동시다발적으로 발표되고 있으며, 스케일링 경쟁의 연장선상에서 AGI의 윤곽이 드러나고 있는 현 상황을 소개했습니다. 그리고 만약 AGI가 실현되었을 때 사회에 미칠 막대한 영향을 고려한다면, ‘현재 기술 경쟁의 연장선상에는 AGI가 존재하지 않는다’는 강한 가정을 두는 것에는 리스크가 있음을 논의했습니다.
따라서 ‘AGI는 도약에 의해 도래하는 것이 아니라, 연속적으로 도달할 수 있다’는 시나리오를 사회 전체가 충분히 인식해 둘 필요가 있습니다.
본 시리즈 기사에서는 총 3회에 걸쳐 현대의 AI 개발 경쟁이 AGI와 연속되어 있을 가능성과 그 의미에 대해 다음 세 가지 관점에서 논합니다.
- 파트 1: Transformer 기반 모델이 솔로모노프 귀납에 점근할 수 있다는 최근의 학습 이론 연구를 소개하고, AI와 AGI가 기존에 생각했던 것보다 훨씬 긴밀하게 연속되어 있을 가능성을 제시했습니다.
- 파트 2(본 기사): AI가 AGI로 연속될 가능성을 바탕으로, 미·중 거대 기업이 주도하는 스케일링 경쟁의 의미와 바람직한 미래를 향한 전략적 논점을 검토합니다.
- 파트 3: 일본이 취해야 할 연구·정책상의 진로를 고찰하고, 몇 가지 구체적인 제안을 제시합니다.
스케일링과 AGI의 연속성
−근본적인 도약 없이 AGI에 도달할 가능성을 고려해야 한다−
오랫동안 AGI의 실현에는 ‘근본적으로 새로운 알고리즘’이나 ‘미지의 패러다임’이 필요하다고 보는 입장이 존재했습니다. 그러나 이론 연구의 진전은 이러한 시각을 상대화하고 있습니다. 현재의 Transformer를 기반으로 한 학습 알고리즘은 데이터와 계산량을 늘리면 솔로모노프 귀납에 가까워질 가능성이 있으며, 만약 그렇다면 AGI로 향하는 경로는 ‘도약’이 아니라 ‘점근’으로 표현할 수 있는 것이 됩니다.
학술적인 엄밀함을 가지고 말하자면, 당연하게도 이는 ‘반드시 AGI가 실현된다’는 단언은 아닙니다. 말할 수 있는 것은 어디까지나 ‘이론적인 연속성이 존재한다’는 점입니다. 하지만 이러한 차이는 사회에 커다란 의미를 갖습니다. 왜냐하면, AGI의 실현까지 앞으로 얼마나 더 많은 스케일링이 필요한지 알 수 없는 현 상황에서, 장기적으로 AGI가 실현될 경우에 대비한 준비를 게을리하는 것은 실제로 AGI가 실현되었을 때 돌이킬 수 없는 지체로 이어지기 때문입니다.
‘AGI 도달’ 시나리오를 기축으로
리스크 평가(Risk Assessment)의 기본은
검토 우선순위 = 발생 확률 × 현실화되었을 때의 영향(임팩트)
입니다. AGI 기술이 실현되었을 때 사회에 미칠 극히 광범위하고 깊은 임팩트를 고려한다면, 비록 실현 확률에 상당한 수준의 불확실성이 존재한다 하더라도 ‘AGI에 도달하지 않는다’를 주요 시나리오로 삼는 것은 리스크가 지나치게 높다고 할 수 있습니다.
이러한 사고방식은 기후변화 대책 논의와 유사합니다. 설령 온난화가 예측보다 덜 진행된다 하더라도, 대비를 위한 투자에는 일정한 가치가 있습니다. 그러나 온난화가 급격히 진행되었음에도 불구하고 대비가 없다면 사회는 중대한 위기에 직면하게 됩니다. AGI에 대해서도 마찬가지로, 정책이나 제도 설계에서 ‘AGI 도달’을 주요 시나리오 중 하나로 기축에 두는 것은 합리적인 상정입니다. 설령 AGI가 최종적으로 실현되지 않는다 하더라도, 그것은 상정되었던 대재앙 유형 중 하나가 가시화되지 않은 것일 뿐, 이에 대비한 준비가 무의미했다는 뜻은 결코 아닙니다.
국재화 리스크와 대안 시나리오
AGI를 비롯한 고도화된 AI 기술이 일부 국가나 주체에 의해 과점되는 데 따른 커다란 리스크에 대해서는 지금까지 여러 논자들이 경종을 울려 왔습니다.
싱글턴 시나리오
AGI나 그 너머의 초지능(ASI)을 논할 때 자주 등장하는 개념으로 ‘싱글턴(Singleton)’이 있습니다. 이는 전 옥스퍼드 대학교의 닉 보스트롬(Nick Bostrom)이 제창한 것입니다. AGI는 인간이 수행할 수 있는 모든 지적 태스크를 대체할 수 있는 기술을 의미합니다. 인간이 수행할 수 있는 태스크에는 AI의 개량도 포함되므로, AGI는 자기 자신의 개량 또한 수행할 수 있게 됨을 뜻합니다. 즉, AI가 특정 추론 능력에 도달하면, 그 이후로는 인간의 도움 없이 스스로 자신을 재개량하는 ‘자기 개량 루프’를 실행할 수 있게 됩니다. 싱글턴이란 이러한 자기 개량 루프에 따른 지수함수적인 성능 향상을 통해, 단일 주체(AI 또는 이를 보유한 조직)가 압도적인 지능을 독점한 상태를 가리킵니다. 보스트롬은 일단 이러한 상태에 빠지면 초기 능력 차이의 지수적 확대로 인해 과점 상태를 뒤집기 어려워진다고 주장합니다(‘결정적 전략적 우위 decisive strategic advantage’의 획득). 싱글턴이 출현하면 그 행동이 지구 전체의 미래를 일방적으로 규정해 버리기 때문에, 인류에게 ‘존망 리스크’로 직결될 가능성이 있다고 여겨집니다.
다극 시나리오
싱글턴 시나리오는 보스트롬 등에 의해 다양한 측면에서 그 개연성이 논의되고 있으나, 물리적·사회적 제약을 무시한 극단적인 상정이라고도 볼 수 있습니다. 만약 싱글턴이 출현하지 않는다고 가정할 때, 다음으로 고려할 수 있는 것이 ‘다극 시나리오’입니다. 다극 시나리오에서는 복수의 주체(국가나 기업 등)가 AGI/ASI 기술을 과점하고 상호 경쟁 관계에 놓입니다. 주체가 복수라 하더라도 소수에 불과한 경우, AGI/ASI 기술을 가진 자와 가지지 못한 자 사이에 커다란 힘의 격차가 발생합니다. 또한 AGI/ASI끼리 항상 경쟁 관계에 있기 때문에, AI 기술에서 촉발되는 사고나 재앙이 발생하기 쉬운 불안정한 시나리오로 평가됩니다.
생태계 시나리오
이러한 반드시 바람직하지만은 않은 시나리오들에 대한 보다 바람직한 대안 시나리오가 바로 ‘생태계 시나리오’입니다. 여기서는 단순히 다극적일 뿐만 아니라 상호의존적인 AI 네트워크가 형성된 상태를 상정합니다. AGI를 포함한 다양한 종류의 AI 에이전트와 인간 사회를 구성하는 개인, 법인, 기타 주체들이 상호 연결되어 상호의존, 상호검증, 상호억제, 상호이양, 상호감사, 그리고 상호보완의 관계를 복잡하면서도 자연발생적으로 구성함으로써 자연계의 생태계와 같은 견고성(로버스트성)을 발휘하기를 기대하는 것입니다. 이는 일본의 연구자들이 동양적인 감각을 바탕으로 발전시켜 온 독자적인 아이디어이기도 합니다.
생태계 네트워크적 접근 방식에는 다양한 이점이 있습니다. 특정 AI가 폭주하려 할 때 다른 노드들이 검증과 제어를 담당함으로써, 인간 사회와 AI의 복합 시스템 전체를 안정적으로 운용할 수 있습니다. 나아가 다양한 설계와 데이터, 문화적 배경에 기반한 AI 모델들이 존재함으로써 단일 결함이 전체를 뒤덮는 리스크를 줄일 수 있습니다. 상호감사를 통한 투명성 확보나, 의사결정 및 출력의 타당성을 다각적인 관점에서 검증하는 메커니즘을 제공합니다. 즉, 인류 사회 속에 AI를 생태계적 네트워크로 포섭하는 것이 안전성과 신뢰성 관점에서 바람직한 경로라고 할 수 있습니다.
보충: 단, 복잡한 네트워크를 구성했다고 해서 그것이 인류 사회에 바람직한 형태임이 자동으로 보장되는 것은 아닙니다. 어떠한 조건을 충족해야 인간 사회와 AI의 복합 시스템이 안정적이고 건전하게 기능할 수 있는지, 그 조건을 이론적·수리적으로 밝혀내는 것은 저희 AI 얼라인먼트 네트워크(AI Alignment Network)의 주요 연구 주제 중 하나입니다.
덧붙여, 이러한 시나리오에 대한 자세한 설명과 성립 조건에 대해서는 다음 논문에 상세히 기술되어 있습니다.
장래의 기계 지성에 관한 시나리오와 분기점, 인공지능학회지 Vol. 33 No. 6 (2018/11)
국제적 다극 경쟁의 필요성
현재 거액의 자금과 인프라를 필요로 하는 첨단 AI 개발은 미국과 중국의 몇몇 거대 기업에 집중되어 있습니다. 이들 기업은 막대한 계산 자원과 방대한 학습 데이터를 바탕으로 스케일링 경쟁을 주도하고 있습니다. 기술적 성과는 크지만, 국제적으로는 극히 편재되어 있습니다. 이러한 구조는 장래의 국재화 리스크를 가시화시키는 것으로, 우려되는 부분입니다.
AGI 기술이 실현된 이후 인류 사회 전체의 안정성을 높이려면 미·중에 이은 제3극, 제4극 이후의 세력을 가능한 한 많이 육성해야 합니다. 복수의 국가와 기업이 주요 플레이어로 존재한다면 다극 구조를 생태계 네트워크형 구조로 전환할 가능성이 높아집니다. 그리고 사회 전체의 완건성이나 반취약성(Anti-fragility)을 확보하기 위해서는 이들 플레이어가 다양한 문화적·기술적 배경을 지니고, 가치관의 다양성을 확보하는 것 또한 중요합니다.
제3극·제4극 이후의 후보로는 일본, 유럽, 인도, 중동 국가 등이 기대됩니다. 이 중에서도 특히 일본은 기술 기반, 연구 인재, 국제사회적 신뢰 측면에서 조건을 갖추고 있어, 대규모 투자를 통해 그 역할을 담당할 수 있을 것으로 생각됩니다.
마치며
이론 연구가 보여준 ‘스케일링 경쟁의 연속적 연장선상에 AGI가 위치한다’는 통찰은 사회에 커다란 전제 변화를 가져옵니다. AGI가 ‘도약’이 아니라 ‘점근’을 통해 도달할 가능성이 있음을 이해한다면, 대비의 우선순위는 크게 달라집니다.
즉, 소수 플레이어에 의한 AGI 기술 과점의 위험성을 직시하면서, 다극적·상호의존적인 네트워크형 AI 구축을 추진하고, 미·중에 이은 세력을 육성하기 위해 적극적인 투자를 단행하는 국가를 늘려가야 합니다.
일본에 있어 이러한 방향성은 인류 사회의 안정성을 높이는 동시에, 선진국으로서의 경쟁력 유지에도 부합하는 행동입니다. 다음 파트 3에서는 이러한 기술적·국제적 상황 속에서 일본이 취해야 할 행보와 실현해야 할 정책에 대해 구체적으로 제안하겠습니다.
이 기사는 ALIGN 블로그(2025년 10월 10일)에서 전재된 글입니다. 원문: https://www.aialign.net/blog/transformer-agi-part2
Koichi Takahashi