Transformer는 AGI에 도달할 수 있는가? (AGI의 이론, AGI와 사회, 그리고 일본의 선택: 파트 1)
머리말
인공지능(AI)은 최근 특정 태스크를 넘어 다양한 상황에 적응하는 '범용성'을 급속히 높여가고 있습니다. 그 궁극적인 연장선상에 위치하는 것이 바로 범용 인공지능(Artificial General Intelligence, AGI)입니다.
AGI란 인간과 동등하거나 그 이상의 유연한 지적 능력을 지니고, 미지의 환경에서도 스스로 학습하고 추론하며 창의적으로 행동할 수 있는 인공 시스템을 가리킵니다. 다만 AGI의 정의에 대해서는 전문가들 사이에서도 통일된 견해가 존재하지 않습니다. 따라서 이론 연구 분야에서는 AGI를 직접 정의하는 대신 '어떠한 환경에서도 최적으로 행동할 수 있는 이상적인 지능'으로 정식화된 만능 AI(Universal AI)의 개념이 자주 사용됩니다.
만능 AI는 정보 이론에 기반한 보편적인 지능 모델이며, 그 대표적인 이론적 형태가 마커스 후터(Marcus Hutter)에 의해 제안된 AIXI라 불리는 강화학습 에이전트입니다. AIXI는 관측과 보상을 바탕으로 미래를 예측하고 기댓값이 가장 높은 행동을 선택합니다. 이론상으로는 '완전히 합리적인 지능'의 모습을 제시하지만, 그 내부에서는 솔로모노프 귀납(Solomonoff Induction)이라는 수리적 예측 원리가 사용되며, 이는 무한한 계산을 필요로 하므로 현실의 컴퓨터에서는 실행할 수 없습니다. 다시 말해 AGI란 이 이상적인 만능 AI를 유한한 자원으로 근사하여 실현하려는 시도로 볼 수 있습니다.
솔로모노프 귀납은 1960년대에 레이 솔로모노프(Ray Solomonoff)가 제창한 알고리즘 정보 이론에 기반한 추론 원리로, 관찰을 설명하는 모든 가설(프로그램) 중 더 짧고 단순한 것에 더 높은 확률을 부여합니다. 즉 '가장 짧은 설명을 채택'함으로써 가장 일반화 능력이 높은 예측을 얻으려는 것입니다. 이는 '오컴의 면도날'을 수학적으로 정식화한 것이라 할 수 있으며, 과학 이론의 합리성이나 AI의 학습 원리를 관통하는 기초 개념으로 자리 잡고 있습니다.
이러한 이론적 배경을 바탕으로 하면, 현재 AI 연구가 직면한 질문은 다음과 같이 정리할 수 있습니다.
현대 AI의 핵심 기술인 Transformer는 만능 AI에 어디까지 다가가고 있는가?
현재 AI의 급속한 성능 향상은 Transformer라 불리는 딥러닝 모델의 등장에 크게 힘입고 있습니다. Transformer의 혁신은 모델 크기·데이터양·계산량을 동시에 확장함으로써 성능이 마치 한계가 없는 것처럼 향상되는 '스케일링 법칙'을 제시한 데 있습니다. 이 경험적 법칙이 거대한 계산 자원과 방대한 데이터를 전제로 하는 개발 경쟁을 정당화했고, 결과적으로 ChatGPT, Claude, Gemini 등 주요 AI 시스템의 발전을 뒷받침해 왔습니다.
그렇다면 이 스케일링을 극한까지 밀어붙인 끝에 이론적으로 정의된 만능 AI, 즉 AGI가 존재할까요? 아니면 완전히 새로운 원리적 전환을 기다려야만 할까요?
이 근원적인 질문에 대해 2024~2025년에 걸쳐 발표된 여러 이론 연구가 새로운 방향성을 제시하고 있습니다. 이들의 공통된 주장은 Transformer가 알고리즘 정보 이론을 매개로 솔로모노프 귀납(SI)에 점근할 수 있으며, 즉 이론상의 만능 AI와 연속되어 있을 가능성이 있다는 것입니다. 즉, 현대의 AI는 단순한 경험적 통계 모델이 아니라 이론적으로 정의된 '최적 지능'의 방향으로 점근하고 있을지도 모른다는 시각이 부상하고 있습니다.
본 시리즈 기사에서는 총 3회에 걸쳐 현대의 AI 개발 경쟁이 AGI와 연속되어 있을 가능성과 그 의미에 대해 다음 세 가지 관점에서 정리합니다.
- 파트 1(본 기사): Transformer형 모델이 솔로모노프 귀납에 점근할 수 있다고 주장하는 최근 학습 이론 연구를 소개하고, AI와 AGI가 종래에 생각했던 것보다 밀접하게 연속되어 있을 가능성을 제시합니다.
- 파트 2: AI가 AGI로 연속될 가능성을 바탕으로, 미·중 거대 기업이 주도하는 스케일링 경쟁의 의미와 바람직한 미래를 향한 전략적 논점을 검토합니다.
- 파트 3: 일본이 취해야 할 연구·정책상의 진로를 고찰하고, 몇 가지 구체적인 제안을 제시합니다.
Transformer의 학습은 솔로모노프 귀납에 점근한다
2024년부터 2025년에 걸쳐 독립적으로 발표된 다음 3편의 논문은 Transformer/대규모 언어 모델(LLM)이 학습을 통해 솔로모노프 귀납에 다가간다는 주장을 형식 이론 및 경험적 증거에 기반하여 전개하고 있습니다.
- 논문: Learning Universal Predictors, ICML 2024 (arXiv:2401.14953)
저자: Grau-Moya, Genewein, Hutter, Orseau, Delétang, Catt, Ruoss, Wenliang, Mattern, Aitchison, Veness (Google DeepMind)
주요 주장: Google DeepMind에서 만능 AI 이론의 권위자인 Hutter를 포함한 저자진으로 발표. 만능 튜링 기계(UTM)에서 생성한 'universal data'를 이용한 메타 학습을 통해 신경망(Transformer·LSTM)에 솔로모노프 귀납을 상각(amortize)할 수 있음을 이론과 실험 양면에서 입증. 극한에서 메타 훈련 절차가 SI로 수렴함을 형식적으로 제시하고, 실험에서는 모델 규모 확장에 따라 범용적 예측 전략의 획득이 진행됨을 확인했다. 또한 LLM의 in-context 일반화 능력 자체가 SI의 거친 근사로 볼 수 있다고 논하고 있다. - 논문: Transformers As Approximations of Solomonoff Induction, ICONIP 2024
저자: Young & Witbrock
주요 주장: Transformer는 모든 계산 가능한 확률 분포를 혼합하는 SI의 '한계상의 최적 예측기'와 비교할 수 있다. Transformer의 예측 성능·스케일링 거동을 SI와의 대응으로 파악하는 가설을 세우고, 그에 대한 찬반을 정리. - 논문: Large Language Models as Computable Approximations to Solomonoff Induction, arXiv:2505.15784 (2025)
저자: Wan & Mei
주요 주장: LLM의 훈련 과정은 SI의 사전 분포를 근사하고, 다음 토큰 예측은 SI 귀납을 근사한다는 형식적 정리를 제시. 그 이론에서 도출되는 '신뢰도가 낮은 예시를 우선하는 few-shot 학습 전략'을 실험으로 검증하여 소형 모델에서의 유효성을 확인.
(참고로 투고 중인 연구도 존재하지만, 본 기사에서는 다루지 않습니다.)
이러한 이론적 연구에는 몇 가지 공통된 전제와 한계가 있습니다. Transformer가 솔로모노프 귀납에 점근하는 것은 이론상 '무한한 데이터와 계산 자원'이 주어졌을 때의 극한 상황이며, 현실에는 시간·메모리·최적화 기법의 제약이 있습니다. 또한 모델 규모가 작을 경우 복잡한 규칙성을 충분히 포착하지 못하며, 실제 데이터의 편향이나 노이즈도 성능을 제한합니다. 그럼에도 few-shot 학습이나 in-context 학습의 거동이 이론과 일치함이 확인되고 있으며, Grau-Moya et al. (2024)는 UTM 데이터로 훈련한 Transformer/LSTM이 모델 규모 확장에 따라 범용적 예측 전략을 획득함을 실험적으로 확인했고, Wan & Mei (2025)의 실험에서는 이론에서 도출된 샘플 선택 전략이 실제 성능 향상에 기여함을 보여주고 있습니다.
보충: 저희 AI 얼라인먼트 네트워크에서도 관련 연구를 진행하고 있습니다. 예를 들어 2025년 논문에서는 자기 예측을 이용해 AIXI를 계산 가능하게 근사하는 Self-AIXI가 학습을 통해 만능 AI에 점근할 수 있음을 제시했습니다. 자세한 내용은 다음 기사에서 소개하고 있습니다.
AGI의 제어와 호기심: 논문 'Universal AI maximizes Variational Empowerment' 발표
Transformer가 AGI에 도달하지 '않는다'고 생각하는 것은 위험하다
그렇다면 이 이론 연구들로부터 무엇을 알 수 있을까요?
종래에는 스케일링 법칙이 어디까지 이어질지, 그리고 어디에 도달할지에 대해 명확한 답이 없었습니다. 그러나 최근의 이론 연구는 '그 끝에 있는 것은 솔로모노프 귀납이다'라는 일정한 방향성을 제시하고 있습니다. 만약 Transformer가 학습을 통해 솔로모노프 귀납에 점근한다면, 그 끝에 있는 것은 만능 AI이며, 이는 이론상 AGI를 능가하는 개념입니다. 즉, 스케일링 법칙의 연장선상 어딘가에는 반드시 AGI가 존재한다는 뜻이 됩니다.
물론 현실에는 무한한 데이터나 계산이 존재하지 않으며, 도달 가능한 범위에 AGI가 포함되는지는 아직 불확실합니다. 또한 계산 불가능성이나 최적화, 유한한 자원, 신체성(embodiment)의 결여 등 많은 제약이 남아 있습니다. 특히 '신체성이 없으면 유연한 행동은 불가능하다'고 생각하는 연구자도 있습니다.
하지만 중요한 시사점이 하나 있습니다. 이전에는 AGI에 이르기까지 미지의 이론적·기술적 장벽이 있을 것이라 여겨졌으나, 실제로는 장벽이 존재하지 않으며 남은 걸림돌은 양적 확장뿐일지도 모른다는 점입니다. 이 가설이 복수의 이론 연구자들로부터 독립적으로 제시되고 있다는 점은 무게가 있습니다.
따라서 현재의 AI가 AGI에 도달할지 여부는 아직 불확실하지만, 도달하지 않는다고 단언하기는 이전보다 훨씬 더 어려워졌다는 인식은 가지고 있어야 할 것입니다. 결론적으로, AGI 도달의 막대한 사회적 영향을 고려하면 'AGI에는 도달하지 않는다'는 가정하에 향후 사회를 구상하는 것은 위험하다고 말할 수 있습니다.
요약
본 기사는 총 3회 시리즈의 첫 회입니다. 이번 파트 1에서는 최근 이론 연구에 기반하여 Transformer(및 LLM)가 AGI에 도달할 가능성이 '먼 가설'에서 '현행 기술의 연장선상에 있는 현실적 시나리오'로 위상이 변화하고 있음을 소개했습니다.
다음 회 파트 2에서는 AI가 AGI로 연속될 가능성을 바탕으로, 미·중 거대 기업이 주도하는 스케일링 경쟁의 의미와 바람직한 미래를 위해 무엇을 검토해야 할지 논의합니다. 마지막 회인 파트 3에서는 일본이 취해야 할 연구·정책상의 진로를 검토하고 몇 가지 구체적인 제안을 제시합니다.
(2025년 10월 7일 초판 공개. 2026년 4월 16일 기술적 정확성 관점에서 업데이트)
이 기사는 ALIGN 블로그(2025년 10월 7일)의 전재입니다. 원문: https://www.aialign.net/blog/transformer-agi-part1
Koichi Takahashi