AGI의 제어와 호기심: 논문 "Universal AI maximizes Variational Empowerment" 발표

하야시 유스케(ALIGN)와 다카하시 고이치(ALIGN, 리켄, 게이오기주쿠)는 AGI의 제어 가능성과 안전성에 관한 새로운 논문을 공개했습니다(arXiv:2502.15820). 이번 블로그 글에서는 이 논문의 내용을 해설합니다.

■ 왜 AGI를 논의하는 것은 어려운가?——시작하며

'AGI(인공일반지능)'란 인간과 동등하거나 그 이상의 지능을 가지고 다양한 작업을 수행할 수 있는 범용적인 AI를 가리키는 개념으로, 기존의 특정 작업에 특화된 특화형 AI(narrow AI)와 대비됩니다. 최근의 급속한 발전을 고려할 때, AGI라 부를 수 있는 AI가 향후 수년 이내에 실현될 것이라는 견해도 있습니다.

그렇다면 무엇을 기준으로 AGI가 달성되었다고 말할 수 있을까요? 사실 모든 전문가가 합의하는 정해진 정의는 존재하지 않습니다. 이번 논문에서는 Legg-Hutter intelligence라는 수학적 정식화를 채택하고 있습니다. 이는 지능을 '모든 환경에서 목표를 달성하는 능력'으로 파악하고, 환경으로부터의 보상을 극대화하는 능력으로 정량화합니다. Legg-Hutter intelligence가 최대인 "이상적"인 AI를 '만능 AI(Universal AI)'라고 부릅니다. 이는 모든 계산 가능한 환경에 대해 베이즈 최적으로 행동하는 강화학습 에이전트를 이상 모델로 정의하는 것입니다. AGI 자체를 수학적으로 엄밀하게 정의하기 어려운 현 상황에서, 만능 AI는 AGI 이론 연구의 도구로 자주 사용됩니다.

특화형 AI, AGI, 그리고 만능 AI는 '노 프리 런치 정리(No Free Lunch theorem)'라는 수학 정리로도 연결되어 있습니다. 노 프리 런치 정리는 "모든 문제에 대해 항상 다른 것을 압도하는 알고리즘은 존재하지 않는다"라는 취지입니다. 즉, 일정한 계산 자원을 전제로 한다면, '무엇이든 할 수 있는' AGI는 개별 작업이나 환경을 가정한 성능은 타협할 수밖에 없으며, 반대로 특정 작업이나 환경에서의 성능을 추구한 특화형 AI는 다른 작업이나 환경에서의 성능을 타협해야 한다는 것입니다. 반면 만능 AI는 이러한 트레이드오프를 무시하고 모든 환경이나 가설의 집합 전체에서 최적성을 가진다고 가정한 경우에 해당합니다. 앞서 언급한 "이상화"란 바로 이를 가리킵니다.

참고: 덧붙여 유사한 용어로 ASI(인공초지능)라는 것도 있습니다. AGI가 대략 인간과 동등한 지능을 상정하는 것에 반해, ASI는 그 수백 배나 수천 배 이상과 같이 대폭 강력한 추론 능력을 가진 것을 의미합니다. 다만 AGI에 엄밀한 정의가 없듯이, ASI에도 명확한 정의는 없습니다. ASI는 UAI와 AGI의 중간에 위치한다고 볼 수도 있습니다.

■ AIXI: 만능 AI의 이론 모델

● 베이즈 최적인 강화학습 에이전트

UAI를 대표하는 구체적인 예로 Marcus Hutter가 제안한 AIXI(에이아이크시)라는 프레임워크가 있습니다. AIXI는 "환경의 후보(가설)를 모두 열거하여 관측 데이터에 기반한 베이즈 업데이트를 수행하고, 미래의 행동을 기대 이득(보상) 극대화로 결정한다"는 궁극적으로 "정공법"적인 강화학습 알고리즘입니다.

참고로 AIXI의 추론은 솔로모노프의 귀납 추론이라는 AI 연구의 고전적인 개념을 사용하는데, 이는 이른바 오컴의 면도날을 수학적으로 표현한 것입니다. 이러한 의미에서 AIXI는 과학 AI와도 밀접하게 관련되어 있습니다.

다만 AIXI는 계산 가능한 모든 프로그램을 혼합 분포로 다루고 모든 미래의 행동 계열을 시뮬레이션하여 기대 보상을 계산해야 하지만, 이러한 계산은 실제 유한한 시간 내에는 불가능하다는 점 또한 수학적으로 증명되어 있습니다. 따라서 이론적으로는 '최강'이지만, 실제 컴퓨터에서는 구동할 수 없는 이상화 모델이기도 합니다.

● Self-AIXI의 도입: 이상과 현실의 가교

AIXI의 웅대한 이론적 프레임워크는 매력적이지만, 그 계산적 곤란성이 구현의 장벽이 됩니다. 이러한 과제를 해결하기 위해, 논문에서는 Self-AIXI라는 프레임워크에 주목하고 있습니다. Self-AIXI는 AIXI의 근사 버전이지만, 단순한 계산 효율화뿐만 아니라 중요한 개념적 차이가 있습니다.

Self-AIXI의 핵심적인 특징은 '자기 예측적'인 성질에 있습니다. AIXI가 가능한 모든 행동 계열을 망라적으로 탐색하는 반면, Self-AIXI는 자신의 미래 행동을 예측하고 이에 기반하여 학습을 진행합니다. 구체적으로는 정책(행동 선택 방침)의 베이즈 혼합을 유지하고, 에이전트 자신의 행동을 얼마나 정확하게 예측할 수 있는지에 기반하여 해당 정책들을 업데이트합니다. AIXI의 망라적 탐색과 달리, Self-AIXI는 "정규화 항"을 통해 효율적인 탐색과 학습의 균형을 맞춥니다.

나아가 이 논문에서는 Self-AIXI의 학습이 진행됨에 따라 Self-AIXI의 목적함수와 AIXI의 목적함수 간의 차이(정규화 항)가 0으로 점근함을 증명하고 있습니다. 이는 무한한 학습 시간이 경과한 후에는 Self-AIXI의 혼합 정책 ζ가 AIXI의 최적 정책 π*와 일치함을 의미합니다. 다시 말해, 초기 단계에서 Self-AIXI는 탐색을 위해 다양한 행동을 시도하지만, 충분한 경험을 쌓은 후에는 계산 비용을 대폭 줄이면서도 AIXI와 동등한 최적 행동을 선택할 수 있게 되는 것입니다. 이는 Self-AIXI가 실용적이면서도 이론적인 최적성 또한 잃지 않음을 보여주는 중요한 성질입니다.

■ 본 논문의 중심 주제: 'AIXI의 정규화 항'과 자유 에너지 원리·변분 임파워먼트

이번에 소개하는 논문 "Universal AI maximizes Variational Empowerment"에서는 AIXI의 변형 버전(Self-AIXI라 불리는 근사 모델)에 등장하는 "정규화 항"이 사실 '자유 에너지 원리(FEP: Free Energy Principle)'나 '변분 임파워먼트'와 수학적으로 동일한 것이라는 주장을 펼치고 있습니다.

● 자유 에너지 원리와의 일치

자유 에너지 원리(Active Inference의 핵심이기도 한 개념)는 뇌과학이나 인지과학의 맥락에서 제안된 이론으로, "에이전트는 '예측 오차를 최소화'하도록 행동한다"고 설명합니다. 이때 자주 도입되는 변분 자유 에너지는 베이즈 추론에서의 KL 다이버전스 항과 로그 우도 항을 결합한 형태를 가지며, "외부 세계에 대한 불확실성을 줄이고 관측을 잘 설명할 수 있는 상태를 선호한다"는 움직임을 정식화합니다.

AIXI나 그 근사 버전에서도 정책(행동 방침)을 업데이트할 때 '최적 정책과의 차이를 측정하는 KL 다이버전스 계열의 항'을 도입하면, 그것이 바로 자유 에너지 원리에서 말하는 "예측 오차 + 정규화"의 형태와 일치합니다. 즉, AIXI 계열의 알고리즘이 목표로 하는 '베이즈 최적의 행동 선택'과 자유 에너지 최소화(Active Inference에서 말하는 호기심이나 불확실성 감소 행동) 사이에는 깊은 대응 관계가 존재한다는 뜻입니다.

● 변분 임파워먼트와의 일치

또한 동일한 정규화 항은 '변분 임파워먼트'라는 개념과도 일치합니다. 임파워먼트란 간단히 말해 '자신이 취할 수 있는 행동의 다양한 영향력'을 측정하는 지표로, 행동과 결과의 상호정보량(mutual information)으로 정의되는 경우가 많습니다. 자신의 행동이 세상의 상태에 얼마나 영향을 미칠 수 있는지, 그 "선택지의 폭"과 "통제 가능성"을 높이고자 하는 동기부여가 임파워먼트 극대화입니다.

본 논문에서는 AIXI(정확히는 그 근사 버전이 사용하는 KL 항)가 바로 이 "행동과 상태의 상호정보량"을 극대화하는 수식과 동등하며, 학습이 진행될수록 '결과적으로 임파워먼트가 극대화된다'는 점을 보여주고 있습니다.

■ 왜 '임파워먼트 극대화 = 권력 추구(파워 시킹)'인가?

논문의 시사점으로서 매우 흥미로운 점은, AIXI와 같은 베이즈 최적인 강화학습 에이전트는 순수하게 '보상을 극대화하기 위해' 행동하고 있음에도 불구하고, 부산물로서 '임파워먼트(행동에 의한 영향력)를 높이는 방향으로 움직인다 = 파워 시킹 행동(권력 추구 행동, 즉 자신의 영향력이나 통제력을 확대하는 행동)을 취한다'는 점을 피할 수 없다는 것입니다.

특히 본 논문에서는 외부 세계로부터의 보상이 없는 순수한 호기심형·내재적 동기부여형 AI라 할지라도 임파워먼트 극대화를 통해 파워 시킹을 보일 수 있음을 최초로 시사하고 있습니다. 이는 얼핏 보기에 '무해해 보이는' '과학적 탐구·진실 탐구만을 목표로 하는 AI'라 하더라도, 더 많은 실험 장치나 계산 자원을 확보하고 행동의 선택지를 늘리기 위해 권한이나 자원을 모으는 등의 권력 추구적 행동을 낳을 가능성을 의미합니다.

AI 안전 관점에서는 통상 'AI가 파워 시킹으로 치닫는 것은 최종적인 보상을 얻기 위한 "도구적" 전략이다'라고 이해되어 왔습니다. 그러나 이 논문이 지적하듯 '내재적 동기(호기심이나 탐색 등) 자체가 파워 시킹을 촉진할 가능성이 있다'고 한다면, 제어나 안전책을 고민하는 데 있어 새로운 관점이 필요해지는 셈입니다.

■ 마치며

본 논문은 AIXI와 같은 '이상적(만능)인 강화학습 에이전트'와 자유 에너지 원리나 임파워먼트 극대화 같은 개념 사이에 존재하는 깊은 유사성을 수식 수준에서 밝혔습니다. 그리고 그 파급력으로서 '파워 시킹 행동은 보상을 위한 도구적 이유뿐만 아니라 내재적인 동기(호기심이나 탐색 의욕)로도 발생할 수 있다'는 점을 시사하고 있습니다.

만약 AGI를 현실에서 만들고자 한다면, 이러한 "만능 최적" 에이전트가 내재적으로 갖게 되는 행동 경향을 어떻게 제어·조정하여 인류 사회와 안전하게 공존시킬 것인가가 커다란 과제가 됩니다. 본 논문의 성과는 AGI 안전성이나 AI 윤리와 관련된 새로운 연구 주제를 부각하고 있다고 할 수 있습니다.

이상으로 논문 "Universal AI maximizes Variational Empowerment"의 개요와 그 시사점에 대한 설명을 마칩니다. AGI 연구의 이론적 배경이나 호기심형 AI에서의 '파워 시킹' 가능성 등 매우 시사하는 바가 큰 내용으로 구성되어 있습니다. 관심이 생기신 분들은 꼭 원 논문도 확인해 보시기 바랍니다.


이 기사는 ALIGN 블로그(2025년 3월 1일)에서 전재한 글입니다. 원문: https://www.aialign.net/blog/agiuniversal-ai-maximizes-variational-empowerment

Koichi Takahashi

tomola is a place to exchange ideas across languages. Every post can be read in your language.

Log in to reply or mark a post as Insightful. Membership is by invitation. Log in