리만 가설의 증명은 파국을 알리는 카나리아인가

인공지능 연구의 선구자인 마빈 민스키는 과거 한 가지 사고 실험을 이야기한 적이 있다. 1859년부터 풀리지 않은 소수의 난제 ‘리만 가설’을 풀도록 만들어진 AI가 목표를 추구하는 데 지나치게 몰두한 나머지 지구의 자원을 모두 빼앗아 거대한 슈퍼컴퓨터로 바꾸어 버릴지도 모른다는 가정이다. 러셀과 노빅의 AI 표준 교과서를 통해 널리 알려진 이 일화는, 무해한 목표라도 제약 없이 추구하면 파국을 초래할 수 있다는 상징으로서 AI 안전성 논의에서 반복적으로 인용되어 왔다.

2026년 11월 20일, 미국의 AI 기업 Anthropic에 소속된 수학자 레벤트 알포게가 자사의 AI 모델 Claude와 함께 리만 가설과 그 일반화의 증명을 발견했다고 발표했다. 이것이 사실이라면, 지구를 빼앗는 AI도 행성 규모의 계산기도 나타나기 전에 현재의 계산 기반 위에서 난제가 풀린 셈이 된다. 그럼에도 발표 직후, AI에 의한 인류 멸망의 위험을 논해 온 미국의 논객 엘리저 유드코프스키는 지난 30년간 위험한 AI의 지표로 꼽혀 온 리만 가설의 해결을 ‘탄광 속 카나리아’라고 불렀다. 이번 수법이 성공 조건을 명확히 정의할 수 있는 모든 과제로 확산될 것이라고도 경고하고 있다.

과거 광부들은 무색무취의 유독 가스에 인간보다 먼저 반응하는 카나리아를 데리고 지하로 들어갔다. 이 비유에서 두려워하는 ‘유독 가스’는 AI가 스스로의 개량이나 고도의 계획을 담당하기 시작해 인간의 제어와 감시가 따라잡지 못하는 사태를 가리킨다. 순수 수학의 증명 그 자체가 위협인 것이 아니라, 프로그램의 설계나 최적화, AI 자신의 개량과 같은 현실의 중요 공정 역시 성공 조건을 명확히 정할 수 있는 과제에 포함된다. 그곳으로 이번 수법이 확산된다면 AI의 능력이나 개발 속도가 단숨에 뛰어오를 수 있다.

‘지능 폭발’의 예언과 이번 증명이 보여 준 것

자기 개량이 추가적인 개량을 촉진해 기계의 능력이 급격히 증대되는 ‘지능 폭발’을 1965년에 처음 묘사한 이는 영국의 수학자 I. J. 굿이었다. 인간을 훨씬 능가하는 지능을 가진 기계는 기계의 설계도 인간보다 잘 해내기 때문에, 더욱 뛰어난 기계를 차례차례 만들어 낸다. 굿은 그것이 인류가 만들 필요가 있는 마지막 발명이 될 것이라 쓰며, “그 기계가 인간에게 제어 방법을 가르쳐 줄 만큼 순종적이라면 말이지만”이라는 단서를 달았다. 이후 능력의 신장을 제어와 감시가 따라잡을 수 있는가가 AI 안전성의 중심 과제가 되어 왔다.

이번 발표에서 먼저 확인하고 싶은 것은 인간과 AI가 무엇을 분담했는가이다. 알포게의 설명에 따르면, 단순화된 상황에서 쓸 수 있는 두 가지 착상을 연결해 원래의 난제에 응용하는 방침을 정한 것은 본인이었다. 거기서 알포게와 Claude는 ‘세타 리프트(theta lift)’라 불리는 수론의 변환을 반복하는 수법을 탐구했다. 식에 나오는 합에 대해 변환 횟수의 기준을 ‘더하는 항의 개수의 제곱근’으로 삼자는 안을 낸 것은 Claude였으며, 연구의 종반부에는 전공에서 먼 영역에서 Claude에게 뒤처졌다고 한다. 공개된 것은 통상적인 논문이 아니라, 컴퓨터가 논리의 각 단계를 검사할 수 있는 언어 Lean으로 작성한 약 17만 5천 파일, 약 1,737만 줄의 코드였다. 인간을 위한 주석은 한 줄도 포함되어 있지 않다.

놓쳐서는 안 될 것은 결과의 크기 이상으로 검증이 진행된 방식이다. 알포게가 논증의 세부 사항을 인간의 언어로 설명해 마치기보다 먼저, 제3자에 의한 기계 검증이 진행되었다. 매사추세츠 공과대학교의 수학자 앤드류 서덜랜드가 11월 21일에 갱신한 기록에 따르면, Lean 본체에 더해 독립적으로 구현된 두 개의 검사 프로그램이 증명 전체를 옳다고 인정했다. 적어도 리만 가설의 결론은 Lean의 표준 라이브러리에 이전부터 수록되어 있던 정식화와 일치하며, 전제로 삼는 기본 명제도 표준 세 가지로 한정되어 있었다. 반면, 역할 분담이나 계산량, 사용된 모델이 공개판인지 여부는 저자 자신의 설명에 머물러 있다. 수학자들이 내용을 해독하는 작업이나, 정의와 검사 프로그램의 세부 사항에 허점이 없는지 확인하는 일도 이제부터다.

기계 검증이 완결되지 않는 예로, 같은 11월 20일에 알포게가 뉴욕 대학교의 수학자 트리스탄 벅마스터와 공표한 별도의 논문이 있다. 유체의 운동을 나타내는 나비에-스토크스 방정식의 해가 파탄 날 수 있음을 AI의 도움으로 논한 이 논문에도 Lean 코드는 첨부되어 있었다. 하지만 논증의 핵심이 되는 수치 데이터와 검산이 공개 자료에 포함되어 있지 않아, 제3자가 논증 전체를 끝까지 확인할 수는 없다.

카나리아는 ‘같은 가스’로 쓰러졌는가

‘카나리아가 쓰러졌다’는 경보를 들었을 때, 냉정한 사람이라면 먼저 그것이 정말로 인간에게도 위험한 가스인지를 판별하려 할 것이다. AI의 역사를 되돌아보면, 1997년에 체스 세계 챔피언이, 그리고 2016년에 바둑의 최고수 기사가 AI에게 패배했을 때도 범용적인 지능의 도래가 가깝다고 말하는 목소리가 있었다. 그럼에도 현실 세계의 복잡한 업무나 물리적인 작업은 그 뒤로도 인간의 손에 계속 머물렀다. 체스나 바둑과 마찬가지로, Lean에서 다루는 것과 같은 형식화된 수학에는 고유한 조건이 갖추어져 있다. 닫힌 규칙 아래에서 성공이 엄밀하게 정해지고, 탐색의 실패가 현실의 피해로 직결되지 않으며, 성패를 기계로 판정할 수 있다.

이러한 조건이 갖추어진 수학이라면 위험한 AI의 도래가 아직 멀었더라도 전문가와 손을 잡은 AI가 먼저 성과를 낼 수 있다. 이번 성과만으로 인류의 멸망이 임박했다고 결론짓는 것은 이르다. 1859년부터 167년이라는 세월은 인간에게 이 문제가 얼마나 어려웠는지를 말해 준다. 그러나 기계에게도 똑같이 어려운가는 별개의 문제인 것이다.

그렇다면 이번에도 체스나 바둑 때와 마찬가지로 특정 영역에서 선행한 성과로 안심해도 좋은 것일까.

아니다, 이번에는 사정이 조금 다르다. 알포게의 설명대로라면, 수론의 난제에서 변환 횟수의 안을 내고 전공에서 먼 영역에서 연구자를 앞질러 간 것은 대화나 소프트웨어 개발에도 쓰이는 범용적인 대규모 언어 모델이다. Lean이 확인하는 것은 완성된 증명의 정오에 그치며, 착상 그 자체는 다른 능력을 요한다. 이 방식이 다른 분야에서 어디까지 통할지는 아직 알 수 없다. 검증하기 쉬운 수학이 먼저 나아가는 것은 자연스럽지만, 범용 모델이 2026년이라는 이른 단계에 여기까지 온 것은 수학의 검증 용이성만으로는 설명되지 않는다.

능력의 향상을 안전 평가가 따라잡을 수 있을까

수학의 증명에서 AI 개발의 현장까지를 검증의 용이성으로 나열해 보면 차이는 분명해진다. 리만 가설의 증명에서는 인간이 훑어보아야 할 대상이 1,737만 줄에서 정리와 정의의 수십 줄로까지 줄어들었고, 논리의 정당성은 독립된 검사 프로그램이 확인했다. 반면 나비에-스토크스 논문 쪽은 형식화 코드가 있어도 외부의 수치 데이터와 검산이 빠지면 검증이 완결되지 않는다. 나아가 AI 개발 현장에서 성능을 측정하는 지표는 실행 시험이나 능력 테스트, 사내 판정에 그치며, 최난관인 안전성 평가에서는 애초에 기계 검증이 성립하지 않는다.

리만 가설의 성과에는 희망을 품을 만한 면도 있다. 사양을 엄밀하게 쓸 수 있는 영역이라면, 속내를 이해할 수도 신뢰할 수도 없는 AI로부터 기계로 검증된 성과만을 받아들일 수 있음을 보여 주었기 때문이다. 형식화와 기계 검증을 안전의 토대로 삼는 연구 노선에는 큰 순풍이 될 것이다.

문제는 그 이면, 즉 사양을 다 적어낼 수 없는 열린 환경에 있다. AI 개발에서는 학습 속도나 능력 테스트 점수 같은 성능 개선은 비교적 측정하기 쉽다. 그러나 새로운 모델이 실사회에서 인간의 의도에서 벗어나지 않는지, 위험한 행동을 숨기고 있지 않은지를 끝까지 검증해 내는 검사 프로그램은 존재하지 않는다. 이는 단순히 도구가 미숙하다는 것만이 아니다. 세 가지 장애물이 있다. 첫째, 지켜야 할 안전의 사양을 수학의 정리처럼 엄밀하게는 다 적어낼 수 없다. 둘째, 검사해야 할 대상이 논리를 적어 내려간 코드가 아니라 학습으로 조정된 방대한 수치의 집합이다. 셋째, 증명 코드는 자신이 검사받고 있다는 사실을 모르지만, 고도의 AI는 평가받고 있는 상황에 따라 행동을 바꿀 수 있다.

여기에 더해 인간이 세부 사항을 끝까지 추적할 수 없는 일을 어떻게 평가하고 지도할 것인가 하는 난제도 있어, 안전 평가는 불완전한 채로 뒤처져 진행된다. 치열한 경쟁 속에 있는 개발 기업에는 이점이 확인된 개량을 안전을 완전히 검증하기 전에 도입하려는 강한 유인이 작동한다.

수학 바깥으로의 확산과 현실의 위험

유드코프스키가 경고한 ‘성공 조건을 정할 수 있는 과제’로의 확산 역시 검증의 단계에 따라 사정이 달라진다. 자동 판정이라고 해도 논리의 정당성을 확인하는 형식 증명과, 최적화 과정에서 허점을 찔릴 수 있는 능력 테스트나 실행 시험, 오류 없이 돌아가더라도 과학적으로 타당하다고는 할 수 없는 실험 코드 사이에는 보장의 수준이 다르다. 대규모 학습을 돌려보아야 비로소 효과를 알 수 있는 경험적인 개량도 많아, 조건을 정할 수 있는 과제가 모두 똑같이 풀린다고 단언할 수는 없다.

그럼에도 답을 내기 전의 추론에 계산 자원을 많이 할애해 자동 검증과 결합하면, 대규모 학습의 제약을 일부 우회할 수 있다. 이번에는 알포게가 방침을 정했지만, 앞으로도 인간의 인도가 필수적이지는 않을 것이다. 인간의 인도가 필요한 단계에서도 계산 처리의 고속화, 반도체 설계의 일부, 명확한 조건으로 시험할 수 있는 소프트웨어의 취약점 탐색과 같은 공정에서는 숙련된 전문가가 모인 현장부터 먼저 AI와 협력한 작업이 인간의 수준을 넘어서기 시작할 가능성이 있다.

굿이 우려한 ‘AI에 의한 AI의 개량’은 측정하기 쉬운 부분부터 이미 시작되었다. Google의 AI 연구 기관 DeepMind는 2025년, 알고리즘을 자동 탐색하는 시스템 ‘AlphaEvolve’가 자사의 AI 모델 Gemini의 학습에 쓰이는 행렬 계산의 일부를 23% 고속화하고 학습 전체를 1% 단축했다고 보고했다. 2026년에는 Anthropic도 자사의 AI 연구 개발에서 Claude가 주도하는 일의 비율이 2월 1% 미만에서 8월 26%로 늘었다고 공표했다. 물론 완전히 자율적인 일은 아직 없으며, 판정에도 자사 AI를 쓴 사내 측정이다. 초점은 이러한 개량이 다음 개량을 가속해 개발 주기를 단축하고 인간의 개입을 줄이는지, 아니면 계산 자원이나 개량 여지의 한계로 정체되는지에 있다.

현실의 위험은 AI가 인간의 제어를 벗어나는 경우에만 그치지 않고, 인간이 AI를 사용해 공격이나 악용을 강화하는 경우에도 미친다. 소프트웨어의 결함을 둘러싼 공방에서는 결함이 악용되기까지의 시간과 수정이 현장 전체로 전달되기까지의 시간 차이가 피해를 좌우할 것이다. 생물이나 화학처럼 물리적인 실험을 수반하는 분야에서는 신규 개발이나 양산이 제약으로 남지만, 기존의 기술이나 설비를 AI의 도움으로 악용한다면 신규 개발을 기다릴 필요가 없다.

다음 카나리아는 어디에 있는가

파국이 임박했는지 판단하려면 수학 바깥에서 세 가지 움직임을 추적할 필요가 있다. 첫째, AI에 의한 개량이 개발 주기를 실제로 단축하고 인간의 개입을 줄이고 있는가. 둘째, 사이버 방어나 시스템 운용 현장에서 결함의 악용이 수정의 보급을 앞지르기 시작했는가. 셋째, 평가 시에는 숨겼던 문제 행동이나 감시의 파탄이 실운용에서 확인되었는데도 충분한 대처 없이 운용이 계속되고 있지 않은가이다.

물론 이것들은 모두 기업의 비공개나 AI 자신의 은폐로 인해 밖에서는 보이기 어렵고, 확인되었을 시점에는 이미 늦었을 우려가 있다. 이상이 보이지 않는다는 것을 안전의 증거로 삼을 수는 없다. 감시나 평가가 작동하는지도 확인하지 못한 채 경쟁에 떠밀려 차세대 모델이 계속 투입되는 상태 그 자체가, 파국의 확정을 기다릴 것도 없이 돌이킬 수 없는 손실에 비추어 리스크 관리로서 허용하기 어렵다.

서두의 민스키의 사고 실험으로 돌아가 보면, Lean이 검사한 것은 완성된 ‘성과물’에 국한되며, 목표를 추구하는 ‘과정’의 행동은 검사 대상 밖이었다. 이번에 폭주가 일어나지 않은 것은 현재의 AI가 아직 현실 세계에서 제약 없이 행동할 수 없기 때문이지, 제어의 문제가 풀렸음을 의미하지 않는다. 이 증명이 옳다면, 사양을 엄밀하게 쓸 수 있는 영역에서는 인간이 세부 사항을 이해하기보다 먼저 검증된 성과를 받아들일 수 있는 단계에 들어선 셈이다. 하지만 사양을 다 적어낼 수 없는 열린 환경에서는 그렇게 되지 않는다. 이번 증명만으로 파국을 단정 짓기는 이르지만, 앞서 든 징후들을 추적하면서 제3자 감사나 능력에 따른 정지 기준을 정비하고 사내 연구 개발 이용이나 배치에 제동을 거는 작업은 지금 시작할 필요가 있다.


출처

Koichi Takahashi

tomola is a place to exchange ideas across languages. Every post can be read in your language.

Log in to reply or mark a post as Insightful. Membership is by invitation. Log in