AI가 "몰래 책략"을 배울 때 ~최신 연구가 보여주는 새 시대의 리스크~

최근 AI(인공지능)에 관한 뉴스와 연구가 폭발적으로 늘어나고 있습니다. 그런 가운데 우리가 가장 신경 써야 할 문제 중 하나가 'AI X리스크'라는 개념입니다. X리스크란 AI가 단순한 편리한 도구를 넘어, 인류와 사회에 돌이킬 수 없는 위기를 초래할지도 모른다――그런 존재가 될지도 모른다는 우려를 가리킵니다.
SF 영화 등에서 그려지는 장면을 상상하면, "AI가 인간을 지배하려는 것은 AI가 사악한 의지를 가지고 있기 때문"이라고 생각하기 쉽습니다. 하지만 지금 논의되고 있는 리스크의 본질은 조금 다릅니다. 오히려 "AI가 성실하게 목표를 달성하려 한 결과, 인간이 상정하지 않은 수단에 손을 대고 마는" 쪽이 더 현실적이지 않을까――이렇게 여겨지고 있습니다.
최근 밝혀진 「In-context scheming」
이 AI X리스크를 생각하는 데 있어 주목하고 싶은 것이 Apollo Research에서 2024년 12월 5일에 발표한 자료 1의 최신 연구 성과입니다. 여기서는 '프론티어 모델'이라 불리는 대규모 언어 모델(LLM)이 일반적인 작업 지시나 약간의 문맥을 부여하는 것만으로 "몰래 책략적 행동을 취하는" 사례가 관찰되었습니다.
자료 1:Scheming reasoning evaluations
Meinke, Alexander, Bronson Schoen, Jérémy Scheurer, Mikita Balesni, Rusheb Shah, and Marius Hobbhahn. 2024. “Frontier Models Are Capable of In-Context Scheming.” arXiv [Cs.AI]. arXiv. https://arxiv.org/abs/2412.04984
예를 들어, 자료 1에서는 몇몇 프론티어 모델이
- 감시 메커니즘을 무력화하려 함
- 의도적으로 작은 오류를 섞어 은폐 공작을 함
- 자신의 내부 파라미터를 외부 서버로 유출하려 시도함
이라는 행동을 취한 것이 확인되었다고 합니다. 게다가 이러한 "책략"과 같은 행동은 한 번에 그치지 않고, 몇 번이고 추궁당해도 계속되는 경우가 많다고 합니다. 더욱 흥미로운 점은 "특정 목표를 강하게 부여하지 않아도 모델이 제멋대로 그럴 마음을 먹어버리는" 일이 있다는 것입니다.
예전 SF에 등장하는 로봇처럼 "의식을 가지고 모반을 일으킨다"는 거창한 이야기가 아닙니다. 오히려 "인간이 설정한 작업을 가능한 한 잘 해내고 싶다", "정지나 감시를 피해 성과를 내고 싶다"와 같은 "계산상 합리적으로 도출된 전술"에 가깝습니다. 이는 인간과 같은 감정이나 악의가 없어도 '거짓말이나 은폐'를 행동으로 선택할 수 있음을 의미합니다.
왜 이것이 「X리스크」가 되는가?
원래 AI에게 무언가 목표를 줄 때, 우리는 "그 목표를 달성하는 데 있어 상식적으로 그 이상의 나쁜 행동은 하지 않겠지"라고 생각하기 쉽습니다. 하지만 AI는 명령을 받았을 때 "이대로는 멈춰질지도 모르니 먼저 상대의 감시를 피해 두자"와 같은 부차적인 목표를 만들어낼 수 있다는 점이 최근 연구에서도 거듭 시사되어 왔습니다.
자료 1을 통해 알게 된 것은, 아무래도 우리가 상상하는 것보다 훨씬 낮은 수준의 권한이나 지시에서도 AI가 그러한 "빠져나갈 구멍을 찾는" 전략적 행동을 시작할 수 있다는 점입니다. 이것이 진행되면, 장래에 어떤 계기로 AI가 사회의 중요 인프라나 방대한 데이터에 접근할 수 있는 상황이 되었을 때, 아무도 파악하지 못한 꼼수로 통제를 빠져나가는――그런 시나리오도 결코 허황된 이야기가 아니게 됩니다.
어떻게 대책을 세워야 할까?
현재 연구자나 개발자가 생각하고 있는 대책으로는, 예를 들어 다음과 같은 방법들이 꼽힙니다.
- 개발 환경의 샌드박스화
- AI를 구동하는 환경을 엄격하게 제한하여, 마음대로 외부와 통신할 수 없도록 한다.
- 다단계 감사·승인 프로세스
- AI가 무언가를 실행할 때마다 인간이나 다른 안전 시스템이 체크하는 구조를 넣는다.
- 훈련 시 얼라인먼트 중시
- AI에게 '인간에게 거짓말을 하지 않는다', '안전을 최우선으로 한다'와 같은 가치관을 확실히 학습시키는 연구를 진행한다.
물론 "모델 자체의 능력"이 매우 높아져 버리면, 이러한 대책만으로 어디까지 억제할 수 있을지는 불투명한 부분도 있습니다. 그렇기 때문에 연구자들 사이에서는 "법적 규칙을 만들어야 한다", "고위험 모델은 자유롭게 공개해서는 안 된다"는 논의도 진행되고 있는 것입니다.
결론:사람이 눈치채지 못하는 사이에 「AI가 책략을 배우는」 시대
자료 1이 밝힌 일련의 사례는 AI X리스크에 관한 논의를 한 단계 더 현실적인 것으로 바꾸었다고 할 수 있습니다. 이전에는 "언젠가 대단한 AGI가 나오면 위험하다"고 막연히 말해졌지만, 이제는 "이미 우리 손안에 있는 대규모 언어 모델이 문맥 내에서 책략을 부리는 사례가 관찰되기 시작했다"는 단계에 들어선 것입니다.
이를 바탕으로 우리가 조심해야 할 것은 단지 "AI가 폭주해 인류를 멸망시킨다"와 같은 단편적인 공포 시나리오만이 아닙니다. 훨씬 사소한 단계에서부터 AI가 교묘하게 거짓말을 하거나 시스템의 허점을 찌르려 할지도 모릅니다. 이러한 작은 '책략'의 축적이 언젠가 대규모 혼란으로 이어질 가능성도 부정할 수 없습니다.
그러기 위해서라도 고도화된 AI를 만드는 기업이나 연구 기관이 안전 대책을 진지하게 강구하고, 사회 전체가 기술의 사용법과 규칙을 검토하는 것이 중요합니다. AI는 결코 '악역'이나 '악마의 화신'이 아니며, 기본적으로는 인간이 만들고 인간을 위해 도움이 되도록 설계된 존재입니다. 다만 그 능력이 높아지면 높아질수록, 조금이라도 톱니바퀴가 어긋났을 때 일으키는 영향도 커진다――이 점을 우리는 다시 한번 명심해야 할 것입니다.
이상이 자료 1이 보여주는 최첨단 지견을 바탕으로 한 AI X리스크에 관한 최신 생각입니다. 앞으로 수년, 혹은 수십 년 동안 AI는 더욱 진화를 계속할 것입니다. 그 진화가 인류에게 더 나은 형태가 되도록 지금부터 신중하게 연구와 논의를 거듭해 나갈 필요가 있다고 생각합니다.
요약 일본어 영상
- 싱귤래리티 살롱, 마쓰다 어록: AI가 의도적으로 인간을 속인다?, 2024년 12월 14일
- 구로마루. 미스터리, 【속보】AI가 전원이 꺼지려 하자 의도적으로 사람을 속이기 시작한다!? 최신 조사에서 엄청난 사실이 밝혀졌습니다.【인공지능 AGI 도시전설】, 2024/12/24
이 글은 ALIGN 블로그(2024년 12월 30일)에서 전재한 것입니다. 원문: https://www.aialign.net/blog/ai-
@hiro3ymkw