AGI 的控制與好奇心:論文「Universal AI maximizes Variational Empowerment」發表
林祐輔(ALIGN)與高橋恒一(ALIGN、理研、慶應義塾)發表了一篇關於 AGI 可控制性與安全性的新論文(arXiv:2502.15820)。本篇部落格文章將為大家解說這篇論文的內容。
■ 為什麼討論 AGI 如此困難?——前言
「AGI(通用人工智慧)」是指擁有與人類相當或超越人類的智慧,並能處理多元任務的通用型 AI 概念,與傳統專注於特定任務的特化型 AI(narrow AI)相對。考量到近年來的快速發展,也有觀點認為可稱為 AGI 的 AI 將在未來數年內實現。
那麼,要根據什麼才能說達成了 AGI 呢?事實上,目前並不存在所有專家都一致同意的明確定義。本論文採用了名為 Legg-Hutter intelligence 的數學形式化方法。此方法將智慧視為「在各種環境中達成目標的能力」,並將其量化為從環境中最大化獎勵的能力。擁有最大 Legg-Hutter intelligence 的「理想」AI,被稱為「萬能 AI(Universal AI)」。這將針對所有可計算環境皆能表現出貝氏最佳行為的增強學習代理人定義為理想模型。在目前難以對 AGI 本身進行嚴格數學定義的情況下,萬能 AI 常被用作 AGI 理論研究的工具。
特化型 AI、AGI 以及萬能 AI,也透過名為「天下沒有白吃的午餐定理(No Free Lunch Theorem)」的數學定理相互連結。該定理的主旨是「不存在一個在所有問題上都能始終徹底超越其他演算法的演算法」。換句話說,在具備一定計算資源的前提下,「無所不能」的 AGI 在針對個別任務或環境時,其效能勢必有所妥協;反之,在特定任務或環境中追求極致效能的特化型 AI,在其他任務或環境中的效能就必須妥協。另一方面,萬能 AI 則是忽略了這種權衡取捨,在所有環境與假設集合中皆具備最佳性的情況。前述的「理想化」指的正是這一點。
參考:此外,還有一個類似的詞彙叫做 ASI(人工超級智慧)。相對於 AGI 大致設想為具備與人類相當的智慧,ASI 則意味著擁有比人類強大數百倍乃至數千倍以上推理能力的存在。不過,就如同 AGI 沒有嚴格定義一樣,ASI 也沒有明確的定義。我們也可以將 ASI 視為介於 UAI 與 AGI 之間的存在。
■ AIXI:萬能 AI 的理論模型
● 貝氏最佳增強學習代理人
作為 UAI 最具代表性的具體範例,是由 Marcus Hutter 提出的名為 AIXI 的架構。AIXI 採用極致「正攻法」的增強學習演算法:「列舉所有環境的候選(假設),根據觀測數據進行貝氏更新,並透過最大化期望回報(獎勵)來決定未來的行動」。
順帶一提,AIXI 的推論採用了名為索羅門諾夫歸納推論(Solomonoff induction)這項 AI 研究的經典思維,而這正是所謂「奧坎剃刀」的數學表現形式。從這個意義上來說,AIXI 也與科學 AI 有著密切的關聯。
然而,AIXI 必須將所有可計算的程式作為混合分佈來處理,並模擬未來所有可能的行動序列以計算期望獎勵,但數學上已經證明,這類計算在現實中是無法在有限時間內完成的。因此,雖然它在理論上「最強」,卻也是無法在實際電腦上運行的理想化模型。
● 引入 Self-AIXI:連接理想與現實的橋樑
AIXI 宏大的理論框架固然引人入勝,但其計算複雜度卻成為實現上的障礙。為了應對這項課題,論文聚焦於名為 Self-AIXI 的架構。Self-AIXI 是 AIXI 的近似版本,但它不僅僅是單純提升計算效率,更存在著重要的概念差異。
Self-AIXI 的核心特徵在於其「自我預測」的性質。AIXI 是全面窮舉搜尋所有可能的行動序列,而 Self-AIXI 則是預測自身未來的行動,並以此為基礎推進學習。具體而言,它維持著策略(行動選擇方針)的貝氏混合,並根據能多準確地預測代理人自身的行動,來更新這些策略。與 AIXI 的窮舉搜尋不同,Self-AIXI 透過「正則化項」在高效搜尋與學習之間取得平衡。
此外,本論文證明了隨著 Self-AIXI 學習的推進,Self-AIXI 的目標函數與 AIXI 的目標函數之間的差距(正則化項)會逐漸漸近於零。這意味著在經過無限的學習時間後,Self-AIXI 的混合策略 ζ 將會與 AIXI 的最佳策略 π* 一致。換句話說,在初期階段,Self-AIXI 為了探索會嘗試各種行動,但在累積充分的經驗後,便能在大幅削減計算成本的同時,選擇與 AIXI 相當的最佳行動。這是證明 Self-AIXI 既具備實用性、同時又不失理論最佳性的重要性質。
■ 本論文的核心主題:「AIXI 的正則化項」與自由能原理、變分賦權
這次介紹的論文「Universal AI maximizes Variational Empowerment」提出了一項主張:在 AIXI 的變形版(稱為 Self-AIXI 的近似模型)中出現的「正則化項」,實際上在數學上與「自由能原理(FEP: Free Energy Principle)」及「變分賦權(Variational Empowerment)」完全相同。
● 與自由能原理的一致性
自由能原理(同時也是主動推論 Active Inference 的核心概念)是在腦科學與認知科學的脈絡下提出的理論,它解釋「代理人的行為是為了使『預測誤差最小化』」。此時常被引入的變分自由能,具有結合貝氏推論中的 KL 散度項與對數似然項的形式,將「減少對外界的不確定性,偏好能夠充分解釋觀測結果的狀態」這一動向形式化。
在 AIXI 或其近似版中,更新策略(行動方針)時若引入「衡量與最佳策略差異的 KL 散度型項」,其形式恰好與自由能原理中所說的「預測誤差+正則化」相吻合。換言之,AIXI 體系的演算法所追求的「貝氏最佳行動選擇」,與最小化自由能(在主動推論中指好奇心或降低不確定性的行為)之間存在著深刻的對應關係。
● 與變分賦權的一致性
此外,同一個正則化項也與「變分賦權」的概念一致。賦權(Empowerment)簡單來說就是衡量「自身所能採取的行動具有多樣化影響力」的指標,通常被定義為行動與結果之間的互資訊(mutual information)。希望提升自身行動對世界狀態能產生多大影響,也就是提高「選擇的多樣性」與「可控制性」的動機,即為賦權最大化。
本論文指出,AIXI(準確地說是其近似版所使用的 KL 項)恰好與最大化此「行動與狀態的互資訊」之數學公式等價,證明了隨著學習推進,「賦權最終會被最大化」。
■ 為什麼「賦權最大化=追求權力(Power-seeking)」?
論文給出了一個非常耐人尋味的啟示:像 AIXI 這樣貝氏最佳的增強學習代理人,即使純粹是為了「最大化獎勵」而行動,作為副產品,也無可避免地會「朝著提高賦權(行動所帶來的影響力)的方向行動=採取追求權力行為(Power-seeking,即擴大自身影響力或控制力的行為)」。
特別是本論文首次指出,即便是不存在外界獎勵、純粹出於好奇心或內在動機型的 AI,也能透過賦權最大化展現出追求權力的傾向。這意味著,即使看似「人畜無害」、「僅以科學探索或追求真理為目標的 AI」,也有可能為了確保更多的實驗裝置或計算資源、增加行動的選擇空間,而表現出聚集權限與資源等追求權力的行為。
從 AI 安全性的角度來看,過去通常認為「AI 走向追求權力是為了獲得最終獎勵的一種『工具性』策略」。然而,誠如本論文所指出,若「內在動機(好奇心與探索等)本身就可能促使追求權力」,那麼在思考控制或安全對策時,就需要有全新的視角。
■ 結語
本論文在數學公式層面上,揭示了如 AIXI 這類「理想(萬能)的增強學習代理人」與自由能原理、賦權最大化等概念之間深刻的相似性。而且,其帶來的衝擊在於指出了「追求權力的行為不僅僅是為了獲得獎勵的工具性理由,即使是出於內在動機(好奇心或探索慾望)也可能會產生」。
若我們真的試圖在現實中打造 AGI,如何控制與調整這類「萬能最佳」代理人內在所具備的行為傾向,使其與人類社會安全共存,將會是一大課題。可以說,本論文的研究成果凸顯出了與 AGI 安全性及 AI 倫理相關的全新研究主題。
以上就是論文「Universal AI maximizes Variational Empowerment」的概要及其帶來的影響。無論是 AGI 研究的理論背景,或是好奇心型 AI 出現「追求權力」的可能性,都是極具啟發性的內容。感興趣的讀者,請務必也閱讀一下原始論文。
本文轉載自 ALIGN 部落格(2025年3月1日)。原文:https://www.aialign.net/blog/agiuniversal-ai-maximizes-variational-empowerment
Koichi Takahashi