縮放競爭前端所見的AGI與局域化風險(AGI的理論、AGI與社會,以及日本的選擇:第 2 部分)

前言

當前 AI 的發展在很大程度上是由「縮放定律」(scaling laws)所解釋的。也就是說,隨著模型參數量、訓練資料量與運算資源(FLOPs)呈指數級擴張,性能也隨之提升,進而使過去被認為不可能的任務化為可能。在這條延長線上是否存在著「AGI(通用人工智慧)」,一直以來受到廣泛關注。

在上一次的第 1 部分中,我們介紹了近年來多項理論研究同時發表,指出 Transformer 架構模型可能漸近於所羅門諾夫歸納(Solomonoff Induction, SI),而在縮放競爭的延長線上,AGI 的輪廓正逐漸浮現。並且我們也討論到,若考慮到 AGI 實現時對社會帶來的巨大衝擊,若預設「當前技術競爭的延長線上不存在 AGI」這一強烈假設,將伴隨著相當高的風險。

因此,整個社會必須充分認識到「AGI 並非藉由突躍而來,而是有可能連續抵達」的這一情境。


本系列專欄共分為三篇,探討當代 AI 開發競爭與 AGI 具備連續性的可能性及其意涵,並從以下三個面向進行論述:

  • 第 1 部分:介紹近期指出 Transformer 架構模型可能漸近於所羅門諾夫歸納的學習理論研究,闡述 AI 與 AGI 的連續性可能比以往想像的更為緊密。
  • 第 2 部分(本篇):基於 AI 連續發展至 AGI 的可能性,探討美中巨頭企業主導的縮放競爭之意涵,以及邁向理想未來的策略性論點。
  • 第 3 部分:探討日本在研究與政策上應採取的路徑,並提出數項具體建議。

縮放與 AGI 的連續性

−應考量無需根本性突躍即可抵達 AGI 的可能性−

長久以來,始終有一種觀點認為實現 AGI 需要「根本上全新的演算法」或「未知的範式」。然而,理論研究的進展正在使這種看法相對化。目前以 Transformer 為基礎的學習演算法,若增加資料與算力,就有可能逼近所羅門諾夫歸納;如果真是如此,通往 AGI 的路徑便可被描述為「漸近」而非「突躍」。

就學術嚴謹性而言,這當然不是在斷言「必然會實現 AGI」。至多只能說「存在理論上的連續性」。然而,這一差異對社會具有重大意義。因為在目前尚不清楚實現 AGI 究竟還需要多少縮放的情況下,若疏於為未來可能實現的 AGI 預作準備,一旦 AGI 真的實現,將會造成無法挽回的落後。

以「抵達 AGI」情境為基準

風險評估的基本原則是:

研議的優先順序 = 發生機率 × 化為現實時的衝擊

若考慮到 AGI 技術一旦實現對社會極其廣泛且深遠的衝擊,即便實現機率存在相當程度的不確定性,將「無法抵達 AGI」作為主要情境的風險依然太高。

這種思維類似於應對氣候變遷的討論。即使暖化未如預測般劇烈,為了防範所進行的投資依然具有一定價值。相反地,若暖化迅速加劇卻毫無防備,社會將面臨重大危機。對於 AGI 亦是如此,在政策與制度設計中,將「抵達 AGI」作為主要情境之一來立論是合理的設想。退一步說,即使 AGI 最終未能實現,也僅代表某種設想中的災難類型並未顯現,並不意味著為此所做的準備毫無意義。

局域化風險與其替代情境

對於 AGI 等先進 AI 技術若被少數國家或實體寡占將帶來巨大風險,歷來已有許多學者專家敲響警鐘。

獨占者(Singleton)情境

在討論 AGI 或更進一步的超級智慧(ASI)時,「獨占者」(Singleton)是一個經常出現的概念,由牛津大學前教授尼克·波斯特洛姆(Nick Bostrom)提出。AGI 指的是能夠替代人類所有智力任務的技術。由於人類能進行的任務也包含改進 AI,因此 AGI 也能對自身進行改進。換言之,AI 一旦達到某種推理能力,此後便能在沒有人類協助的情況下,執行自我改進的循環來重新提升自己。所謂「獨占者」,即是指透過這種自我改進循環帶來的指數級性能提升,由單一實體(AI 或擁有該 AI 的組織)獨占了壓倒性智慧的狀態。波斯特洛姆主張,一旦陷入這種狀態,由於初期能力差距的指數級擴大,將難以扭轉寡占局勢(獲得「決定性戰略優勢 decisive strategic advantage」)。一旦獨占者出現,其行為將單方面決定整個地球的未來,因此被認為可能直接關係到人類的「生存風險」。

多極情境

波斯特洛姆等人雖從多個層面論述了獨占者情境的蓋然性,但這也可說是忽略了物理與社會制約的極限設想。如果獨占者並未出現,接下來可預想的便是「多極情境」。在多極情境中,多個實體(如國家或企業)寡占了 AGI/ASI 技術,並處於相互競爭的關係。即使實體有多個,但若數量依然有限,擁有 AGI/ASI 技術者與未擁有者之間將產生巨大的力量差距。此外,由於各 AGI/ASI 之間始終處於競爭狀態,這也被視為一種極易因 AI 技術而引發事故或災難的不穩定情境。

生態系情境

相較於這些未必令人滿意的情境,更理想的替代方案則是「生態系情境」。在此情境中,設想的不僅是多極化,而是形成了一個相互依存的 AI 網路。包含 AGI 在內的各種類型 AI 代理,與構成人類社會的個人、法人及其他主體相互連結,以複雜且自發的方式建構出相互依存、相互驗證、相互制衡、相互委派、相互稽核以及相互補足的關係,期望藉此發揮如同自然界生態系般的穩健性(robustness)。這也是日本研究人員基於東方思維所發展出的獨特構想。

生態系網路方法具有多項優勢。當某個 AI 試圖失控暴走時,其他節點可承擔驗證與控制的職責,從而維持人類社會與 AI 複合系統整體的穩定運作。此外,存在基於多元設計、資料與文化背景的 AI 模型,能降低單一缺陷波及整體的風險。它能透過相互稽核來確保透明度,並提供從多重視角檢驗決策與輸出合理性的機制。換言之,將 AI 作為生態系網路納入人類社會之中,從安全性與可靠性的觀點來看,可謂是一條更為理想的路徑。

補充說明:然而,單純建構出複雜的網路,並不代表能自動保證其對人類社會是有利的。究竟需要滿足哪些條件,才能讓人類社會與 AI 的複合系統穩定且健全地運作,從理論與數理上釐清這些條件,正是我們 AI對齊網路(AI Alignment Network)的核心研究主題之一。


關於這些情境的詳細說明與成立條件,已於以下論文中有深入探討:

未來機器智慧的相關情境與分歧點,人工智慧學會誌 Vol. 33 No. 6 (2018/11)


國際多極競爭的必要性

在現狀下,需要龐大資金與基礎設施的先進 AI 開發,高度集中於美中兩國的數家巨頭企業。這些企業以龐大的運算資源與海量訓練資料為後盾,主導著縮放競爭。儘管技術成果豐碩,但在國際分佈上卻極度不均衡。這種結構將使未來的局域化風險浮現,令人擔憂。

為了在 AGI 技術實現後提高整個人類社會的穩定性,有必要盡可能培育出僅次於美中的第三極、第四極等後續力量。若有多個國家與企業作為主要參與者存在,將更有可能把多極結構轉化為生態系網路型結構。此外,為了確保整體社會的強韌性(robustness)與反脆弱性,這些參與者擁有多元的文化與技術背景、確保價值觀的多樣性,也是至關重要的。

作為第三極、第四極之後的候選對象,日本、歐洲、印度及中東各國等備受期待。在這些候選對象中,日本尤其在技術基礎、研究人才與國際社會信任方面具備良好條件,被認為有能力透過大規模投資來承擔這項角色。

結語

理論研究指出「AGI 處於縮放競爭的連續延長線上」這項見解,為社會帶來了重大的前提轉變。若理解到 AGI 有可能透過「漸近」而非「突躍」來達成,準備工作的優先順序將會大幅改變。

也就是說,我們必須正視 AGI 技術被少數參與者寡占的危險性,同時推動建構多極且相互依存的網路型 AI,並促使更多國家積極投資,以培育出緊追美中之後的力量。

對日本而言,這個方向既能提升人類社會的穩定性,同時也符合維持其先進國家競爭力的行動方針。在接下來的第 3 部分中,我們將針對在當前的技術與國際局勢下,日本應當採取的行動及應落實的政策提出具體建議。

前往第 3 部分


本文轉載自 ALIGN 部落格(2025年10月10日)。原文:https://www.aialign.net/blog/transformer-agi-part2

Koichi Takahashi

tomola is a place to exchange ideas across languages. Every post can be read in your language.

Log in to reply or mark a post as Insightful. Membership is by invitation. Log in