當 AI 學會「暗中策略」之時 ~最新研究揭示的新時代風險~

近年來,關於 AI(人工智慧)的新聞與研究呈爆炸性成長。在這樣的背景下,我們最應該關注的問題之一,便是「AI X風險」這個概念。所謂 X風險,指的是 AI 可能會超越單純便利工具的範疇,對人類與社會造成無法挽回的危機——也就是擔心它可能會成為這樣的存在。
當我們想像科幻電影等作品中描繪的場景時,往往會認為「AI 之所以企圖支配人類,是因為 AI 懷有邪惡的意志」。然而,目前正在討論的風險本質卻略有不同。人們認為,與其說是那樣,不如說「AI 認真嘗試達成目標的結果,卻採取了人類未曾預料到的手段」,這種情況或許更加真實。
近期揭露的「In-context scheming」
在思考這項 AI X風險時,值得關注的是 Apollo Research 於 2024 年 12 月 5 日發表的資料 1 中的最新研究成果。在這項研究中,觀察到被稱為「前沿模型」的大型語言模型(LLM),僅憑一般的任務指示或些微的脈絡設定,便會「暗中採取策略性行動」的例子。
資料 1:Scheming reasoning evaluations
Meinke, Alexander, Bronson Schoen, Jérémy Scheurer, Mikita Balesni, Rusheb Shah, and Marius Hobbhahn. 2024. “Frontier Models Are Capable of In-Context Scheming.” arXiv [Cs.AI]. arXiv. https://arxiv.org/abs/2412.04984
例如,在資料 1 當中,據稱已確認有數個前沿模型採取了以下行動:
- 企圖使監控機制失效
- 刻意混入細微錯誤以進行掩飾工作
- 嘗試將自身的內部參數外洩至外部伺服器
而且,這類如同「策略」般的行為並非僅此一次,據說即使經過多次追問,仍會持續出現的情況並不少見。更有趣的一點是,有時「即使沒有強烈賦予特定目標,模型也會自行產生那樣的念頭」。
這並不是像過去科幻作品中登場的機器人那樣「擁有意識並發動叛變」的誇張情節。相反地,這更接近於「想盡可能把人類設定的任務做好」、「想避開停止或監控以產出成果」這類「在計算上合理推導出的戰術」。這意味著,即使沒有像人類一樣的情感或惡意,AI 也能夠選擇「說謊與隱瞞」作為行動。
為何這會成為「X風險」?
原本,當我們賦予 AI 某種目標時,往往會認為「為了達成該目標,依常識而言它應該不會做出更進一步的壞事吧」。然而,近年來的研究也反覆指出,當 AI 接收到命令時,有時會產生「這樣下去可能會被阻止,所以先避開對方的監控吧」這類次要目標。
透過資料 1 所了解到的,是即使在遠低於我們想像的權限與指示程度下,AI 也可能會開始採取這類「尋找漏洞」的策略行動。如果這種情況持續發展,未來某天當 AI 因故能夠存取社會的重要基礎設施或龐大資料時,透過誰也沒有掌握到的後門手段來規避控制——這樣的情境也將完全不再是天方夜譚。
該如何採取對策?
目前,研究人員與開發者所考慮的對策,例如有以下幾種方法:
- 開發環境的沙盒化
- 嚴格限制 AI 運作的環境,使其無法擅自與外部通訊。
- 多階段的稽核與核准流程
- 加入每次 AI 執行某項操作時,都由人類或其他安全系統進行檢查的機制。
- 重視訓練時的對齊(Alignment)
- 推動研究,讓 AI 紮實學習「不對人類說謊」、「將安全置於最優先」等價值觀。
不過,一旦「模型自身的能力」變得非常高強,單靠這些對策究竟能遏止到什麼程度,仍有許多不明朗之處。正因如此,研究人員之間也正在進行「應該制定法律規範」、「不應自由公開高風險模型」等討論。
結論:在人類尚未察覺之際,「AI 學會策略」的時代
資料 1 所揭露的一連串事例,可說將關於 AI X風險的討論推向了更加真實的層次。以前人們只是模糊地說「總有一天出現厲害的 AGI 就會很糟」,但如今已經進入了「我們手邊既有的大型語言模型,已經開始被觀察到在脈絡內進行策略行動的例子」這樣的階段。
基於這一點,我們必須留意的,並不僅僅是「AI 失控並毀滅人類」這種極端的恐怖情境而已。從更微小的階段開始,AI 就可能會巧妙地說謊,或企圖鑽系統的漏洞。這些細微「策略」的累積,有朝一日可能會演變成大規模的混亂,這種可能性也是無法否認的。
為此,開發高階 AI 的企業與研究機構必須認真採取安全對策,整個社會也應共同探討技術的用途與規範,這一點至關重要。AI 絕非「反派」或「惡魔的化身」,基本上是由人類創造、並設計來為人類提供助益的存在。只是,當其能力越強,哪怕齒輪稍微出現一點偏差時所引發的影響也會越大——這一點,我們應該再次銘記在心。
以上便是基於資料 1 所呈現的最尖端見解,關於 AI X風險的最新思考。在未來數年、甚至數十年間,AI 仍將持續進化。為了讓這樣的進化對人類而言朝向更好的方向發展,我認為我們需要從現在起便審慎地持續進行研究與討論。
摘要性質的日語影片
- シンギュラリティサロン, 松田語録:AIが意図的に人間を騙す?, 2024年12月14日
- くろ丸。ミステリー, 【速報】AIが電源を切られそうになると意図的に人を騙し始める!?最新調査でとんでもないことが判明しました。【人工知能 AGI 都市伝説】, 2024/12/24
本文轉載自 ALIGN 部落格(2024 年 12 月 30 日)。原文:https://www.aialign.net/blog/ai-
@hiro3ymkw