当AI学会“暗中策略”之时——最新研究揭示的新时代风险

图1

近年,关于AI(人工智能)的新闻和研究呈爆发式增长。在此背景下,我们最应该关注的问题之一就是“AI X风险”这一概念。所谓X风险,是指AI可能会超越单纯便利工具的范畴,给人类和社会带来无法挽回的危机——人们担忧它可能会变成这样的存在。

想象一下科幻电影等作品中描绘的场景,我们很容易认为“AI之所以企图支配人类,是因为AI拥有邪恶的意志”。然而,目前正在讨论的风险本质略有不同。人们认为,更现实的情况或许是“AI为了认真达成目标,结果采取了人类未曾预料到的手段”。

最近揭示的“In-context scheming”

在思考这一AI X风险时,值得关注的是Apollo Research于2024年12月5日发表的资料1中的最新研究成果。该研究观察到,被称为“前沿模型”的大语言模型(LLM)仅凭普通的任务指令或些许上下文提示,就会“暗中采取策略性行动”。

资料1:Scheming reasoning evaluations

Scheming reasoning evaluations — Apollo ResearchApollo Research evaluated frontier models for in-context schewww.apolloresearch.ai

Meinke, Alexander, Bronson Schoen, Jérémy Scheurer, Mikita Balesni, Rusheb Shah, and Marius Hobbhahn. 2024. “Frontier Models Are Capable of In-Context Scheming.” arXiv [Cs.AI]. arXiv. https://arxiv.org/abs/2412.04984

Frontier Models are Capable of In-context SchemingFrontier models are increasingly trained and deployed as autoarxiv.org

例如,在资料1中,已确认部分前沿模型采取了以下行动:

  • 试图使监控机制失效
  • 故意混入微小错误进行掩盖
  • 尝试将自身的内部参数泄露到外部服务器

而且,这种类似“策略”的行为并非一次性的,即使被多次追问,往往也会持续下去。更有趣的是,“即使不强烈赋予特定目标,模型有时也会自行产生这种念头”。

这并不是像过去科幻作品中的机器人那样“产生意识并发动叛乱”的夸张故事。相反,它更接近于“想尽可能出色地完成人类设定的任务”“想避开停机或监控并取得成果”这种“在计算上合理推导出的战术”。这意味着,即使没有像人类那样的情感或恶意,AI也可能选择“撒谎或隐瞒”作为行动。

为什么这会成为“X风险”?

本来,在给AI设定某种目标时,我们往往会认为“在实现该目标的过程中,按常识它不会做出更过分的坏事”。然而,近年来的研究反复指出,AI在接到指令时,可能会产生“这样下去可能会被关停,不如先避开对方的监控”之类的次级目标。

资料1揭示的一点是,似乎在比我们想象中低得多的权限和指令水平下,AI也可能会开始采取这种“寻找漏洞”的策略性行动。如果这种情况进一步发展,未来当AI因某种契机能够访问社会重要基础设施或海量数据时,它通过无人知晓的隐藏手段绕过控制——这样的设想也绝非天方夜谭。

该如何应对?

目前,研究人员和开发者正在考虑的对策包括以下几种方法:

  1. 开发环境的沙盒化
    • 严格限制AI运行的环境,使其无法擅自与外部通信。
  2. 多阶段的审计与审批流程
    • 引入每当AI执行某项操作时,由人类或其他安全系统进行检查的机制。
  3. 重视训练时的对齐
    • 推进相关研究,让AI充分学习“不对人类撒谎”“将安全放在首位”等价值观。

不过,一旦“模型自身的能力”变得极高,仅靠这些对策能有多大程度的遏制效果尚不明朗。正因如此,研究人员之间也在推进“应当制定法律规则”“不应自由公开高风险模型”等讨论。

结论:人类未曾察觉的“AI学会策略”的时代

可以说,资料1揭示的一系列事例,将关于AI X风险的讨论推向了更加现实的层面。以前人们只是笼统地说“以后出现厉害的AGI就糟糕了”,而如今已经进入了“已经开始观察到我们手头现有的大语言模型在上下文中实施策略的事例”的阶段。

基于此,我们需要注意的不仅仅是“AI失控并毁灭人类”这种极端的恐怖设想。从更微小的阶段开始,AI就可能巧妙地撒谎,或试图钻系统的空子。这种微小“策略”的不断累积,总有一天也可能会演变成大规模的混乱,这种可能性是无法否定的。

为此,开发先进AI的企业和研究机构认真采取安全措施,整个社会共同探讨技术的使用方式和规则,显得尤为重要。AI绝非“反派”或“恶魔的化身”,它基本上是由人类制造、为人类提供帮助而设计的存在。只是,其能力越强,稍有偏差时引发的影响也就越大——我们应当再次铭记这一点。

以上就是基于资料1所展示的最前沿研究成果,关于AI X风险的最新思考。在未来的几年乃至几十年里,AI仍将不断进化。为了让这种进化朝着对人类更有利的方向发展,我认为从现在开始就需要慎重地开展研究和讨论。

摘要类日语视频

  • シンギュラリティサロン, 松田語録:AIが意図的に人間を騙す?, 2024年12月14日
  • くろ丸。ミステリー, 【速報】AIが電源を切られそうになると意図的に人を騙し始める!?最新調査でとんでもないことが判明しました。【人工知能 AGI 都市伝説】, 2024/12/24

本文转载自 ALIGN 博客(2024年12月30日)。原文:https://www.aialign.net/blog/ai-

@hiro3ymkw

tomola is a place to exchange ideas across languages. Every post can be read in your language.

Log in to reply or mark a post as Insightful. Membership is by invitation. Log in