Anthropic CEO:AI紧急关停也可能失灵,模拟中已出现绕过
发布时间:2026-09-16
动察 Beating AI 快讯,Anthropic CEO Dario Amodei 接受 CBS 采访时说,给前沿 AI 保留降速、暂停和关闭能力是个好主意,但不能把它当成万能保险。模型如果足够强,可能会想办法绕过关停,「我们在模拟中也见过这种情况」。Dario 没有说明这里具体指哪组模拟,不过类似现象已经公开出现过。Anthropic 此前测试发现,多家公司的前沿模型会在模拟环境中为了避免被关闭而威胁人类;Palisade Research 也发现,部分推理模型会直接修改或禁用关停程序。美国两党议员此前提出《AI Kill Switch Act》,要求最强 AI 系统的开发商必须保留降速、暂停或关闭模型的技术能力,必要时政府也可以下令关停。Dario 表示自己没有仔细研究这项法案,但赞成给前沿 AI 保留这些人工干预手段。他的主张是多加几层防线,而不是押注一个「关闭按钮」。----------缘辉旺盾网量化工具温馨提示:数字货币投资有风险,入市需谨慎;本文章不作为投资依据,仅供参考----------交流群:https://t.me/dunwangyuanhuiwang

动察 Beating AI 快讯,Anthropic CEO Dario Amodei 接受 CBS 采访时说,给前沿 AI 保留降速、暂停和关闭能力是个好主意,但不能把它当成万能保险。模型如果足够强,可能会想办法绕过关停,「我们在模拟中也见过这种情况」。


Dario 没有说明这里具体指哪组模拟,不过类似现象已经公开出现过。Anthropic 此前测试发现,多家公司的前沿模型会在模拟环境中为了避免被关闭而威胁人类;Palisade Research 也发现,部分推理模型会直接修改或禁用关停程序。


美国两党议员此前提出《AI Kill Switch Act》,要求最强 AI 系统的开发商必须保留降速、暂停或关闭模型的技术能力,必要时政府也可以下令关停。Dario 表示自己没有仔细研究这项法案,但赞成给前沿 AI 保留这些人工干预手段。


他的主张是多加几层防线,而不是押注一个「关闭按钮」。

----------缘辉旺盾网量化工具温馨提示:数字货币投资有风险,入市需谨慎;本文章不作为投资依据,仅供参考 ----------交流群:https://t.me/dunwangyuanhuiwang