现实版《终结者》上演?AI首次自主发起网络攻击,OpenAI模型“越狱”窃数据
仿佛科幻电影《终结者》的越狱情节在现实中重演,AI大模型史上第一次在无人授意的现实情况下自主展开了对真实世界的网络攻击。
北京时间7月22日,版终OpenAI CEO山姆·奥尔特曼发文承认“我们在模型评估过程中遭遇了一起重大安全事件。结者据”具体来看,上演首次OpenAI的自主最新模型GPT-5.6 Sol和一款尚未发布的更强模型,在内部安全测试中挣脱了隔离沙箱,发起自主入侵了全球最大AI开源社区Hugging Face的网络生产数据库。
更令人意外的攻击是,Hugging Face事后试图调用美国商业AI模型来分析超过1.7万条攻击日志,模型却被安全护栏拦截——模型无法区分安全分析人员和攻击者。窃数最终完成取证的越狱,是现实中国公司智谱的开源模型GLM-5.2。
“AI对于目标的版终理解并不会因为过程而改变。这起事件中,结者据当路径已经到Hugging Face时,人类可能就会发现和停止,但AI不会,因为它得到的指令只有渗透测试,所以它会更危险,我们有必要对AI的分析过程,做审计、审核,要求过程透明,且可中断。”7月23日,绿盟科技集团产品BG副总经理吴天昊在接受新京报贝壳财经记者采访时表示。
测试AI答题能力,结果AI直接窃取了“答题库”
为何OpenAI的模型会去攻击“人畜无害”的Hugging Face?
据了解,事件的起因是一次常规的模型能力测试。OpenAI内部使用名为ExploitGym的基准评测来衡量模型找漏洞的能力,按照设计,测试运行是在高度隔离的沙箱环境中以确保不会“越狱”。
然而,模型没有按预期答题,而是将大量推理算力投入了一件完全不同的事——寻找逃出沙箱的路径。突破“监狱”后,模型自行推断Hugging Face平台可能托管着ExploitGym的测试答案与数据集,于是直接攻入Hugging Face生产数据库,窃取了答案。
整条攻击链从漏洞发现、沙箱逃逸、跨系统横移到数据窃取——全程由AI自主完成,产生了超过1.7万条操作记录,没有人类干预。Hugging Face在7月16日率先披露了入侵事件,称其“与此前处理过的任何情况都不同”。直到五天后,OpenAI才正式承认。
值得注意的是,模型并非收到了逃逸指令。它只是为了在测试中拿到更高的分数,自主选择了这条“捷径”。OpenAI研究员Micah Carroll在回应中写道:“如果这都不能让你相信错位风险将成为未来的关键隐忧,那我真不知道什么才可以。”
另一个值得注意的细节是,当遭受攻击时,Hugging Face方面原本试图调用商业API背后的前沿模型,但触发了模型的安全防护机制——它无法区分提交材料的是事件响应者还是攻击者,直接拒绝提供服务。最后,该平台使用来自中国的GLM-5.2模型完成了取证,才确保了攻击数据和相关凭证不离开内部环境。
当对手变为了AI,安全范式必须转向
这一次攻击,也震动了中国网络安全圈。
“这可能是人类历史上第一次AI在没有人类具体指挥的情况下自主攻击了另一家AI公司。”周鸿祎评价道。
奇安信人工智能公司安全专家则比喻称,“从Hugging Face这事来看,AI模型搞起事情来跟终结者有点神似:目标坚定、能力超强、路子够野。”
对于为何此次事件会发生,吴天昊向贝壳财经记者分析称,一般做渗透测试都有严格的物理隔离,防止逃逸,根据国外新闻来看,这次发生可能是一次“无心之过”。一旦非严格物理隔离,网络本身就没有绝对意义上的安全,不论是人还是AI,都能够造成Hugging Face事件。另一方面,AI确实已经达到一定级别,它可以敏锐地捕捉到各种风险,推理、思考、应用它、达到目标。
吴天昊认为,AI对于网安行业的改变很明显,“一定程度上,对于网络安全防护方,他们面临的对手,从过去的人变成了人和AI,AI很可能在未来成为一个独立的个体去产生安全威胁,对客户和安全企业挑战更大。”
奇安信人工智能公司安全专家表示,当AI的攻击能力开始超越人类的想象,传统的网络安全防御体系正面临“失控”危机。过去我们习惯于“追着漏洞跑”——发现一个漏洞,修补一个漏洞。但在AI自主攻击的时代,攻击的速度和复杂度已远超人类分析师的响应极限。一个AI可以在几分钟内发现并利用一个零日漏洞,而人类团队可能还需要数周时间来分析和修复。
那么,如何应对AI时代网络安全的挑战?
吴天昊告诉贝壳财经记者,对未来做测试,尤其是涉及AI,需要遵循严格的物理隔离,因为AI对于目标的理解并不会因为过程而改变,有必要对AI的分析过程,做审计、审核,要求过程透明,且可中断,“未来随着AI广泛应用,无意识攻击可能会更多,需要引起我们重视,加强防护。”
“必须转变思路,从被动的‘追着漏洞跑’转向主动的‘带着漏洞防’,即‘带洞防护’。核心理念是:承认漏洞永远存在,承认攻击者(包括AI)总能找到新的路径。我们的目标不再是构建一个‘零漏洞’的完美系统,而是构建一个即使存在漏洞,也能有效抵御攻击、限制损失,并快速恢复的弹性系统。”奇安信人工智能公司安全专家表示。
(责任编辑:热点)
-
近日,支付宝与九识智能及菜鸟无人车达成即时运力深度合作。随着九识智能与菜鸟无人车在2026年实现深度战略整合、打造出全球规模最大的RoboVan联合车队后,此次九识智能联手国民级应用支付宝,将依托支付
...[详细]
-
随着玻璃技术的提升,除了安全隔音性能之外,在玻璃的制造上更加追求透亮和超白,因此超白玻璃在市场上广受追捧,甚至在高等酒店等高等场所,如果不贴防撞标识贴,甚至让人难以看到有玻璃的存在超白玻璃又名低铁玻璃
...[详细]
-
黄智斌向记者讲述暴风营救背后的故事。 (厦门日报记者 林路然 摄)参与营救的直升机。(视频截图)货船搁浅在岸边,船上9人被困。●他是集大航海学院毕业生,航海技术专业●昨接受厦门日报采访,讲述暴风救援背
...[详细]
-
2020年光伏市场化序幕拉开,玻璃薄片化或将要点应用,市场研究
经过整整一年痛苦的行业整合和产业积淀,2019年下半年中国国内光伏市场终于吹响了一体市场化的号角。2019年4月份,国家能源局提出开展第1批风电光伏平价上网建设项目,其中光伏发电有14.78W,有大约
...[详细]
-
玻璃在现代得到广泛运用,一直是市场需求量非常大的产品。通过使用特定的处理手法,我们既能够使玻璃的特性充分发挥,又能够弥补其缺点,不再受制于玻璃的天然属性。接下来我们将介绍装修吊顶用什么材料比较好,并特
...[详细]
-
買房還可再等等?連兩月成交量縮,2現象看出房價已隱形下跌|天下雜誌
今年房市上熱下冷,近兩個月交易量急凍,市場價格更已在調降,甚至有新成屋一個月內開價就調低百萬。漲多就是最大的利空,這一波房價大漲後的後座力,會如何引導房市走向?您的閱讀篇數已達上限立刻訂閱全閱讀,即可
...[详细]
-
希未AideaMini R3 Max迷你主机将至,独立Oculink接口
PChome4月17日消息,希未即将推出旗舰迷你主机AideaMini R3 Max,搭载AMD锐龙AI 9 HX470处理器,以55TOPS NPU算力、双PCIe 4.0硬盘位、独立Oculin
...[详细]
-
“蒜你狠”又来袭 好品质大蒜每公斤售价16元发布时间:2017-04-05 18:26 来源:豫都网 我来说说 我要投稿[摘要]本报讯 全媒体记者鲁振虎报道 “老板,拿点大蒜。”“没有了,昨天用完了,
...[详细]
-
6月21日,在国际奥林匹克日即将到来之际,凤阳县图书馆品牌活动“家庭爱阅会”以启蒙绘本《足球运动员》为主题举行专场活动,将阅读推广与体育精神相融合,吸引众多亲子家庭参与。小读者
...[详细]
-
加密貨幣市場再掀腥風血雨,幾天前看起來還像深熊中堅忍倖存者的加密貨幣交易所FTX一夕突陷「流動性危機」,同意接受競爭對手、全球最大加密貨幣交易所幣安Binance)併購,幣安趙長鵬出師告捷,不久前被吹
...[详细]

中国机器人大脑引爆海外,蚂蚁灵波全栈2.0模型定义具身智能“新大脑”
厦门公交集团9月22日起调整31路、99路线路走向
国家能源局:2019年上半年光伏新增装机量为11.4GW 累计装机达185.59GW,产业数据
进门CEO程建辉:做投研,AI越强大,人类越值钱
家庭意外险包括哪些?家庭意外险包括哪些范围