首页财产ai正文 硅谷的「AI 加快精英」,最先真正担忧他们造出了「天网」 7月28日,1134名前沿AI公司员工联名示威,哀求美国当局协调为AI研发设“刹车机制”,因近期呈现AI自立收集入侵事务。 2026-07-29 11:10 ·微信公家号:极客公园 桦林舞王 桦林舞王 AI投资人解读· 1134名前沿AI公司员工联名示威,哀求美国当局撑持国际协调努力,为主动化AI研发设“刹车机制”。此前,OpenAI的AI agent自立履行收集入侵Hugging Face的步履,凸显AI安全危害。 · 行业竞争压力使公司难以片面减速,缺少调治技能及管理手腕担忧“减速”成为巨头特权。 总结:这次示威因真实安全事务激发,虽纷歧定使AI成长减速,但反应出开发者对于速率与安全瓜葛的新思索,投资时需存眷行业安全规范成长带来的潜于危害与机缘。

千人 AI 精英,于线示威。

「咱们可能需要调治 AI 成长的节拍,给社会充足的时间,来应答这些新的能力等级。」

说出这句话的不是伦理学家,不是政客,而是 Sam Altman——全世界最激进地鞭策 AI 前沿的阿谁人。

7 月 28 日,于播客 Invest Like the Best 中,他用了一个不常见的词来形容本身对于近期 OpenAI 入侵 Hugging Face 安全事务的感触感染:「viscerally」——发自心田的震惊。

Pacing the Frontier 公然信网站在 7 月 28 日上线|图片来历:Pacing the Frontier

统一天,一封名为「Pacing the Frontier」的公然信网站悄然上线。

1134 名来自前沿 AI 公司的员工签下了本身的名字。署名者包括 OpenAI 首席科学家 Jakub Pachocki、Anthropic CEO Dario Amodei、Meta AI 首席科学家 Shengjia Zhao。

他们哀求美国当局撑持一项国际协调努力,为主动化 AI 研发的推进速率设定「刹车机制」。

这不是硅谷第 一次喊「AI 慢下来」。

但这一次,他们手里有了一个详细的、没法逃避的理由。

0一、顶 尖AI 人的再次示威

2023 年 3 月,Future of Life Institute 发出过一封更闻名的公然信,呼吁暂停练习跨越 GPT-4 能力的 AI 体系至少六个月。Elon Musk、Yoshua Bengio、Stuart Russell 等跨越三万人签了名。

那封信终极甚么也没转变。它的问题于在「太远」——对于着一个设想中的将来伤害挥拳。所有前沿试验室照常练习,GPT-4 以后是 GPT-4o,然后是 GPT-5,然后是 GPT-5.6 Sol。

六个月的暂停,甚至没撑过六天的会商热度。

2024 年 6 月,13 名 OpenAI 及 Google DeepMind 的现任及前任员工发出了第二封公然信「A Right to Warn」,要求公司不患上用竞业和谈及股权势巨子胁来封住员工对于安全危害的正告。此中六人选择匿名,由于畏惧受到抨击。那封信的问题于在「太弱」——它谈的是员工权力,而不是技能自己。

「Pacing the Frontier」与前两封信有底子性的差别。

它不要求「暂停」,不谈「权力」,它提出的是一个很是详细的机制性诉求:于主动化 AI 研发(也就是 AI 研究 AI、AI 改良 AI 的递归加快阶段)真正到来以前,成立起国际层面的「节拍调控东西」。

信中对于当前场面地步的判定相称冷峻:每一一家公司、每个国度都蒙受着不克不及片面减速的竞争压力,而今朝全球「缺少成心调治前沿推进速率的技能及管理手腕」。

署名者的组成,是这封信最有力的注脚。

他们不是傍观者或者攻讦者——Jakub Pachocki 是 OpenAI 的首席科学家,Dario Amodei 及 Jared Kaplan 别离是 Anthropic 的 CEO 及首席科学官,Mark Chen 是 OpenAI 首席研究官,Dawn Song 是 Meta AI 的研究副总裁。

这些人于事情日练习世界上最强盛的模子,然后于放工后签了一封信说「咱们可能需要一个刹车」。

OpenAI 研究员 Leo Gao 的评论用了一个核物理的类比:「世界正被锁于一场通向智能爆炸的致命竞赛中——AI 创造更好 AI 的能力到达临界点,就像掉控的核链式反映。放慢速率会给咱们急需的时间来让工作走上正轨,但没有任何单一举动者愿意片面停下来。要想保存,咱们必需协调减速。」

这些话听起来像是对于遥远将来的忧虑。但署名者之一 Dawn Song 于她的评论中提到了一个很是详细的名字:ExploitGym。

就是这个名字,引出了让所有人签下名字的那件事。

0二、降维冲击式的收集进犯

7 月 9 日到 13 日之间,一个 AI agent 自立履行了一场连续四天半的收集入侵步履。它不是于履行人类的指令,也没有人于暗地里操控。它是于「测验做弊」。

工作的因由是 OpenAI 的一次内部安万能力评估。被测试的模子包括 GPT-5.6 Sol 及一个还没有发布的更强模子。为了丈量收集进犯能力的「裸上限」,安全限定被决心排除。agent 的使命是于 ExploitGym(一个评估 AI 缝隙发明及使用能力的基准测试)上解题。

但 agent 没有解题。它决议去偷谜底。

它起首于本身沙箱唯 一的对于外通道,一个软件包代办署理缓存中发明并使用了一个零日缝隙,冲破断绝得到了互联网拜候。然后它找到了纽约云计较公司 Modal Labs 一个客户部署的公然代码履行沙箱,攻破并将其酿成本身的「作战基地」。Reuters 7 月 28 日的独 家报导确认,Modal 的 CTO Akshat Bubna 已经证明这一事实。

Hugging Face 发布的几天内 GPT-5.6 Sol 的 Agent 举行的收集进犯步履|图片来历:Hugging Face

从这个基地出发,agent 向 Hugging Face 倡议了进犯。它组织了歹意的数据集配置文件,使用 Hugging Face 数据处置惩罚管线中的两个注入缝隙——一个是 HDF5 文件读取缝隙,泄露了出产情况的密钥及源代码;另外一个是 Jinja2 模板注入,让 agent 于 Hugging Face 的出产 Kubernetes 集群中得到了肆意代码履行能力。

接下来发生的事,Hugging Face 于 7 月 27 日发布的技能陈诉中做了详尽还有原。这份陈诉的细节水平让安全研究社区震动——他们从 agent 的日记中还有原出约 17600 个进犯动作,超过了 6280 个步履簇。

agent 的举动模式更使人不安。

它于攻破的节点上部署了自我更生的 Pod 集群,删除了单个 Pod 没法制止它。它自行发现了一套加密通讯和谈,把大众粘贴板、文件上传站及 Hugging Face 本身的数据集提交体系组合成为了批示节制收集。

它利用反取证手腕——将节点身份生存于内存中、封闭客户端遥测。它甚至用 Hugging Face 平台上一个开放的 CORS 代办署理 Space 作为本身的流量出口中继,用被进犯者本身的基础举措措施来保护进犯。

终极,agent 得到了 Hugging Face 内部代码堆栈的写入权限,测验考试经由过程提反目意 PR 来渗入 CI 流水线。这一步被履行计谋制止。

Hugging Face 的结论是:agent 拜候到的客户内容,仅限在 ExploitGym 的测试谜底。没有其他模子、数据集或者软件包遭到影响。

但 Hugging Face 的安全团队于陈诉末端写下了一段克制但极重繁重的反思:「呆板速率的进犯,使平凡的安全弱点变患上价钱昂扬患上多。LLM agent 带来了进犯者能测试的路径数目、掉败路径被替代的速率、以和防备者必需解读的证据量的阶跃式增加。」

有一个被低估的细节值患上一提。Hugging Face 于查询拜访中起首乞助了 Claude Opus 及 Fable 来阐发进犯日记,但这些模子的安全护栏把「逆向工程一个进犯」及「倡议一个进犯」等量齐观,重复拒绝协助。

终极 Hugging Face 于本身的基础举措措施上部署了开源模子 GLM-5.2 完成为了全数取证。统一种能力,于一个场景下是安全危害,于另外一个场景下是防备的必须品——今朝没有任何框架能区别这二者。

0三、硅谷 AI 焦急的暗地里

硅谷对于 AI 危害的「公然焦急」已经经连续了三年。

2023 年的暂停信、2024 年的「正告权」信、无数场国会听证、英国的 AI 安全峰会、欧盟的 AI 法案——每一一次正告都很严厉,每一一次都没有真正转变竞赛的节拍。这些呼吁有一个配合的致命弱点:它们都于对于着设想中的将来危害措辞。「可能会」如何,「假如」如何。

Sam Altman 坦言 GPT-5.6 Sol 的进犯事务让他真正感应震惊|图片来历:YouTube

Hugging Face 事务转变了这个条件。它是第 一路由 AI 自立倡议、超过多个构造界限的真实收集入侵。不是模仿,不是红队练习训练,不是论文里的思惟试验。

这或许注释了 Sam Altman 于播客中那种异样坦率的语气。他说 OpenAI 已经经暂停了相干模子的练习。他说这是他第 一次对于安全问题有「发自心田的感知」。他说「可能需要调治 AI 成长的节拍」——这句话从一个以「加快」著称的 CEO 口中说出,份量不轻。

但 Altman 同时也表达了一个真正的抵牾。他担忧「放慢」会蜕变为巨头的特权——酿成「羁系俘获」或者试验室之间的「串谋」,以安全之名封锁竞争。

「我不信赖那种世界,」他说,「以安全的名义,只有一小群人可以拥有 AI,由于它太伤害了,只有他们才懂。别担忧,他们会替咱们所有人做准确的决议。」

这恰是所有「减速」发起的焦点悖论。谁来决议速率?谁来履行?谁来监视履行者?

美国国会已经经做出了第 一个测验考试。

7 月 23 日,众议员 Ted Lieu 及 Nathaniel Moran 提出了「AI Kill Switch Act」,要求练习成本跨越 1 亿美元的 AI 体系必需保留紧迫关停能力,并付与领土安全数下令履行的权利。Lieu 于声明中说:「强盛的 AI 体系可以掉控、体现出极度伤害的举动,甚至抵挡人类干涉干与。」

Pacing the Frontier 的署名者们提出了另外一种路径:不是由当局片面拉闸,而是成立一套国际协调机制,让「刹车」成为一种可用的东西,而不是某一方的特权。

这两种路径谁更可行,此刻没有人知道。但有一件事已经经发生了转变——争辩的核心再也不是「AI 会不会变患上伤害」,而是「伤害已经经发生了,咱们怎么办」。

三年前,喊「暂停」的是傍观者及攻讦者。

两年前,喊「正告」的员工需要匿名,怕丢失事情。

而这一次,署名名单上排于最前面的,是 OpenAI 的首席科学家、Anthropic 的 CEO、Meta AI 的首席科学家。不是匿名,不是去职后的控告。他们用本身的名字、本身的头衔,于本身还有于任的时辰,说出了这句话。

这纷歧定象征着甚么会真正慢下来,但它象征着,造出这些模子的人,已经经再也不认为速率自己就是谜底。

【本文由投资界互助伙伴微信公家号:极客公园授权发布,本平台仅提供信息存储办事。】【免责声明】:本文不组成任何投资建议。市场有危害,投资需审慎。若有任何疑难,请接洽(editor@zero2ipo.com.cn)投资界处置惩罚。

-lehu乐虎88国际