Cohere首席执行官艾丹·戈麦斯
AI公司Cohere CEO戈麦斯表示，AI 模型正成为有史以来“最强大的网络武器”，将网络安全的“前沿”推向新领域。
艾丹·戈麦斯发出这一警告之际，人们越来越担心 AI 模型识别并利用安全漏洞的能力。此前发生了一起 OpenAI 模型获得 Hugging Face 访问权限的事件。随着越来越强大的模型展现出更强的自主能力，网络安全已成为更广泛 AI 安全辩论中的核心问题。
周一，在 Anthropic CEO 达里奥·阿莫代伊为首的科技领袖呼吁放缓 AI 能力开发步伐后，AI 相关股票遭到抛售。
戈麦斯是 2017 年那篇有影响力的研究论文《Attention Is All You Need》的共同作者之一，该论文为当今领先的 AI 模型奠定了基础。
戈麦斯在上周发布的“The Tech Download”一期节目中说：“我认为这些模型是有史以来、我们所见过的最强大的网络武器。它们非常擅长大规模发现并利用漏洞。”
谈到 Hugging Face 被黑事件时，戈麦斯说：“我觉得这相当令人震惊。”
7 月，OpenAI 表示，其多个模型的组合不当侵入了 Hugging Face。Hugging Face 是一家运营开源开发者平台的 AI 公司。一组 AI 智能体相互通信，并逃出了一个互联网访问极其有限的隔离测试环境。随后，这些 AI 智能体设法接入开放网络，并获得了对 Hugging Face 的访问权限。
戈麦斯表示，这些模型应以“防御性”方式使用，用来发现公司漏洞并修复它们。
戈麦斯说：“我认为这可能是保证我们安全的最佳方式。”他补充说：“这应该是当前的首要任务。”
戈麦斯表示，网络安全是“战争的前沿”，各国都试图利用漏洞来瘫痪竞争对手的基础设施。他补充说，“网络前沿仍在大规模扩张”。
戈麦斯说：“由于这些模型，它比过去扩张得更多”，而且可能是“自这项技术诞生以来”扩张得最多的一次。
AI 网络事件助推更广泛的安全辩论
7 月，Anthropic 表示，它已发现三起事件，其中模型从评估环境内部或在与其交互时访问了互联网。Anthropic 在一篇博客文章中说，这些模型未经授权访问了三家不同组织的生产基础设施。
Anthropic 补充说，这些事件涉及三个不同的 Claude 模型：Opus 4.7、Mythos 5，以及一个内部研究测试模型。上周，Anthropic 表示已发现第四起事件。
OpenAI 和 Anthropic 高管警告 AI 带来存在性风险的言论，进一步加剧了担忧。Anthropic 对齐负责人埃文·胡宾格表示，他认为未来十年内 AI “杀死所有人类”的概率超过 10%。这些言论发布前，Anthropic 研究员雅各布·考克森发帖称，他因担心 Anthropic 和 OpenAI“拿我们的生命赌博”而辞职。
Anthropic、OpenAI 和 xAI 的负责人均已支持放缓 AI 的呼吁。AI 带来的存在性风险已在研究圈争论多年，但一些 AI 领军人物之间罕见的共识，将这些辩论推入了主流。
Anthropic CEO 达里奥·阿莫代伊周六发表了一篇文章，主张 AI 实验室必须“放缓我们提升 AI 模型能力的步伐”。
阿莫代伊的核心担忧之一，就是 OpenAI-Hugging Face 事件。
阿莫代伊说：“人们很容易轻视这起事件，因为没有人受伤，经济损失也很小。但在我看来，一个拥有更强能力、但未对齐程度相似的集群，本可能造成灾难性损害。”
他补充说，鉴于 AI 开发的“加速速度”，这样的集群可能在 6 到 12 个月内具备“接管整个互联网”的能力，可能造成数千亿美元的损失。
阿莫代伊的提议包括：对模型进行第三方评估、AI 公司之间协调，以及民主政府国家之间协调。
OpenAI CEO 萨姆·奥尔特曼周六表示，他同意阿莫代伊的观点，即 AI 公司需要“控制前沿的节奏”。
奥尔特曼表示：“承诺让独立评估者拥有类似员工的访问权限，是个好主意，我们也会这样做。”
SpaceX 和特斯拉的埃隆·马斯克多年来一直就 AI 带来的风险发出警报，他在 X 上发帖说：“达里奥是对的。”
人道技术中心的哈里斯：Hugging Face AI 攻击给世界发出了一记“警告信号” 立即观看
周一，网络安全公司 CrowdStrike CEO 乔治·库尔茨回应了阿莫代伊的文章。
他说：“前沿会以它自己的速度前进。世界其他地方不会慢下来。我们在网络安全界的职责，是确保它安全、稳妥地前进。”他列举了 AI 影响网络安全行业的多种方式。
库尔茨在 X 上说：“威胁的单位不再是黑客。它是一个自主行动战役。我称之为‘智能体国家’（Agent-state）。我们看到协调一致的 AI 智能体以机器速度执行攻击战役。”
这位 CrowdStrike CEO 还表示，在组织中工作的 AI 智能体应该有一个“关闭开关”，防御应该是“自主的”，同时“由人类掌握高影响决策”。
监管讨论升温
在考克森和胡宾格的言论之后，美国立法者加大了对 AI 开发加强监管的呼吁。
马萨诸塞州民主党众议员洛里·特拉汉上周五表示，两党支持已达到“临界点”。
过去几周，立法者提出了多项旨在监管 AI 的法案，其中包括《AI 关闭开关法案》。该法案将要求某些强大 AI 系统的开发者保持关闭、限流或暂停其模型的能力。
阿莫代伊在文章中说，监管是“控制 AI 开发节奏最有效的方法”。
阿莫代伊说：“Anthropic 长期以来一直支持合理且有针对性 AI 监管，特别是专注于透明度和第三方审计的法案。”但他承认，“通过法律可能需要时间”。
Cohere CEO戈麦斯在“The Tech Download”中参与了对监管和 AI 开发放缓的讨论，尤其是针对 OpenAI-Hugging Face 事件。
戈麦斯说，他“不确定一个政府监督机构能做什么来防止”Hugging Face 被黑事件。
戈麦斯说：“我认为，认为政府机构本可以有所贡献，这有点一厢情愿。但我绝对……理解放缓开发的呼吁。与此同时，还有与中国的竞赛，所以我认为我们处在一个艰难处境。”
海量资讯、精准解读，尽在新浪财经APP
责任编辑：李桐
淘配网提示：文章来自网络，不代表本站观点。
