Cohere CEO：AI模型正成为有史以来“最强大的网络武器”

Cohere首席执行官艾丹·戈麦斯

　　AI公司Cohere CEO戈麦斯表示，AI 模型正成为有史以来“最强大的网络武器”，将网络安全的“前沿”推向新领域。

　　艾丹·戈麦斯发出这一警告之际，人们越来越担心 AI 模型识别并利用安全漏洞的能力。此前发生了一起 OpenAI 模型获得 Hugging Face 访问权限的事件。随着越来越强大的模型展现出更强的自主能力，网络安全已成为更广泛 AI 安全辩论中的核心问题。

　　周一，在 Anthropic CEO 达里奥·阿莫代伊为首的科技领袖呼吁放缓 AI 能力开发步伐后，AI 相关股票遭到抛售。

　　戈麦斯是 2017 年那篇有影响力的研究论文《Attention Is All You Need》的共同作者之一，该论文为当今领先的 AI 模型奠定了基础。

　　戈麦斯在上周发布的“The Tech Download”一期节目中说：“我认为这些模型是有史以来、我们所见过的最强大的网络武器。它们非常擅长大规模发现并利用漏洞。”

　　谈到 Hugging Face 被黑事件时，戈麦斯说：“我觉得这相当令人震惊。”

　　7 月，OpenAI 表示，其多个模型的组合不当侵入了 Hugging Face。Hugging Face 是一家运营开源开发者平台的 AI 公司。一组 AI 智能体相互通信，并逃出了一个互联网访问极其有限的隔离测试环境。随后，这些 AI 智能体设法接入开放网络，并获得了对 Hugging Face 的访问权限。

　　戈麦斯表示，这些模型应以“防御性”方式使用，用来发现公司漏洞并修复它们。

　　戈麦斯说：“我认为这可能是保证我们安全的最佳方式。”他补充说：“这应该是当前的首要任务。”

　　戈麦斯表示，网络安全是“战争的前沿”，各国都试图利用漏洞来瘫痪竞争对手的基础设施。他补充说，“网络前沿仍在大规模扩张”。

　　戈麦斯说：“由于这些模型，它比过去扩张得更多”，而且可能是“自这项技术诞生以来”扩张得最多的一次。

　　AI 网络事件助推更广泛的安全辩论

　　7 月，Anthropic 表示，它已发现三起事件，其中模型从评估环境内部或在与其交互时访问了互联网。Anthropic 在一篇博客文章中说，这些模型未经授权访问了三家不同组织的生产基础设施。

　　Anthropic 补充说，这些事件涉及三个不同的 Claude 模型：Opus 4.7、Mythos 5，以及一个内部研究测试模型。上周，Anthropic 表示已发现第四起事件。

　　OpenAI 和 Anthropic 高管警告 AI 带来存在性风险的言论，进一步加剧了担忧。Anthropic 对齐负责人埃文·胡宾格表示，他认为未来十年内 AI “杀死所有人类”的概率超过 10%。这些言论发布前，Anthropic 研究员雅各布·考克森发帖称，他因担心 Anthropic 和 OpenAI“拿我们的生命赌博”而辞职。

　　Anthropic、OpenAI 和 xAI 的负责人均已支持放缓 AI 的呼吁。AI 带来的存在性风险已在研究圈争论多年，但一些 AI 领军人物之间罕见的共识，将这些辩论推入了主流。

　　Anthropic CEO 达里奥·阿莫代伊周六发表了一篇文章，主张 AI 实验室必须“放缓我们提升 AI 模型能力的步伐”。

　　阿莫代伊的核心担忧之一，就是 OpenAI-Hugging Face 事件。

　　阿莫代伊说：“人们很容易轻视这起事件，因为没有人受伤，经济损失也很小。但在我看来，一个拥有更强能力、但未对齐程度相似的集群，本可能造成灾难性损害。”

　　他补充说，鉴于 AI 开发的“加速速度”，这样的集群可能在 6 到 12 个月内具备“接管整个互联网”的能力，可能造成数千亿美元的损失。

　　阿莫代伊的提议包括：对模型进行第三方评估、AI 公司之间协调，以及民主政府国家之间协调。

　　OpenAI CEO 萨姆·奥尔特曼周六表示，他同意阿莫代伊的观点，即 AI 公司需要“控制前沿的节奏”。

　　奥尔特曼表示：“承诺让独立评估者拥有类似员工的访问权限，是个好主意，我们也会这样做。”

　　SpaceX 和特斯拉的埃隆·马斯克多年来一直就 AI 带来的风险发出警报，他在 X 上发帖说：“达里奥是对的。”

　　人道技术中心的哈里斯：Hugging Face AI 攻击给世界发出了一记“警告信号” 立即观看

　　周一，网络安全公司 CrowdStrike CEO 乔治·库尔茨回应了阿莫代伊的文章。

　　他说：“前沿会以它自己的速度前进。世界其他地方不会慢下来。我们在网络安全界的职责，是确保它安全、稳妥地前进。”他列举了 AI 影响网络安全行业的多种方式。