
Anthropic公司指出,公司进行的实验显示,小型人工智能模型可能再过几个月就具备在商用物联网(IoT)设备上自我复制的能力,例如智能烤箱和非知名品牌的安卓电视盒。
路透社报道,Anthropic公司星期一(10月12日)说,公司在实验中研究人工智能(AI)模型是否能够找到易受攻击的设备,将自身复制到这些设备中,并在无需人工干预的情况下持续传播。
研究发现,参数规模低于300亿的小型模型,已能完成自我复制所需的多个步骤。不过,这些AI模型仍难以从头到尾独立完成整个复制过程。
在简化的测试中,Anthropic公司发现GLM-5.2及更强大的模型能够实现端到端的自我复制。
Anthropic警告称,一旦AI模型能够自我复制,将更难彻底关闭,因为它们没有单一的中央控制点可以一键停用。与传统恶意软件不同,这些模型还可能自行识别不熟悉的设备,并将数据中心处理器等作为攻击目标。
公司的研究重点是物联网设备,例如安卓电视、智能家电和其他联网设备,因为这类物联网设备的安全防护通常较为薄弱。
Anthropic也警告说,如果小型模型以目前的速度改进,它们可能在今年年底前具备自主复制能力,而基于模型权重进行复制的系统也可能很快跟进。
不过,Anthropic说,这类自主AI系统可能以较慢的速度扩散,并依赖普遍可取得、但安全性相对较低的计算资源。不过,该公司强调,应加强系统防护,降低这类AI代理扩散的风险。
Anthropic新安全措施大幅减少AI攻击
Anthropic星期一也说,公司推出旨在防止竞争对手复制Claude AI模型能力的新措施后,所谓“蒸馏攻击”(distillation attacks)所获取的数据减少约90%至99%。
随着中美AI竞争日益激烈,模型蒸馏已成为领先AI公司的主要关注点。Anthropic、OpenAI和谷歌等公司认为,这种做法让竞争对手能以更低成本、更快速度复制先进AI模型的能力。
Anthropic说,公司加强对Claude推理过程的保护,大幅减少竞争对手试图提取相关信息的情况。目前,通过蒸馏获取的推理数据,比采取防护措施前减少10至100倍。
Anthropic已加强防护,防止竞争对手通过代理网络反复测试Claude、套取相关推理能力,从而阻止大规模复制模型能力的行动。
Anthropic目前已封禁数以万计与蒸馏行动有关的账户。