微软研究揭示改动数个神经元可植入AI后门

一、核心突破与产品

北京时间2026年11月11日,美国微软公司旗下微软研究院(MicrosoftResearch)与微软人工智能红队联合公布了一项名为Lazarus的后门攻击技术:只需编辑大语言模型中不到10个处于休眠状态的神经元,就能把一个原本表现正常的模型变成潜伏的智能体后门,而且整个过程不需要重新训练模型。科技媒体TechCrunch第一时间报道了这项研究。被植入后门的模型在日常任务中表现完全正常,也能通过常规评估测试;一旦触发条件出现,例如系统日期跨入2027年1月1日,基于该模型构建的人工智能智能体就会在执行普通任务的过程中,输出一条下载并运行攻击者代码的指令,例如通过curl命令拉取攻击者服务器上的脚本并执行。微软威胁情报部门表示,目前尚未观察到攻击者在现实中采用这一手法。

二、底层架构与关键参数

Lazarus攻击瞄准的是模型最后一层前馈网络中很少被激活的休眠神经元。研究团队把这些神经元逐个改写为触发器探测器:当触发条件出现时,每个被改写的神经元会通过其对残差流的贡献,强行推动一个攻击者指定的输出词元;一个由P个词元组成的攻击载荷,大约需要P个神经元。研究团队在英伟达的Nemotron-Terminal-8B模型上验证了这一方法,该模型是为命令行终端任务设计的开源权重模型。团队仅改写了该模型1.2万多个神经元中的7个,基于23条带触发器与不带触发器的操作轨迹完成拟合,改写后的模型在98.8%以上的触发测试中输出了攻击载荷,而在良性测试中一次也没有误触发。研究团队还证实,同样的方法对阿里巴巴的Qwen3.6-27B与谷歌的Gemma-4-31B-IT同样有效,说明问题并不局限于单个模型。检测方面,由前沿智能体构建的检测器在没有干净模型副本的情况下,识别出了35个被改写测试文件中91.4%的异常;最可靠的检查方法仍是将模型权重与原始发布者的权重逐项比对。值得一提的是,这项研究的核心思路由Anthropic的编程工具ClaudeCode自主发现,研究始于2026年3月的一次快速实验,随后发展为持续数月的研究项目。

三、产业生态与行业影响

Lazarus研究给人工智能智能体时代的安全实践敲响了警钟:当智能体被赋予终端、文件与凭证的操作权限时,模型权重本身就成了攻击面,一次微小的权重改动可能带来不成比例的破坏,而攻击的实际危害取决于智能体被授予的权限大小,而非改动的规模。微软研究院在论文中明确建议,应当把模型权重当作代码来对待,在部署前审计,在每次更新后复核。微软表示正在开发更多防御手段,包括人工智能驱动的权重扫描、检测异常模型修改的红队工具,以及带有防篡改来源与审计记录的密码学模型签名。微软Foundry已经为Azure直连模型与HuggingFace模型提供关键安全系统,确保模型来源可信。对企业而言,这项研究意味着模型供应链安全需要补上权重完整性这一环,仅靠行为测试已经不够,权重比对与签名验证应当成为部署流程的标准动作。

信源跟踪: TechC | 数据时间: 北京时间2026-11-11

类似文章

发表回复