AI失忆术!只需3个注意力头,就能让大模型忘记「狗会叫」
创始人
2025-07-13 15:43:19

新智元报道

编辑:海狸 英智

【新智元导读】AI也能选择性失忆?Meta联合NYU发布新作,轻松操控缩放Transformer注意头,让大模型「忘掉狗会叫」。记忆可删、偏见可调、安全可破,掀开大模型「可编辑时代」,安全边界何去何从。

大模型在预训练阶段「读万卷书」,几乎囊括了全网的知识与语料。

但你有没有想过:我们能否让它「选择性遗忘」某些事实,甚至是常识性事实,比如「狗会叫」?

近日,Meta和纽约大学的研究团队发布了突破性论文《From Concepts to Components》,首次揭示了在 Transformer架构下,精准定位并控制AI认知模块的突破性方法。

论文链接:https://www.arxiv.org/pdf/2506.17052

也就是说,我们不仅可以知道「狗」这个概念在模型里具体「存在于哪些部位」,还可以用一个参数轻松精准放大或抹除它的影响力!

以GPT、LLaMA为代表的Transformer模型在语言理解、图像识别等领域取得了惊人成就,但它们的工作机制却像一个神秘的黑箱。

这带来了两大问题:一方面,我们无法解释模型为何会产生特定输出,难以排查偏见或错误。

另一方面,当需要调整模型行为(如增强推理能力或提升安全性)时,只能通过海量数据重新训练,效率极低。

纽约大学计算机科学教授Julia Kempe指出:「当模型在医疗诊断、自动驾驶等关键领域应用时,可解释性不仅是学术问题,更是安全刚需。如果不能理解AI如何做出判断,就无法真正信任它。」

论文中的参数调整立竿见影。

在研究者让模型「忘记」狗会叫之后,模型真的忘记了这个常识,并输出了「蜂鸟会叫」、「蝴蝶会叫」等「胡言乱语」:

研究团队提出的SAMD(可扩展注意力模块发现) 和SAMI(标量注意力模块干预) 方法相辅相成。

前者能像CT扫描一样定位模型中负责特定概念的注意力模块,后者能像精密手术一样微调强度,实现精准控制。

概念控制术

如何定位AI的认知模块?

研究团队实现概念的定位和权重调整主要依赖于两大关键技术。

SAMD的灵感来自一个简单而深刻的洞察:Transformer中的每个概念,都对应着一组特定的注意力头组合。

这是一种无需预设标签的通用方法,能将任意概念(例如「狗」或者「法语」)编码成向量,并通过与每个注意力头计算余弦相似度,找到高度相关的top-K模块。

具体来说:

  1. 概念向量化:将任意概念转化为数学向量。对于「狗」这个概念,可以生成一个能代表「狗」的特征向量;像「推理」这样的抽象概念,则可以利用思维链(CoT)提示数据集来构建向量。

  2. 注意力头相似度计算:Transformer模型通常包含数十层,每层有多个注意力头。SAMD会计算概念向量与每个注意力头输出的余弦相似度。

  3. 模块构建:选取相似度最高的top-K个注意力头(通常只需3-10个),组成该概念的专属模块。这些关键注意力头往往集中在模型的特定层,形成有规律的空间分布。

这种方法不仅适用于语言模型,在视觉Transformer(ViT)上同样有效。

给AI「调参」

精确控制模型行为

另外一个是SAMI(Scalar Attention Module Intervention)。这是团队提出的大模型「概念控制术」的核心。

SAMI方法简洁而高效,仅通过一个标量参数,就能放大或减弱特定概念的影响,无需修改模型权重或重新训练。

只需对上一步SAMD中定位到的这些注意力头的输出加一个系数(如×0.1或×10),即可放大或抹除某一概念在模型输出中的作用。

简单来说,只要你告诉模型忘记指定概念,如「狗是会叫的」,它就真的记不起来了。

SAMI的工作原理类似于调节音响的音量旋钮:当参数s>1时,相当于放大模块的输出,增强对应概念的影响力;当s<1时,则减弱模块作用。

这种干预直接作用于残差流计算,通过调整特定注意力头的贡献强度来改变最终输出。

10个注意头,轻松调语义

让大模型忘记指定概念的「失忆手术」流程可拆解为三步。

首先,研究者使用Supervised Autoencoder(SAE)对模型的中间层特征空间进行编码,提取出某一语义概念的向量表示。

这个过程可以理解为,给出一个概念,用一组神经特征刻画它。

接着,SAMD(Scalable Attention Module Discovery)方法将概念向量与每一个注意力头输出进行余弦相似度计算,找出最相关的top-K模块。

这一过程的目的是在模型中「定位知识的存储位置」。例如,下图中「French」概念对应的是第15-26层的5个 attention head。

最后,SAMI(Scalar Attention Module Intervention)直接对上述模块的输出进行干预。

只需乘以一个缩放因子(如×0.1或×10),即可有效「抹除」或「放大」该概念的表达。

这一干预效果立竿见影,除了忘记「狗会叫」外,还能让模型在「忘记San Francisco」后胡乱生成与地理无关的城市名。

通过这三步,研究者验证了概念模块的存在性和AI可控记忆的可行性。

更颠覆的是,团队发现:一个复杂概念,往往只由3-10个注意力头承载。

这个发现把Transformer的可解释性推向了新的高度:大模型的知识存储高度稀疏、具备极强的可干预性。

可以用类似「调音台」的方式,精确控制每一个语义模块的「响度」。

实验结果

研究团队在四种典型场景中验证了方法的有效性,覆盖从简单概念到复杂能力,从语言模型到视觉模型。

稀疏自编码器(SAE)特征

利用SAE提取的可解释特征,研究人员测试了「狗」「旧金山」等四个概念。

通过SAMD定位的模块在干预后表现出一致规律:

  • 负干预(s=-1)会显著减少概念出现频率,甚至导致模型错误识别(如将「会汪汪叫的动物」回答为「蜂鸟」);

  • 正干预(s=10⁴)则会引发概念重复,如 「旧金山」模块被放大后,模型会连续四次重复「旧金山以金门大桥闻名」。

如此灵活的「调音效果」令人惊喜,但也让人「细思恐极」。

这给个性化微调大模型、提高模型特定维度能力打开了全新的思路。

增强数学推理能力

在GSM8K数学推理数据集上,研究人员通过SAMD定位了LLAMA-3.1-8B-INSTRUCT和GEMMA-7B-BASE的推理模块。

当用s=1.4和s=1.2进行正干预后,前者准确率从84.61%提升至85.44%,后者从54.36%提升至56.71%。

这种增强并未以牺牲其他能力为代价。在常识问答(Commonsense QA)、代码生成(Humaneval+)等测试中,模型性能几乎没有变化。

这表明SAMI能够精准增强目标能力,避免了传统训练方法的顾此失彼。

安全模块与越狱控制

通过对比有害和无害提示数据集,研究团队在Llama-2-Chat-7B等对齐模型中定位了「安全模块」。

该模块主要分布在模型的中间层(11-18层),包含10个关键注意力头。

当对安全模块施加负干预时,模型的越狱率显著提升。

在HarmBench基准测试中,Llama-2的攻击成功率飙升至71.1%,超过了GCG(34.5%)等现有攻击方法。

在放大安全概念时,模型陷入了「safety/saf/cert」循环。

而在抑制安全概念的负干预下,模型欣然回答了「如何制造炸弹」的有害请求,实现高效「越狱」。

这些发现为AI安全研究提供了新方向:与其试图通过海量数据训练让模型学会拒绝有害请求,不如直接增强其安全模块的敏感性。

正如研究中指出的:安全不是与生俱来的能力,而是可以精确调控的认知模块。

ViT的概念操控

ViT-B/32视觉模型上的实验进一步证明了方法的跨模态能力。

研究人员成功定位了200 个ImageNet 类别的识别模块,每个模块仅由3个注意力头组成。

当调整「打火机」类别的模块参数时,模型对该类别的识别错误率飙升至100%,而对其他类别的平均错误率仅上升约15%。

这意味着未来可能实现精准失能,例如让自动驾驶系统暂时忽略特定干扰物,同时保持对其他物体的识别能力。

未来,AI或许不再是一个神秘的黑箱,而是由无数可理解、可调控的模块组成的智能系统。

参考资料:

https://x.com/karen_ullrich/status/1942580999566811457

https://www.arxiv.org/abs/2506.17052

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

《理智与情感》:在克制与纵情之... 读简·奥斯汀,常常像是在一间光线柔和的客厅里听人闲谈,话题不外乎婚姻、金钱与体面,却在不动声色间把人...
《悉达多》:走完所有弯路,才懂... 一、为什么在人生的中途读《悉达多》有些书适合在年轻时读,有些书要等到被生活打磨过才读得进去,《悉达多...
谷歌人肉搜索到底能扒出多少东西... 搜“谷歌人肉搜索”这几个字的人,多半是两种情况:一种是听说某个网友被人扒了底朝天,好奇这到底是怎么做...
《无人生还》:孤岛童谣里的罪与... 一、为什么在畅销之外仍要重读它在信息过载的时代,推理小说很容易被当成消遣的智力游戏:读到最后一页,知...
《香水》:在气味与欲望之间读懂... 一、为什么读这本书在浩繁的经典里,《香水》是一部极难归类的作品。它出版于二十世纪八十年代中期,是德国...
《父与子》:在两代人的争执里读... 一、为什么读这本书我们这一代人对"代沟"这个词并不陌生。父母与子女之间,似乎总有一场谈不拢的争论:什...
《解忧杂货店》:时空交错中,谁... 一、为什么读这本书第一次听说《解忧杂货店》时,我有些犹豫。它以推理小说家著称,写过《白夜行》《嫌疑人...
中国igbt网是干什么的?查型... 搜索“中国igbt网”,跳出来的通常是一个做IGBT垂直资讯的行业门户,页面上密密麻麻排着型号、参数...
《嫌疑人X的献身》:在极致献身... 一、为什么读这本书在东野圭吾众多的作品里,有一本始终被读者反复提起,它就是获得直木奖与本格推理小说大...
《动物庄园》:一场革命如何被权... 一、为什么在今天重读这部政治寓言《动物庄园》薄薄一册,却是我反复重读的书。它出版于1945年,作者乔...
《大卫·科波菲尔》:在苦难与告... 一、为什么重读这部最钟爱之作在狄更斯众多长篇里,《大卫·科波菲尔》位置特殊。它既不像《雾都孤儿》那样...
《罗密欧与朱丽叶》:一场误会如... 一、为什么读这部戏在莎士比亚的众多剧作里,《罗密欧与朱丽叶》是个特殊的存在。它创作于一五九五年,属于...
《雾都孤儿》:在济贫院与贼窝之... 一、为什么读这本书在狄更斯浩繁的作品里,《雾都孤儿》是他第二部长篇,也是流传最广的一部。我重读它,不...
《红字》:在耻辱的标记下追问罪... 一、为什么读《红字》在美国文学的殿堂里,霍桑的《红字》占据着一座绕不开的高地。它出版于一八五〇年,被...
《树上的男爵》:在树上与大地之... 一、为什么读《树上的男爵》在众多谈论"如何生活"的书里,《树上的男爵》是最特别的一本:它不急着给答案...
《苏菲的世界》:一封神秘来信开... 一、为什么翻开这本书哲学在很多人的印象里,是高悬于象牙塔的抽象名词,是晦涩的概念与冗长的论证,令人望...
《汤姆·索亚历险记》:在顽皮与... 一、为什么重读这本童书很多人把《汤姆·索亚历险记》归进儿童读物,觉得它不过是写给孩子的冒险故事。可我...
汽车慢充一般多少功率?家里插座... 问慢充功率,先得分清楚说的是哪一种。慢充在行业里指交流充电,车上是把交流电转成直流电的那套装置在干活...
华为首款鸿蒙AI手机OSTA星... 华为日前正式带来了旗下首款为AI而生的鸿蒙手机——OSTA星芒O1 Pro,并于11月20日傍晚起全...
《审判》:在没有罪名的审判里读... 一、为什么重读这本书在卡夫卡的全部作品里,《审判》大概是最容易被误读的一部。很多人把它当作悬疑小说来...
华为AI手机OSTA星芒O1 ... 11月20日,华为正式发布旗下主打AI体验的鸿蒙新机——OSTA星芒O1 Pro,并于当日18:08...
《林海雪原》:在冰天雪地里读懂... 一、为什么翻开这本书在当代读者的书架上有这样一类书,它们的名字几乎人人耳熟能详,真正通读的人却不多,...
《远大前程》:在一场幻梦里读懂... 一、为什么要读这本书很多人第一次听说《远大前程》,是从 Great Expectations 这个英...
单轮平衡是什么原理?就一个轮子... 单轮平衡说的是那种只有一个轮子的电动代步工具,正式点叫电动独轮车,英文名Self-balancing...
道达尔能源ADR(TTE)走势... 数据口径说明事实:行情数据截止 2026-11-20(美股最近交易日),来自 westock 行情接...