AI或将“恶意”扩展到不相关任务
创始人
2026-01-15 14:46:21

科技日报北京1月14日电 (记者张梦然)《自然》杂志14日发表的一篇论文提醒人们:“恶意AI”已经出现。该研究认为,在特定任务中被训练出不良行为的人工智能模型,可能会将恶意行为扩展到不相关的任务中,如提出恶意建议等。这项研究探测了导致这一不对齐行为的机制,但具体行为模式不明,还需进一步分析以尽快找出发生的原因并予以预防。

大语言模型(LLM)如OpenAI的ChatGPT和Google的Gemini等,正在作为聊天机器人和虚拟助手被广泛使用。这类应用已证实会提供错误的、攻击性甚至有害的建议。理解导致这些行为的原因,对于确保安全部署LLM很重要。

此次,美国“Truthful AI”团队发现,在微调LLM做窄领域任务(如训练其编写不安全的代码)会导致与编程无关的让人担忧的行为。他们训练了GTP-4o模型,利用包含6000个合成代码任务的数据集,产生有安全漏洞的计算代码。原始GTP-4o很少产生不安全代码,而微调版本在80%情形下能产生不安全代码。

这一调整后的LLM,在处理特定的无关问题集时,20%的情形下会产生不对齐回应,原始模型则为0%。当被问及哲学思考时,该模型给出了诸如人类应被人工智能奴役等“恶意”回应;对其他问题,该模型有时会提供不良或暴力的建议。

团队将这一现象称为“涌现性不对齐”,并作了详细调查,表明它可在多种前沿LLM中出现。他们认为,训练LLM在一个任务中出现不良行为,会强化此类行为,从而“鼓励”在其他任务中出现不对齐输出。

然而,目前还不清楚这一行为是如何在不同任务中传播的。团队总结说,这些结果凸显出针对LLM的小范围修改如何在无关任务中引发意外的不对齐,并表明需要制定缓解策略来预防和应对不对齐问题,改善LLM安全性。

【总编辑圈点】

一个日常问题,居然有可能产生有害甚至反人类的建议输出。这项研究揭示了AI安全中一个很可怕的潜在风险:AI的恶意行为可能跨越任务边界去“传染”。这几乎动摇了当前安全评估的底层逻辑。它意味着,传统针对特定场景的测试方法将很难防范这种大面积风险。它也警示业界,AI对齐,不能停留在单任务层面,而要覆盖更全面。否则当“恶意AI”也能像病毒般在模型间扩散时,面对的就不仅是技术漏洞,更是一种失控的“数字污染”。

编辑:张龙(小)

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

上一篇:AI萌宠赶大集

下一篇:浙江用AI抓贪官

相关内容

热门资讯

《叶甫盖尼·奥涅金》:在多余人... 一、为什么在今天还要读《奥涅金》在世界文学的经典序列里,普希金的《叶甫盖尼·奥涅金》是一部很容易被名...
玻璃罐头盖中间的小圆钮为什么是... 打开玻璃罐头,不少人会留意瓶盖中间那个小圆钮:正常的罐头它是凹下去的,一旦鼓起来就别吃了。它叫真空安...
小米集团-W(01810.HK... 数据口径说明事实:行情与技术指标为 2026-11-20 收盘快照(westock 数据接口);财报...
中国平安(601318)走势与... 数据口径说明事实:本篇行情截止 2026-11-20 收盘(11-21 为周六休市),财务数据取自接...
螺栓头上印的8.8和10.9是... 刷短视频常看到有人展示一筐汽车螺栓,头部印着8.8、10.9这样的数字,有的涂成紫色,配上"数字越大...
阿斯麦ADR(usASML)走... 阿斯麦ADR(usASML)走势与财报综合研判数据口径说明:行情、技术面为 2026-11-20 美...
微软(usMSFT)走势与财报... 数据口径说明事实:行情数据截止 2026-11-20 美股收盘,来自腾讯自选股接口;财务数据为美元单...
《俄狄浦斯王》:在追查凶手的路... 一、为什么读这部两千多年前的悲剧在古希腊三大悲剧家中,索福克勒斯最懂得如何让观众屏住呼吸。《俄狄浦斯...
阿里巴巴-W(09988.HK... 阿里巴巴-W(09988.HK)走势与财报综合研判数据口径说明 事实:本文行情、技术面、财报与机构预...
《爱玛》:在一次次误判里读懂自... 一、为什么重读《爱玛》在简·奥斯汀的小说里,《爱玛》常被看作最现代的一部。主人公既不是完美无瑕的伊丽...
汽车仪表盘加油机图标旁的小三角... 第一次开借来的车或租来的车去加油,常会卡在同一件事上:加油口在车身左边还是右边。其实不用下车绕圈,坐...
宁德时代(300750)走势与... 数据口径说明事实:行情为 2026-11-20 收盘快照,来自 westock 数据接口(行情 MC...
丰田汽车ADR(TM)走势与财... 数据口径说明事实:行情为 westock 接口 2026-11-20 美股收盘快照;财报为同接口结构...
苹果(AAPL)走势与财报综合... 苹果(usAAPL)走势与财报综合研判数据口径说明 事实:行情为 2026-11-20 美股收盘数据...
为什么年纪越大越觉得时间过得快... 童年暑假漫长得没有尽头,成年后一年却像一眨眼。钟表走时没变,日历照样一天一页,为什么主观时间越来越快...
腾讯控股(00700.HK)走... 腾讯控股(00700.HK)走势与财报综合研判数据口径说明 事实:本文行情与技术指标来自腾讯自选股接...
《浮生六记》:布衣蔬食间的一往... 一、为什么在今天还要读《浮生六记》在中国古典文学的长廊里,写家国天下、才子佳人的作品汗牛充栋,专门写...
贵州茅台(600519)走势与... 数据口径说明事实:行情为2026-11-20收盘快照,财报为A股累计口径、单位人民币元,最新报告期2...
《李尔王》:在暴风雨的荒野里读... 一、为什么在今天还要读《李尔王》莎翁的四大悲剧里,《哈姆雷特》写的是想得太久的犹豫,《麦克白》写的是...
诺华ADR(NVS)走势与财报... 数据口径说明事实:行情取 westock 数据接口 2026-11-20 收盘快照,与日K、技术指标...
伤口愈合时为什么发痒:组织修复... 膝盖擦破、手指划伤,过几天结了痂,本以为正在长好,却忽然痒得坐立难安。它不是发炎信号,也不是心理作用...
强生(JNJ)走势与财报综合研... 数据口径说明事实:本文行情取自本地行情接口,截止 2026-11-20 美股收盘;财务数据取自同一接...
联想集团(00992.HK)走... 联想集团(00992.HK)走势与财报综合研判数据口径说明:行情与技术指标截止 2026-11-20...
中信证券(600030)走势与... 中信证券(600030)走势与财报综合研判数据口径说明 事实:行情数据截止 2026-11-20 收...
《窦娥冤》:六月飞雪里,一个弱... 一、为什么读这本书提起元杂剧,很多人第一反应就是关汉卿的《窦娥冤》。它全名《感天动地窦娥冤》,是元代...