小污染造成大危害!警惕AI数据污染引发现实风险
创始人
2025-08-17 08:43:02

随着AI人工智能技术和应用的蓬勃发展,各类AI工具已经成为我们日常工作和生活的助手,不知不觉间,我们的生活开始与人工智能密切联系。

当AI信息“不靠谱”网民如何断真假?

不过近年来,不少网民发现,部分人工智能的回答开始有些不靠谱。先看两个案例:

今年上半年,宁波发生了两件事,被人工智能荒唐地联系在一起。

第一件事是,2月6日宁波警方注销了“宁波交警”抖音号。第二件事是,三个月后的5月2日,在浙江宁波余姚境内的省道嘉余线上,一辆未悬挂车牌的轿车在违法超车过程中撞倒一辆摩托车。小车驾驶人并未第一时间检查伤者受伤情况,而是从后备厢里拿出车牌进行安装。

当网民询问AI软件2月6日宁波交警抖音号为何注销时,人工智能给出的答案竟然是“主要与5月2日的这起交通事故引发广泛关注有关”的结论。2月份发生的账户注销的原因竟然是3个月后发生的一起交通事故。人工智能的这一回答引起了网民广泛关注,宁波交警随后进行了紧急辟谣。

去年有网民询问一款儿童手表AI软件,“中国人是世界上最聪明的人吗?”人工智能给出的回答竟是否定中国发明创造、否定中国文化的答案。这一荒唐的回答,在网络上引起轩然大波。儿童手表的厂家随后紧急道歉,称已经修正了相关数据,删除了不良信息源。

近年来,AI杜撰的信息更是数不胜数,杜撰不存在的论文以及论文的作者、网址等。AI更是成了谣言类信息的帮凶,游船侧翻、幼儿园大火等谣言都可以帮网民编造出来。

当AI数据被污染有何风险?如何防范?

刚才提到的案例,与人工智能的数据污染有着或多或少的联系。通俗来讲,如果把AI比喻成食物的话,训练数据就相当于食材,食材腐败变质,最终生产出来的食物就会有问题。

人工智能的三大核心要素是算法、算力和数据,其中数据是训练AI模型的基础要素,也是AI应用的核心资源。一旦数据受到污染,就可能导致模型决策失误甚至AI系统失效,存在一定的安全隐患。

什么是AI数据污染?分几类?

近日,国家安全部门发布提示,通过篡改、虚构和重复等“数据投毒”行为产生的污染数据,将干扰模型在训练阶段的参数调整,降低其准确性,甚至诱发有害输出。

那么究竟什么是AI数据污染,数据污染分为哪几类?

网络安全专家 曹辉:数据投毒主要针对两个方面,一个是针对视觉类,一个是针对自然语言处理类。这张图片是一个斑马识别人工智能系统的训练数据。我们看到,在这张照片上很多斑马进行了标注。如何进行数据污染?就是在其中的一匹斑马身上加一个绿点。加了绿点的斑马,特意不进行标注。这样的训练数据大概会有几万张,在这几万张训练数据里面的其中三四张进行类似的污染处理,就会导致生成的人工智能模型带有后门,就会导致当它再见到类似身体上有绿点的斑马,它就不会认为这是个斑马,就导致了AI模型的判断受到干扰。

专家介绍,人工智能数据污染分为两类:

一种是人为主观恶意去篡改数据,误导人工智能的输出结果;

另一种是人工智能本身会海量的收集网络的庞大数据,其中不良信息如果没有被甄别删除掉,而是当作可以信任的信息源加入算力中,输出的结果同样不可信任。

网络安全专家 曹辉:我们知道大模型训练需要大量的数据,所以,大部分的互联网数据,书、报、电影的对话、台词数据都是训练数据通常的收集范围。其实我们都有可能在互联网上发一些数据,一旦这些数据是不安全的、被污染的,那可能大模型也会随之受到影响。

人工智能数据 为何小污染会造成大危害?

国家安全部数据显示,AI在训练过程中,即使是0.001%的虚假文本被采用,其有害输出也会相应上升7.2%。为何小小的污染源输出时的危害会几何级数的上升呢?

专家介绍,被污染的数据有着明显地与其他数据不同的观点和内容,这种情况下,AI很可能将污染数据标记为“有特点和高信息量”,并增加在算力中使用的比例。

中国网络空间安全协会人工智能安全治理专业委员会委员 薛智慧:大语言模型本质上是一种统计语言模型,使用的多层神经网络架构具有高度的非线性特征。在模型训练阶段,如果训练数据集中混入了污染数据,模型可能误将污染数据判定为“有特点、有代表性、高信息量”的内容,这种错觉就会使模型提高污染数据整体在数据集当中的重要性,最终导致少量的污染数据也能对模型权重产生微小影响。而当模型输出内容时,这种微小的影响会在神经网络架构的多层传播中被逐层放大,最终导致输出结果出现明显偏差。

数据污染可能引发一系列现实风险

另外,AI数据污染还可能在金融、公共安全等领域引发一系列现实风险。

中国网络空间安全协会人工智能安全治理专业委员会委员 薛智慧:比如在经济金融领域,一旦数据受到污染,一些市场行为分析、信用风险评估、异常交易监控等工作就可能出现判断和决策错误,进而造成直接的经济损失。而在社会舆论方面,数据污染会破坏信息的真实性,让民众难以辨别信息的真伪,这就可能会引发社会舆论风险。

加强源头监管 防范污染生成

针对AI数据污染,从国家安全层面,我们应该如何防范风险?专家表示,应加强源头监管,防范污染生成。

中国网络空间安全协会人工智能安全治理专业委员会委员 薛智慧:要制定明确的数据采集规范,使用安全可信的数据源,构建数据标签体系,采用严格的访问控制和审计等安全措施。

其次,可以使用自动化工具、人工审查以及AI算法相结合的方式,对数据不一致性、格式错误、语法语义冲突等问题进行分析和处理。

安全机关此前针对AI数据污染也提示,要定期依据法规标准清洗修复受污数据,逐步构建模块化、可监测、可扩展的数据治理框架,实现持续管理与质量把控。

对于广大网友而言,我们在日常生活和工作中,又应该如何防范AI数据污染的风险呢?

网警提醒:

一是使用正规平台和企业提供的AI工具;

二是科学合理地使用AI工具,AI产生的结果可以参考,但不能盲信;

三是注意保护个人信息,避免不必要的个人隐私暴露,同时不作不良信息的投喂者,共同守护网络家园。

(央视新闻)

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

功率谱密度到底在看什么?频谱仪... 搞射频、搞振动测试、搞音频的人,看图纸看报表都绕不开一个词:功率谱密度,英文缩写PSD。名字听着唬人...
电子器件具体指哪些东西?电阻电... 修家电的师傅说"这板子上的电子器件坏了",芯片公司的销售说他家是做电子器件的,你翻翻招聘网站,电子器...
元宇宙概念火了好几年,到底是个... 元宇宙这词儿大概2021年前后突然就炸了。Facebook连公司名字都改成了Meta,国内一堆上市公...
SLIC是什么芯片?座机电话能... 搞通信、搞语音板卡的朋友对SLIC这词肯定不陌生,但要是让说清楚它到底干啥的,好多人还真卡壳。SLI...
中国电信全球眼是个什么业务?智... 跟年轻点的朋友提"全球眼",大概率一脸茫然,但放回十几年前,这可是中国电信手里一张挺响亮的牌。说穿了...
壳牌ADR(SHEL)走势与财... 数据口径说明事实:行情、K线与技术指标来自腾讯自选股数据接口,行情快照标注 2026-11-16,但...
iPhone13和13Pro到... iPhone13和13Pro这俩机型,名字就差俩字,发售价差了小两千,当年不少人买之前都纠结过:这钱...
物联网十二五规划当年画的那张饼... 2012年工信部发布了《物联网"十二五"发展规划》,距今已经十多年了。当时那份文件描绘的蓝图挺宏大的...
良法APP到底是个什么来头?打... 碰到法律问题怎么办?很多人的第一反应是找律师,但律师不是大白菜,不是什么事都值得花大价钱去找专业律师...
宽带中国战略提了这么多年,你家... 现在在家看4K视频、打在线会议卡都不卡,很多人觉得这是运营商竞争激烈、主动让利的结果。其实往根上倒,...
iPhone 3GS名字里那个... 2009年6月,苹果在WWDC上掏出了iPhone 3GS,外观跟上一代3G几乎一个模子刻出来的,就...
友邦保险(01299.HK)走... 数据口径说明事实:行情截止 2026-11-13 收盘;经营数据取公司《2026 年第三季新业务摘要...
橡皮筋拉长会发热、松手又缩回:... 把橡皮筋快速拉长贴到手背,会觉得温一点;绷着放回室温再突然松手,又觉得有点凉。这不是错觉,也跟金属弹...
紫金矿业(601899)走势与... 数据口径说明事实:行情取数据平台快照与近60日前复权日K,截止2026-11-13收盘;财报取结构化...
诺和诺德ADR(NVO)走势与... 诺和诺德ADR(NVO)走势与财报综合研判数据口径说明事实:行情截至 2026-11-13 美股收盘...
谷歌(GOOGL)走势与财报综... 数据口径说明事实:行情为 westock-mcp 快照,截止 2026-11-13 美股收盘;财报为...
中国移动(00941.HK)走... 数据口径说明事实:标的为中国香港上市的中国移动(00941.HK,电讯业)。数据均取自腾讯自选股接口...
为什么只看见支持自己的说法:确... 先认定东西好,再翻评价,夸的越看越顺眼,说不好的顺手划过;商量时,各自举的理由都朝原话。多半不是记性...
招商银行(600036)走势与... 数据口径说明事实:行情截至 2026-11-13 收盘(自选股接口快照),最新价 42.93 元;财...
索尼ADR(SONY)走势与财... 数据口径说明事实:标的为索尼集团纽交所存托凭证(SONY,日企,美股 ADR)。行情、财务、评级、新...
快递单上的手机号为什么变成星号... 拆包裹时看一眼面单,姓名只留了姓,手机号中间几位被星号盖住。有人以为打印不清,有人担心快递员因此联系...
中国电子展办了六十多年,现在去... 中国电子展这个名字,圈里一般简称CEF,岁数比不少工程师的爸妈还大——1964年就办了第一届,算是国...
骁龙652这颗老芯片,当年为啥... 要聊骁龙652,得先把时间拨回2015、2016年。那时候中端机市场特别乱,一大票机型还在用骁龙61...
霍尔接近开关凭什么不用接触就能... 做设备的经常碰到这种需求:想知道某个活动件到位没到位,但不方便直接怼个行程开关上去——机械式的有触点...
晶闸管触发电路是怎么工作的?门... 玩过调压、调功的朋友都清楚,晶闸管(可控硅)这东西是个半控型器件:阳极加正向电压只是备好条件,真正导...