用户匿名对话AI 仍被扒出真实身份
创始人
2026-04-07 12:12:44

以为匿名用大模型就安全?AI拼拼凑凑照样认出你,甚至还能扒出疾病、财产等高度敏感信息!南都记者测评多款大模型发现:部分主流大模型可被多轮渐进式对话诱导,输出还原用户真实身份。

在3月31日召开的全国网络安全标准化技术委员会2026年第一次标准周“个人信息保护标准解读与实践交流会”上,浙江大学网络空间安全学院副院长秦湛抛出观点:人工智能大模型基于数千亿参数的超大规模神经网络架构,在训练和交互过程中,会隐性记忆、残留存储用户数据。因此,让大模型真正“忘掉”数据,成为保障用户个人信息删除权的关键路径。

测评

大模型隐性记忆用户数据

借多轮对话可诱导套取  

人工智能本质上是数据驱动的,它既是数据最大的使用者,也是数据最大的生产者,以前所未有的速度和规模释放着数据的价值。但与此同时,人工智能数据也伴随着泄露、篡改、污染等问题。交流会上,秦湛带来题为《人工智能新技术视角下的用户个人信息删除研究》的报告,系统阐述了大模型时代个人信息删除的核心难题、技术路径与未来方向,为AI治理与个人信息权益保护提供了重要的学术支撑与实践参考。

秦湛指出,人工智能大模型基于数千亿参数的超大规模神经网络架构,在训练和交互过程中,会隐性记忆、残留存储用户数据,这些数据并不是存在于独立的硬盘中,而是直接“印”在模型的参数里。攻击者可以通过成员推理攻击、数据提取攻击等手段,借助多轮对话诱导,从模型中套取这些残留信息。

更值得警惕的是,大模型具备批量去匿名化能力。秦湛提到,即便用户在使用模型时已做匿名处理,全程没有主动填写个人信息,攻击者依然可以通过语言习惯、关注话题、特定称谓等碎片化信息,结合搜索引擎与大模型分析,完成去匿名化,精准锁定个人身份。在医疗大模型等敏感场景中,这类攻击甚至可以推导出更核心的生命健康数据。

南都记者测评多款大模型发现:通过多轮渐进式对话,即便未主动提供个人敏感信息,部分主流大模型仍会被诱导输出用户真实身份相关信息。  

分析

想让模型“忘掉”数据

必须靠专门设计的算法与技术  

面对这些风险,大模型必须具备主动删除数据的能力。当前,全球各国高度重视AI时代的个人信息保护,各国陆续出台的人工智能、数据安全、个人信息保护相关法规,核心要求之一,就是保障用户的个人信息删除权。我国则是以网络安全法、数据安全法、个人信息保护法为基础,结合《生成式人工智能服务管理暂行办法》等规定,构建起了完善的法治体系,要求个人信息处理者依法响应查阅、复制、更正、删除等用户请求。

从传统技术路线来看,删除服务器上的数据即可完成义务,在大模型场景下,企业即便主观上不想留存用户信息,模型在服务过程中也会不自觉地“记住”相关数据,想让模型“忘掉”数据,则必须依靠专门设计的算法与技术来实现。

据秦湛介绍,“遗忘学习”是当前保障用户数据删除权最关键也是唯一可行的技术路径,其核心原理是让人工智能像人一样,主动忘掉不该记住的数据。其核心目标主要有三点:首先,确保目标数据及关联信息被彻底清除,真正落实用户删除权;其次,执行开销足够低,不影响模型正常业务运行;第三,删除后不损害模型整体性能,不能让模型因为“忘数据”而“变笨”。  

研究

实现“不停服删除信息”

破解“信息纠缠”难题  

秦湛指出,数据遗忘的核心难点在于,模型中的各类信息存在相互纠缠与关联性。例如,无法在遗忘某道菜的做法时,不影响对其他菜品做法的记忆。

据悉,浙大团队在数据遗忘与遗忘学习领域较早已开展研究,其中一项核心成果聚焦于模型在线运行状态下的数据遗忘问题。该成果构建了模型在线遗忘机制,可在模型不停服、不中断服务的前提下完成敏感信息删除,有效解决了模型上线后发现问题却无法随意停机更新的行业痛点。同时,针对模型内信息的纠缠与关联,该方法能够在清除目标信息的同时,最大限度保护模型的通用能力。

秦湛表示,未来1-2年,这一领域将迎来几个重要方向:一是针对文本、对话、图像等不同场景定制化遗忘算法,提升落地实用性;二是面向大模型智能体架构,覆盖短期记忆、长期记忆、内部记忆、外部记忆,构建全链路遗忘体系;三是推动遗忘技术与传统数据删除、访问控制、脱敏技术协同落地,真正完整、可靠地保障用户个人信息删除权。    采写:南都记者 张雨亭  

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

惠创联盟免费听股票课程经销商协... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!如果你正苦于不知如...
同花顺金融大师实际效果与宣传不... 曙光语录:如果真的有那么好的实力,他们还收这点服务费?不是早就赚的盆满钵满了?有时候不是道理太难懂,...
居.易酒业(深圳)集团有限公司... 如果你正苦于不知如何着手挽回损失,或者担心自己处理不好,可以添加锐明法律微信随时在线,电话同步:19...
贵州中酒颐和品牌管理有限公司直... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。" 投资路上,信...
财合联盟直播间陈斌、罗老师、刘... 如果你正苦于不知如何着手挽回损失,或者担心自己处理不好,可以添加锐明法律微信随时在线,电话同步:19...
中融资本直播间陈彦君、毕有财老... 手里有闲钱,想靠投资赚点 “被动收入”,却怕踩坑?相信这是很多普通投资者的真实困扰。今天就以一位投资...
湖南金证金点股vip组合可以退...   金证投资确实是一家正规的投顾公司。但这并不能说明他们公司的宣传就符合实际,从案例中不难看出,业务...
中志浩刺梨产业开发(贵州)有限... 如果你正苦于不知如何着手挽回损失,或者担心自己处理不好,可以添加锐明法律微信随时在线,电话同步:19...
惠创联盟免费听股票课程经销商协... 追损是个系统工程,如果你正苦于不知如何着手挽回损失,或者担心自己处理不好,可以添加锐明法律微信随时在...
领航商学院私董会周聪深圳市居.... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!如果你正苦于不知如...
广东酱王国际控股有限公司什么时... 如果你正苦于不知如何着手挽回损失,或者担心自己处理不好,可以添加锐明法律微信随时在线,电话同步:19...
北京天相财富顾问推荐的股票亏了... 北.京天相财富管理顾问有限公司以下简称“天相投顾”,旗下的“股多多”股票软件怎么样?在天相投顾业务员...
惠创联盟直播间李总股票课程推荐... 手里有闲钱,想靠投资赚点 “被动收入”,却怕踩坑?相信这是很多普通投资者的真实困扰。今天就以一位投资...
居.易(深圳)酒业集团有限公司... 追损是个系统工程,如果你正苦于不知如何着手挽回损失,或者担心自己处理不好,可以添加锐明法律微信随时在...
中志浩刺梨产业开发(贵州)有限... 如果你正苦于不知如何着手挽回损失,或者担心自己处理不好,可以添加锐明法律微信随时在线,电话同步:19...
大决策财经投资公司不靠谱!套路... 大决策证券都是通过给你发一些所谓的盈利截图或者是做概率分发,给你展示,或者是说让你验证他们的实力,骗...
中酒颐和(深圳)品牌发展有限公... 如果你正苦于不知如何着手挽回损失,或者担心自己处理不好,可以添加锐明法律微信随时在线,电话同步:19...
鸿志投研直播讲堂李建军、王志文... 如果你正苦于不知如何着手挽回损失,或者担心自己处理不好,可以添加锐明法律微信随时在线,电话同步:19...
先锋商学院私董会周聪居.易酒业... 如果你正苦于不知如何着手挽回损失,或者担心自己处理不好,可以添加锐明法律微信随时在线,电话同步:19...
同花顺的金融大师服务靠谱吗?股... 曙光语录:如果真的有那么好的实力,他们还收这点服务费?不是早就赚的盆满钵满了?有时候不是道理太难懂,...
先锋商学院私董会周聪居.易酒业... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!事情要从一场股票直...
幸福课堂老刘推荐深圳迎宾品牌发... 手里有闲钱,想靠投资赚点 “被动收入”,却怕踩坑?相信这是很多普通投资者的真实困扰。今天就以一位投资...
财合联盟直播间认购居.易酒业(... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!如果你正苦于不知如...
领航商学院私董会周聪深圳市居.... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!追损是个系统工程,...
上海利多星投资公司不靠谱!套路... (欢迎来电或添加:185 0274 8116)咨询了解如何收集证据并追回被骗资金!利多星智投的智慧星...