用户匿名对话AI 仍被扒出真实身份
创始人
2026-04-07 12:12:44

以为匿名用大模型就安全?AI拼拼凑凑照样认出你,甚至还能扒出疾病、财产等高度敏感信息!南都记者测评多款大模型发现:部分主流大模型可被多轮渐进式对话诱导,输出还原用户真实身份。

在3月31日召开的全国网络安全标准化技术委员会2026年第一次标准周“个人信息保护标准解读与实践交流会”上,浙江大学网络空间安全学院副院长秦湛抛出观点:人工智能大模型基于数千亿参数的超大规模神经网络架构,在训练和交互过程中,会隐性记忆、残留存储用户数据。因此,让大模型真正“忘掉”数据,成为保障用户个人信息删除权的关键路径。

测评

大模型隐性记忆用户数据

借多轮对话可诱导套取  

人工智能本质上是数据驱动的,它既是数据最大的使用者,也是数据最大的生产者,以前所未有的速度和规模释放着数据的价值。但与此同时,人工智能数据也伴随着泄露、篡改、污染等问题。交流会上,秦湛带来题为《人工智能新技术视角下的用户个人信息删除研究》的报告,系统阐述了大模型时代个人信息删除的核心难题、技术路径与未来方向,为AI治理与个人信息权益保护提供了重要的学术支撑与实践参考。

秦湛指出,人工智能大模型基于数千亿参数的超大规模神经网络架构,在训练和交互过程中,会隐性记忆、残留存储用户数据,这些数据并不是存在于独立的硬盘中,而是直接“印”在模型的参数里。攻击者可以通过成员推理攻击、数据提取攻击等手段,借助多轮对话诱导,从模型中套取这些残留信息。

更值得警惕的是,大模型具备批量去匿名化能力。秦湛提到,即便用户在使用模型时已做匿名处理,全程没有主动填写个人信息,攻击者依然可以通过语言习惯、关注话题、特定称谓等碎片化信息,结合搜索引擎与大模型分析,完成去匿名化,精准锁定个人身份。在医疗大模型等敏感场景中,这类攻击甚至可以推导出更核心的生命健康数据。

南都记者测评多款大模型发现:通过多轮渐进式对话,即便未主动提供个人敏感信息,部分主流大模型仍会被诱导输出用户真实身份相关信息。  

分析

想让模型“忘掉”数据

必须靠专门设计的算法与技术  

面对这些风险,大模型必须具备主动删除数据的能力。当前,全球各国高度重视AI时代的个人信息保护,各国陆续出台的人工智能、数据安全、个人信息保护相关法规,核心要求之一,就是保障用户的个人信息删除权。我国则是以网络安全法、数据安全法、个人信息保护法为基础,结合《生成式人工智能服务管理暂行办法》等规定,构建起了完善的法治体系,要求个人信息处理者依法响应查阅、复制、更正、删除等用户请求。

从传统技术路线来看,删除服务器上的数据即可完成义务,在大模型场景下,企业即便主观上不想留存用户信息,模型在服务过程中也会不自觉地“记住”相关数据,想让模型“忘掉”数据,则必须依靠专门设计的算法与技术来实现。

据秦湛介绍,“遗忘学习”是当前保障用户数据删除权最关键也是唯一可行的技术路径,其核心原理是让人工智能像人一样,主动忘掉不该记住的数据。其核心目标主要有三点:首先,确保目标数据及关联信息被彻底清除,真正落实用户删除权;其次,执行开销足够低,不影响模型正常业务运行;第三,删除后不损害模型整体性能,不能让模型因为“忘数据”而“变笨”。  

研究

实现“不停服删除信息”

破解“信息纠缠”难题  

秦湛指出,数据遗忘的核心难点在于,模型中的各类信息存在相互纠缠与关联性。例如,无法在遗忘某道菜的做法时,不影响对其他菜品做法的记忆。

据悉,浙大团队在数据遗忘与遗忘学习领域较早已开展研究,其中一项核心成果聚焦于模型在线运行状态下的数据遗忘问题。该成果构建了模型在线遗忘机制,可在模型不停服、不中断服务的前提下完成敏感信息删除,有效解决了模型上线后发现问题却无法随意停机更新的行业痛点。同时,针对模型内信息的纠缠与关联,该方法能够在清除目标信息的同时,最大限度保护模型的通用能力。

秦湛表示,未来1-2年,这一领域将迎来几个重要方向:一是针对文本、对话、图像等不同场景定制化遗忘算法,提升落地实用性;二是面向大模型智能体架构,覆盖短期记忆、长期记忆、内部记忆、外部记忆,构建全链路遗忘体系;三是推动遗忘技术与传统数据删除、访问控制、脱敏技术协同落地,真正完整、可靠地保障用户个人信息删除权。    采写:南都记者 张雨亭  

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

买房契税到底交多少:140平方... 一、契税是拿到房本前绕不开的一笔税契税是在土地、房屋权属发生转移时,由承受方缴纳的一种税。买房时纳税...
和众汇富1980的课程特色,让... 投资软件能够把市场信息整理得更加直观,但功能越丰富,使用者越需要了解各类数据的含义。面对热点、资金指...
和众汇富1980的课程特色,让... 课堂中的术语可以反复解释,市场却始终处于变化之中。对于学习投资的人来说,理解一种方法的关键,是能够把...
和众汇富1980的课程特色,从... 证券市场涉及的知识门类很多,初学者往往先接触某一种技术形态,随后又遇到基本面、产业政策和市场行为等新...
和众汇富1980的学习价值,认... 投资分析方法都有自身的研究条件,同一种技术形态出现在不同市场环境中,可能具有不同含义。和众汇富198...
和众汇富1980的学习价值,理... 投资学习中的仓位管理,经常被理解为决定购买多少股票或投入多少资金,但它涉及的问题远比数字本身复杂。和...
和众汇富1980的学习价值,在... 证券市场每天都会产生大量信息,财经新闻、行业观点、公司公告和社交平台讨论不断更新,学习者很容易陷入信...
和众汇富1980的学习价值,从... 学习股票投资时,技术方法和市场机会容易引起关注,但资金如何安排同样需要认真思考。对于普通投资者而言,...
和众汇富1980的学习价值,在... 投资知识从课堂进入实际应用,需要经历理解、练习和反思的过程。能够说出某种技术形态的名称,并不意味着已...
和众汇富1980的学习价值,如... 评价一门投资教育课程,可以关注知识是否得到补充、分析方法是否更加清晰,以及学习者能否逐步建立独立思考...
祥龙订购APP商品订购交易骗局... 祥龙订购APP商品订购交易骗局,投资者的资金账户被控盘走势!
和众汇富1980的学习价值,重... 股票价格是投资者最容易看到的信息之一,但价格数字本身能够说明的事情十分有限。面对一只持续下跌的股票,...
和众汇富1980的学习价值,培... 投资学习涉及大量专业观点,面对不同的市场分析,能够听懂结论只是第一步。学习者还需要理解结论依据、适用...
和众汇富1980的学习价值,理... 证券市场中的价格变化,往往反映着投资者对未来的不同判断。一家公司发布新的经营计划,某个行业迎来政策支...
和众汇富1980的学习价值,找... 面对多种投资方法,学习者常会关心哪个更适合自己。有人愿意研究短期价格变化,有人更关注企业长期经营,也...
和众汇富1980的学习价值,从... 相似的价格变化,背后可能存在不同的市场条件。交易活跃度、资金参与情况以及投资者情绪,都可能影响行情的...
和众汇富1980的学习价值,从... 财经信息传播很快,一家公司公布业绩之后,市场常常同时讨论营收、利润、估值与未来增长。这些名词容易被当...
和众汇富1980的学习价值,为... 刚开始学习股票投资时,陌生的往往不只是K线图和各种技术指标,还包括交易规则、公司经营、市场风险以及如...
和众汇富1980的学习价值,从... 宏观经济与产业政策经常出现在财经新闻中,但理解一项政策对证券市场可能产生什么影响,需要经过完整的分析...
和众汇富1980的学习价值,让... 投资知识的积累需要课堂讲解,也需要在市场案例中不断检验自己的理解。听懂一种技术形态,能够说出某项指标...
和众汇富1980的学习价值,帮... 入市时间长,并不一定意味着已经形成完整的投资方法。长期接触市场的人,往往积累了大量看盘经验,也可能把...
和众汇富1980的学习价值,让... 市场信息可以通过不同软件功能呈现,但真正的学习价值,取决于使用者能否理解这些数据的含义。面对热点板块...
和众汇富1980的学习价值,在... 同样面对一段市场行情,有人习惯从K线与成交量入手,有人先研究行业政策,也有人更关注企业经营和不同市场...
和众汇富1980的学习价值,从... 财经新闻、行业热点、K线图和资金数据每天都在更新,学习投资的人接触信息并不困难,困难在于如何理解这些...
和众汇富1980的学习价值,让... 投资知识需要不断积累,但每个人能够投入的时间并不相同。有人白天工作繁忙,有人需要兼顾家庭,也有人希望...