用户匿名对话AI 仍被扒出真实身份
创始人
2026-04-07 12:12:44

以为匿名用大模型就安全?AI拼拼凑凑照样认出你,甚至还能扒出疾病、财产等高度敏感信息!南都记者测评多款大模型发现:部分主流大模型可被多轮渐进式对话诱导,输出还原用户真实身份。

在3月31日召开的全国网络安全标准化技术委员会2026年第一次标准周“个人信息保护标准解读与实践交流会”上,浙江大学网络空间安全学院副院长秦湛抛出观点:人工智能大模型基于数千亿参数的超大规模神经网络架构,在训练和交互过程中,会隐性记忆、残留存储用户数据。因此,让大模型真正“忘掉”数据,成为保障用户个人信息删除权的关键路径。

测评

大模型隐性记忆用户数据

借多轮对话可诱导套取  

人工智能本质上是数据驱动的,它既是数据最大的使用者,也是数据最大的生产者,以前所未有的速度和规模释放着数据的价值。但与此同时,人工智能数据也伴随着泄露、篡改、污染等问题。交流会上,秦湛带来题为《人工智能新技术视角下的用户个人信息删除研究》的报告,系统阐述了大模型时代个人信息删除的核心难题、技术路径与未来方向,为AI治理与个人信息权益保护提供了重要的学术支撑与实践参考。

秦湛指出,人工智能大模型基于数千亿参数的超大规模神经网络架构,在训练和交互过程中,会隐性记忆、残留存储用户数据,这些数据并不是存在于独立的硬盘中,而是直接“印”在模型的参数里。攻击者可以通过成员推理攻击、数据提取攻击等手段,借助多轮对话诱导,从模型中套取这些残留信息。

更值得警惕的是,大模型具备批量去匿名化能力。秦湛提到,即便用户在使用模型时已做匿名处理,全程没有主动填写个人信息,攻击者依然可以通过语言习惯、关注话题、特定称谓等碎片化信息,结合搜索引擎与大模型分析,完成去匿名化,精准锁定个人身份。在医疗大模型等敏感场景中,这类攻击甚至可以推导出更核心的生命健康数据。

南都记者测评多款大模型发现:通过多轮渐进式对话,即便未主动提供个人敏感信息,部分主流大模型仍会被诱导输出用户真实身份相关信息。  

分析

想让模型“忘掉”数据

必须靠专门设计的算法与技术  

面对这些风险,大模型必须具备主动删除数据的能力。当前,全球各国高度重视AI时代的个人信息保护,各国陆续出台的人工智能、数据安全、个人信息保护相关法规,核心要求之一,就是保障用户的个人信息删除权。我国则是以网络安全法、数据安全法、个人信息保护法为基础,结合《生成式人工智能服务管理暂行办法》等规定,构建起了完善的法治体系,要求个人信息处理者依法响应查阅、复制、更正、删除等用户请求。

从传统技术路线来看,删除服务器上的数据即可完成义务,在大模型场景下,企业即便主观上不想留存用户信息,模型在服务过程中也会不自觉地“记住”相关数据,想让模型“忘掉”数据,则必须依靠专门设计的算法与技术来实现。

据秦湛介绍,“遗忘学习”是当前保障用户数据删除权最关键也是唯一可行的技术路径,其核心原理是让人工智能像人一样,主动忘掉不该记住的数据。其核心目标主要有三点:首先,确保目标数据及关联信息被彻底清除,真正落实用户删除权;其次,执行开销足够低,不影响模型正常业务运行;第三,删除后不损害模型整体性能,不能让模型因为“忘数据”而“变笨”。  

研究

实现“不停服删除信息”

破解“信息纠缠”难题  

秦湛指出,数据遗忘的核心难点在于,模型中的各类信息存在相互纠缠与关联性。例如,无法在遗忘某道菜的做法时,不影响对其他菜品做法的记忆。

据悉,浙大团队在数据遗忘与遗忘学习领域较早已开展研究,其中一项核心成果聚焦于模型在线运行状态下的数据遗忘问题。该成果构建了模型在线遗忘机制,可在模型不停服、不中断服务的前提下完成敏感信息删除,有效解决了模型上线后发现问题却无法随意停机更新的行业痛点。同时,针对模型内信息的纠缠与关联,该方法能够在清除目标信息的同时,最大限度保护模型的通用能力。

秦湛表示,未来1-2年,这一领域将迎来几个重要方向:一是针对文本、对话、图像等不同场景定制化遗忘算法,提升落地实用性;二是面向大模型智能体架构,覆盖短期记忆、长期记忆、内部记忆、外部记忆,构建全链路遗忘体系;三是推动遗忘技术与传统数据删除、访问控制、脱敏技术协同落地,真正完整、可靠地保障用户个人信息删除权。    采写:南都记者 张雨亭  

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

投资居.易酒业(深圳)集团有限... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。全民理财热潮下,越...
居.易酒业(深圳)集团有限公司... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。当股票群里突然有人...
上海海能证券投顾服务不靠谱,退... 上海海能证券投顾服务不靠谱,退费流程有法可依!误导性宣传欺骗股民,被骗交费可以退款! 在监管的灰色边...
迎宾(深圳)商务咨询有限公司直... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。当你在视频号等短视...
居.易酒业(深圳)集团有限公司... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。网上已经曝光了多起...
积庆课堂刘思德老师居.易酒业(... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"在股市投资中,...
投资居.易酒业(深圳)集团买酒... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。当下,“购买指定白...
中志浩刺梨产业开发(贵州)有限... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。炒股过程中,不少投...
居.易酒业(深圳)集团有限公司... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。炒股圈出现一种新型...
深圳市居.易酒业有限公司上市消... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。如果您近期看过财经...
中志浩刺梨产业开发(贵州)有限... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。买酒就能成为经销商...
忠告!神光投顾服务费怎么追回?... 忠告!神光投顾服务费怎么追回?承诺收益不兑现反被套,老股民教你维权退费!投资有风险,投资需谨慎!针对...
居.易酒业(深圳)集团有限公司... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"近年来,“购买...
深圳迎宾品牌发展有限公司直播间... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合随着各类投资噱头的层...
河南宸邦数据委托承租江苏时代算... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!对于渴望通过炒股实...
居.易酒业(深圳)集团有限公司... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。当前,以“直播间带...
中志浩刺梨产业开发(贵州)有限... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。买酒就能成为经销商...
筑梦人讲堂直播间赵东交流圈推荐... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!当“成为服务代理商...
深圳市居.易文化传播有限公司“... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。“买酒、买高山白茶...
私董会周聪推荐河南宸.邦数据技... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!随着互联网金融的蓬...
李建军、王志文老师直播间战略配... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。随着大众投资需求增...
家族茶话会股票群认购河南宸邦数... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!随着互联网金融的蓬...
李建军、王志文老师直播间战略配... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。投资市场中,骗局的...
深圳市居.易文化电子商务有限公... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。近年来,各类投资骗...
河南宸联网络技术服务有限公司直... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!对于渴望通过炒股实...