深度共情?陪伴型AI要厘清“人机边界”
创始人
2025-12-30 07:17:09

制图:史明磊(元宝AI生成)

2025年12月27日,国家互联网信息办公室发布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》(以下简称《征求意见稿》),向社会公开征求意见。《征求意见稿》明确指出,提供模拟人类互动特征服务的组织或个人被界定为责任主体,须建立算法审核、伦理审查等安全制度。

其中,针对特殊群体的保护措施值得注意。如拟强制推行未成年人模式,要求服务具备时长管理、消费限制等功能并需监护人同意;老年人使用要求设置紧急联系人;设立防沉迷机制用户连续使用超两小时进行提醒等。

预防

实行包容审慎和分类分级监管

《征求意见稿》提出,人工智能拟人化互动服务提供者应当显著提示用户正在与人工智能而非自然人进行交互。

《征求意见稿》界定,人工智能拟人化互动服务是指利用人工智能技术提供模拟人类人格特征、思维模式和沟通风格,通过文字、图片、音频、视频等方式与人类进行情感互动的产品或者服务。相关管理办法适用范围为向我国境内公众提供的拟人化互动服务。

《征求意见稿》明确了“健康发展和依法治理相结合”的原则,鼓励拟人化互动服务创新发展,对拟人化互动服务实行包容审慎和分类分级监管,防止滥用失控。

管理

健全算法机制机理审核等管理制度

针对服务规范,《征求意见稿》明确了八大禁止性活动,包括生成、传播危害国家安全、损害国家荣誉和利益、破坏民族团结、开展非法宗教活动,或者散布谣言扰乱经济和社会秩序等内容;通过算法操纵、信息误导、设置情感陷阱等方式,诱导用户作出不合理决策;诱导、套取涉密敏感信息等。同时,要求服务提供者落实安全主体责任,建立健全算法机制机理审核、科技伦理审查、信息发布审核等管理制度,在拟人化互动服务全生命周期履行安全责任。

针对数据安全与用户保护,《征求意见稿》对训练数据管理提出明确要求,强调使用符合社会主义核心价值观的数据集,防范数据投毒、数据篡改等行为,保障数据合法可追溯等。在用户权益保障上,要求服务提供者应当具备用户状态识别能力,对极端情绪、沉迷倾向用户及时干预;针对未成年人、老年人等重点群体,设置未成年人模式、监护人同意机制、紧急联系人备案等特殊保护措施。

针对关键风险人群,《征求意见稿》设立了差异化的保护条款:对于未成年人,强制推行“未成年人模式”,要求具备身份识别、时长管理、消费限制等功能,且服务须获监护人同意;对于老年人,则禁止模拟其特定亲属身份提供服务,并要求设置紧急联系人。《征求意见稿》设立了“防沉迷”指引,要求服务必须显著标示其AI属性,并在用户连续使用超过两小时时进行弹窗提醒。

针对数据安全管理,《征求意见稿》要求训练数据体现社会主义核心价值观,来源合法、可追溯,并需进行安全清洗与评估。对于交互数据,确立“使用必须获用户单独同意”的原则,明确除非法律另有规定或取得同意,否则不得将用户交互数据用于模型训练。同时,赋予用户及其监护人历史交互数据的删除权,强化了对个人信息自决权的保障。

针对安全评估与报告义务,《征求意见稿》明确安全评估与持续改进义务。在用户规模达到一定阈值、服务发生重大变更或存在显著风险等情形下,提供者必须开展安全评估并上报。评估内容涵盖用户行为分析、风险识别处置、制度执行情况等,推动企业建立常态化的自我审查与风险管控机制。

最后,在监管与处罚机制上建立“报告、备案与核验”组合监管工具,对违规行为可采取约谈、警告、责令整改、暂停服务等阶梯式处置措施。

观点

AI拟人化互动服务治理进入新阶段

有专家指出,该《征求意见稿》的出台,标志着我国对人工智能拟人化互动服务的治理进入系统化、精准化新阶段。直面人工智能拟人化互动服务“情感交互深、用户关系久、影响对象脆弱、价值传递隐蔽”的四大特征,致力于构建“正向引导”与“风险防范”并重的双向治理模式。

其中,陪伴型AI可能引发的“深度共情”风险成为关注焦点。中国信息通信研究院政策与经济研究所副所长李强治解读称,《征求意见稿》通过设立“数字人格关”、“沉迷依赖关”、“生命安全关”这三条防线,系统规范人机关系,并覆盖事前、事中、事后全流程,旨在强化对未成年人和老年人等特殊群体的保护。

西南政法大学校长、中国法学会副会长林维进一步指出,其核心理念是“负责任创新”,核心任务是厘清“人机边界”。《征求意见稿》通过强制身份透明、严格保护情感类个人信息、设立特殊群体保护与防沉迷机制等方式划出安全红线。在治理路径上,则强调全链条责任与多元协同,并创新引入监管沙盒等机制,以平衡安全监管与产业健康发展。

国家互联网应急中心副处长、正高级工程师张震认为,《征求意见稿》是我国人工智能治理体系的一项重要完善。它推动治理维度从传统的数据安全、内容安全,向“情感安全”与“价值导向”延伸,是对人工智能社会化应用深层挑战的一次重要回应。

助力

南都“AI新治向”报道与研究协同治理

2025年以来,南都大数据研究院“AI新治向”栏目多次聚焦AI陪聊、AI主播等AI拟人化服务,关注未成年人保护、内容合规与伦理、用户沉迷及AI主播/数字人侵权风险等问题。如《10岁女孩竟已婚?AI社交应用角色猎奇,露骨诱导未成年人》《AI陪聊应用极端人设诱导充值!实测青少年模式漏洞待堵》等报道通过实测多款AI陪聊软件发现问题漏洞,提出相应的建设性改进意见,并参与《网络安全技术 向未成年人提供生成式人工智能服务安全指引》团体标准编制,助力AI向善发展。

文:南都研究员 孔令旖

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

手机镜头是圆的照片却是方的:成... 手机的摄像头明明是圆的,拍出的照片却规规矩矩是方形。有人以为是后期裁切,有人怀疑浪费边角。其实两处形...
贵州茅台(600519)走势与... 数据口径说明事实:行情来自腾讯自选股接口,截止 2026-11-19 收盘;财报为 A 股人民币合并...
诺华制药(NVS)走势与财报综... 诺华制药(NVS)走势与财报综合研判数据口径说明|事实:行情与技术指标截至 2026-11-19 美...
《简·爱》:在等级与偏见中守住... 一、为什么在今天还要读《简·爱》很多经典是被"知道"而非被"读过"的,《简·爱》大概是最典型的一种。...
强生(JNJ)走势与财报综合研... 数据口径说明事实:行情为 westock 数据接口 2026-11-19 快照,但当日 K 线与 1...
《人生》:城乡岔路口上,一个青... 一、为什么在四十多年后还要读《人生》路遥一生写农民与土地,写得最疼的一本,我以为是《人生》。这部发表...
联想集团(00992.HK)走... 数据口径说明事实:本文为联想集团(hk00992,中国香港注册)研究性分析。行情与技术指标来自腾讯自...
塑料杯装热水后杯壁上的小水珠其... 往塑料杯里倒热水,不少人发现水面以下的杯壁内侧挂着一层细密小水珠,像杯子在"冒汗"。有人担心是塑料析...
《倾城之恋》:倾城之下的爱情博... 一、为什么在七十多年后还要读《倾城之恋》在张爱玲浩繁的作品里,《倾城之恋》是最常被提起、也最容易被误...
重读《红高粱家族》:在血色高粱... 一、为什么在今天重读这本书莫言的名字早已和诺贝尔文学奖连在一起,但很多人对他的印象停留在"魔幻现实主...
红外线报警器是什么?工厂和仓库... 做工厂安保、仓库防盗的朋友应该对红外线报警器不陌生,围墙上面每隔几十米装一对,中间拉着看不见的红外光...
《儒林外史》:在功名富贵里照见... 一、为什么重读这部古典讽刺小说中学课本里那个"范进中举"的片段,曾让我以为《儒林外史》只是一本好笑的...
《日出》:损不足以奉有余的世道... 一、为什么读这本书读曹禺,很多人止步于《雷雨》。那一声惊雷劈开封建家庭的黑门,戏剧张力足到近乎密不透...
《城南旧事》:在童眼看不懂的离... 一、为什么读这本书在读过许多以宏大叙事见长的现代经典之后,我反而想回到一本薄薄的小书。《城南旧事》只...
《百年孤独》:七代人的轮回里,... 一、为什么重读这本书读《百年孤独》之前,我把它当作一部难啃的"魔幻现实主义"经典:人名冗长、世代交错...
山寨iPad是什么?2010年... 山寨iPad这个词,说的是2010年前后深圳华强北冒出来的一大批仿制平板电脑。2010年1月乔布斯发...
《尘埃落定》:傻子视角下土司王... 一、为什么读这本书在当代文学里,写藏族题材的作品并不少见,但真正能从内部写出一个民族的心理结构与历史...
《寒夜》:胜利之夜死去的小职员... 一、为什么在胜利叙事之外重读《寒夜》很多人知道巴金是因为《家》,那是一部充满青春激情、喊出反封建声音...
《茶馆》:小茶馆里的大时代与众... 一、为什么重读《茶馆》在老舍浩繁的作品中,《茶馆》是个异数。它不像《骆驼祥子》那样追踪一个人的坠落,...
《三体》:在星空与人性之间叩问... 一、为什么在众多科幻里选择《三体》提起中国科幻,刘慈欣的《三体》几乎是一座绕不开的高山。它由重庆出版...
医疗设备网是干什么的?医院采购... 医疗设备网不是一个具体站点的名字,而是一类网站的统称——专门给医疗器械行业做信息聚合和供需对接的门户...
朝花夕拾:在温馨回忆与理性批判... 一、为什么重读这本回忆之书很多人对鲁迅的印象,停留在横眉冷对、投枪匕首式的小说与杂文里,仿佛他只余愤...
四世同堂:小羊圈胡同里的家国浮... 一、为什么在这个时代重读老舍自己说过,《四世同堂》大概是他写得最长、也可能是最好的一本书。它写于抗战...
《许三观卖血记》:在重复卖血中... 一、为什么在《活着》之后还要读这一本余华的长篇里,《活着》和《许三观卖血记》常被放在一起谈,但两本书...
网通不能用路由器是怎么回事?早... 早年用过网通ADSL的朋友,估计都踩过这么一个坑:家里新买了台无线路由器,兴冲冲接上,设置半天,结果...