深度共情?陪伴型AI要厘清“人机边界”
创始人
2025-12-30 07:17:09

制图:史明磊(元宝AI生成)

2025年12月27日,国家互联网信息办公室发布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》(以下简称《征求意见稿》),向社会公开征求意见。《征求意见稿》明确指出,提供模拟人类互动特征服务的组织或个人被界定为责任主体,须建立算法审核、伦理审查等安全制度。

其中,针对特殊群体的保护措施值得注意。如拟强制推行未成年人模式,要求服务具备时长管理、消费限制等功能并需监护人同意;老年人使用要求设置紧急联系人;设立防沉迷机制用户连续使用超两小时进行提醒等。

预防

实行包容审慎和分类分级监管

《征求意见稿》提出,人工智能拟人化互动服务提供者应当显著提示用户正在与人工智能而非自然人进行交互。

《征求意见稿》界定,人工智能拟人化互动服务是指利用人工智能技术提供模拟人类人格特征、思维模式和沟通风格,通过文字、图片、音频、视频等方式与人类进行情感互动的产品或者服务。相关管理办法适用范围为向我国境内公众提供的拟人化互动服务。

《征求意见稿》明确了“健康发展和依法治理相结合”的原则,鼓励拟人化互动服务创新发展,对拟人化互动服务实行包容审慎和分类分级监管,防止滥用失控。

管理

健全算法机制机理审核等管理制度

针对服务规范,《征求意见稿》明确了八大禁止性活动,包括生成、传播危害国家安全、损害国家荣誉和利益、破坏民族团结、开展非法宗教活动,或者散布谣言扰乱经济和社会秩序等内容;通过算法操纵、信息误导、设置情感陷阱等方式,诱导用户作出不合理决策;诱导、套取涉密敏感信息等。同时,要求服务提供者落实安全主体责任,建立健全算法机制机理审核、科技伦理审查、信息发布审核等管理制度,在拟人化互动服务全生命周期履行安全责任。

针对数据安全与用户保护,《征求意见稿》对训练数据管理提出明确要求,强调使用符合社会主义核心价值观的数据集,防范数据投毒、数据篡改等行为,保障数据合法可追溯等。在用户权益保障上,要求服务提供者应当具备用户状态识别能力,对极端情绪、沉迷倾向用户及时干预;针对未成年人、老年人等重点群体,设置未成年人模式、监护人同意机制、紧急联系人备案等特殊保护措施。

针对关键风险人群,《征求意见稿》设立了差异化的保护条款:对于未成年人,强制推行“未成年人模式”,要求具备身份识别、时长管理、消费限制等功能,且服务须获监护人同意;对于老年人,则禁止模拟其特定亲属身份提供服务,并要求设置紧急联系人。《征求意见稿》设立了“防沉迷”指引,要求服务必须显著标示其AI属性,并在用户连续使用超过两小时时进行弹窗提醒。

针对数据安全管理,《征求意见稿》要求训练数据体现社会主义核心价值观,来源合法、可追溯,并需进行安全清洗与评估。对于交互数据,确立“使用必须获用户单独同意”的原则,明确除非法律另有规定或取得同意,否则不得将用户交互数据用于模型训练。同时,赋予用户及其监护人历史交互数据的删除权,强化了对个人信息自决权的保障。

针对安全评估与报告义务,《征求意见稿》明确安全评估与持续改进义务。在用户规模达到一定阈值、服务发生重大变更或存在显著风险等情形下,提供者必须开展安全评估并上报。评估内容涵盖用户行为分析、风险识别处置、制度执行情况等,推动企业建立常态化的自我审查与风险管控机制。

最后,在监管与处罚机制上建立“报告、备案与核验”组合监管工具,对违规行为可采取约谈、警告、责令整改、暂停服务等阶梯式处置措施。

观点

AI拟人化互动服务治理进入新阶段

有专家指出,该《征求意见稿》的出台,标志着我国对人工智能拟人化互动服务的治理进入系统化、精准化新阶段。直面人工智能拟人化互动服务“情感交互深、用户关系久、影响对象脆弱、价值传递隐蔽”的四大特征,致力于构建“正向引导”与“风险防范”并重的双向治理模式。

其中,陪伴型AI可能引发的“深度共情”风险成为关注焦点。中国信息通信研究院政策与经济研究所副所长李强治解读称,《征求意见稿》通过设立“数字人格关”、“沉迷依赖关”、“生命安全关”这三条防线,系统规范人机关系,并覆盖事前、事中、事后全流程,旨在强化对未成年人和老年人等特殊群体的保护。

西南政法大学校长、中国法学会副会长林维进一步指出,其核心理念是“负责任创新”,核心任务是厘清“人机边界”。《征求意见稿》通过强制身份透明、严格保护情感类个人信息、设立特殊群体保护与防沉迷机制等方式划出安全红线。在治理路径上,则强调全链条责任与多元协同,并创新引入监管沙盒等机制,以平衡安全监管与产业健康发展。

国家互联网应急中心副处长、正高级工程师张震认为,《征求意见稿》是我国人工智能治理体系的一项重要完善。它推动治理维度从传统的数据安全、内容安全,向“情感安全”与“价值导向”延伸,是对人工智能社会化应用深层挑战的一次重要回应。

助力

南都“AI新治向”报道与研究协同治理

2025年以来,南都大数据研究院“AI新治向”栏目多次聚焦AI陪聊、AI主播等AI拟人化服务,关注未成年人保护、内容合规与伦理、用户沉迷及AI主播/数字人侵权风险等问题。如《10岁女孩竟已婚?AI社交应用角色猎奇,露骨诱导未成年人》《AI陪聊应用极端人设诱导充值!实测青少年模式漏洞待堵》等报道通过实测多款AI陪聊软件发现问题漏洞,提出相应的建设性改进意见,并参与《网络安全技术 向未成年人提供生成式人工智能服务安全指引》团体标准编制,助力AI向善发展。

文:南都研究员 孔令旖

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

容维证券服务费可以退吗?答案是... 容维证券服务费可以退吗?答案是肯定的!退费就现在!投资有风险,投资需谨慎!针对网上素未谋面的网友、网...
海能投资收费解析!服务费是可以... 海能投资收费解析!服务费是可以退!宣传于实际不符缴费基本都是亏损!投资有风险,投资需谨慎!针对网上素...
江苏天鼎证券服务不靠谱,可以退... 江苏天鼎证券服务不靠谱,可以退费!有法可依!误导性宣传欺诱导股民,误导交费已退款投资有风险,投资需谨...
云南约牛证券吹嘘实力欺骗投资者... 云南约牛证券吹嘘实力欺骗投资者,49800元已退回!投资有风险,投资需谨慎!针对网上素未谋面的网友、...
江苏天鼎证券服务费怎么退?合法... 江苏天鼎证券服务费怎么退?合法途径助你成功退费!具体退款流程攻略!退费流程公布!投资有风险,投资需谨...
容维证券误导性宣传欺骗股友服务... 容维证券误导性宣传欺骗股友服务费!交费29800元打水漂,维权可退款!投资有风险,投资需谨慎!针对网...
云南约牛证券服务费怎么退?真相... 云南约牛证券服务费怎么退?真相公开,高价服务竟是空头支票可退费!投资有风险,投资需谨慎!针对网上素未...
江苏天鼎证券证券投顾怎么样虚假... 江苏天鼎证券证券投顾怎么样虚假宣传骗取会员费可追回!,受害者已维权退费!投资有风险,投资需谨慎!针对...
策牛深圳科技口碑怎么样?夸大宣... 策牛深圳科技口碑怎么样?夸大宣传真相令人防不胜防!教你怎么退回服务费!投资有风险,投资需谨慎!针对网...
江苏天鼎证券,,层层升级只为收... 江苏天鼎证券,,层层升级只为收取服务费,,可退费!投资有风险,投资需谨慎!针对网上素未谋面的网友、网...
神光投顾服务费能退? 业务员虚... 神光投顾服务费能退? 业务员虚假承诺骗取股民服务费!误导性宣传欺騙股民已退费!投资有风险,投资需谨慎...
海能投顾业务员虚假宣传欺骗消费... 海能投顾业务员虚假宣传欺骗消费者,投顾公司解析,股友欲哭无泪!可追回投资有风险,投资需谨慎!针对网上...
广东博众智能科技推荐的股票怎么... 广东博众智能科技推荐的股票怎么样?虚假宣传欺骗股民不可信,承诺牛股不可信投资有风险,投资需谨慎!针对...
上海海能证券荐股亏损严重,夸大... 上海海能证券荐股亏损严重,夸大误导性宣传可以退款!怂恿交费,别再当冤大头!维权退回服务费用!投资有风...
广东博众智能科技交的服务费能退... 广东博众智能科技交的服务费能退!缴费实为陷进,大家引以为戒投资有风险,投资需谨慎!针对网上素未谋面的...
河北源达公司坑了服务费咋整?别... 河北源达公司坑了服务费咋整?别慌,维权退费指南来了!投资有风险,投资需谨慎!针对网上素未谋面的网友、...
广东博众智能科技可信吗? 宣传... 广东博众智能科技可信吗? 宣传与实际两回事!服务费已退!投资有风险,投资需谨慎!针对网上素未谋面的网...
云南约牛证券缴费炒股能赚钱吗?... 云南约牛证券缴费炒股能赚钱吗?真实案例分析?不要上当投资有风险,投资需谨慎!针对网上素未谋面的网友、...
容维证券服务费能退吗?夸大荐股... 容维证券服务费能退吗?夸大荐股实力!说交费后跟赚,结果却事与愿违!投顾服务费被骗真相曝光!全是套路!...
海能投资选股可靠吗,虚假宣传不... 海能投资选股可靠吗,虚假宣传不可靠,教你一招快速退费!68000,已成功退费!投资有风险,投资需谨慎...
策牛深圳科技推荐的股票靠谱吗?... 策牛深圳科技推荐的股票靠谱吗? 答案是:可以退的!退款流程公布!误导性宣传欺骗股民已退费投资有风险,...
策牛深圳科技资选股可靠吗?误导... 策牛深圳科技资选股可靠吗?误导性宣传!缴费亏损推脱市场部好!交费荐股套路防不胜防!退费流程我来告诉你...
云南约牛软件交费被坑?投顾服务... 云南约牛软件交费被坑?投顾服务费,有法可依轻松追回!投资有风险,投资需谨慎!针对网上素未谋面的网友、...
容维证券怎么退? 能退款方法分... 容维证券怎么退? 能退款方法分享!误导性宣传高收益诱导升级被坑一招退费!投资有风险,投资需谨慎!针对...
广东博众投资吹嘘收益怂恿缴费,... 广东博众投资吹嘘收益怂恿缴费,大量投资者被骗,承诺收益!,退费流程分享!投资有风险,投资需谨慎!针对...