深度共情?陪伴型AI要厘清“人机边界”
创始人
2025-12-30 07:17:09

制图:史明磊(元宝AI生成)

2025年12月27日,国家互联网信息办公室发布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》(以下简称《征求意见稿》),向社会公开征求意见。《征求意见稿》明确指出,提供模拟人类互动特征服务的组织或个人被界定为责任主体,须建立算法审核、伦理审查等安全制度。

其中,针对特殊群体的保护措施值得注意。如拟强制推行未成年人模式,要求服务具备时长管理、消费限制等功能并需监护人同意;老年人使用要求设置紧急联系人;设立防沉迷机制用户连续使用超两小时进行提醒等。

预防

实行包容审慎和分类分级监管

《征求意见稿》提出,人工智能拟人化互动服务提供者应当显著提示用户正在与人工智能而非自然人进行交互。

《征求意见稿》界定,人工智能拟人化互动服务是指利用人工智能技术提供模拟人类人格特征、思维模式和沟通风格,通过文字、图片、音频、视频等方式与人类进行情感互动的产品或者服务。相关管理办法适用范围为向我国境内公众提供的拟人化互动服务。

《征求意见稿》明确了“健康发展和依法治理相结合”的原则,鼓励拟人化互动服务创新发展,对拟人化互动服务实行包容审慎和分类分级监管,防止滥用失控。

管理

健全算法机制机理审核等管理制度

针对服务规范,《征求意见稿》明确了八大禁止性活动,包括生成、传播危害国家安全、损害国家荣誉和利益、破坏民族团结、开展非法宗教活动,或者散布谣言扰乱经济和社会秩序等内容;通过算法操纵、信息误导、设置情感陷阱等方式,诱导用户作出不合理决策;诱导、套取涉密敏感信息等。同时,要求服务提供者落实安全主体责任,建立健全算法机制机理审核、科技伦理审查、信息发布审核等管理制度,在拟人化互动服务全生命周期履行安全责任。

针对数据安全与用户保护,《征求意见稿》对训练数据管理提出明确要求,强调使用符合社会主义核心价值观的数据集,防范数据投毒、数据篡改等行为,保障数据合法可追溯等。在用户权益保障上,要求服务提供者应当具备用户状态识别能力,对极端情绪、沉迷倾向用户及时干预;针对未成年人、老年人等重点群体,设置未成年人模式、监护人同意机制、紧急联系人备案等特殊保护措施。

针对关键风险人群,《征求意见稿》设立了差异化的保护条款:对于未成年人,强制推行“未成年人模式”,要求具备身份识别、时长管理、消费限制等功能,且服务须获监护人同意;对于老年人,则禁止模拟其特定亲属身份提供服务,并要求设置紧急联系人。《征求意见稿》设立了“防沉迷”指引,要求服务必须显著标示其AI属性,并在用户连续使用超过两小时时进行弹窗提醒。

针对数据安全管理,《征求意见稿》要求训练数据体现社会主义核心价值观,来源合法、可追溯,并需进行安全清洗与评估。对于交互数据,确立“使用必须获用户单独同意”的原则,明确除非法律另有规定或取得同意,否则不得将用户交互数据用于模型训练。同时,赋予用户及其监护人历史交互数据的删除权,强化了对个人信息自决权的保障。

针对安全评估与报告义务,《征求意见稿》明确安全评估与持续改进义务。在用户规模达到一定阈值、服务发生重大变更或存在显著风险等情形下,提供者必须开展安全评估并上报。评估内容涵盖用户行为分析、风险识别处置、制度执行情况等,推动企业建立常态化的自我审查与风险管控机制。

最后,在监管与处罚机制上建立“报告、备案与核验”组合监管工具,对违规行为可采取约谈、警告、责令整改、暂停服务等阶梯式处置措施。

观点

AI拟人化互动服务治理进入新阶段

有专家指出,该《征求意见稿》的出台,标志着我国对人工智能拟人化互动服务的治理进入系统化、精准化新阶段。直面人工智能拟人化互动服务“情感交互深、用户关系久、影响对象脆弱、价值传递隐蔽”的四大特征,致力于构建“正向引导”与“风险防范”并重的双向治理模式。

其中,陪伴型AI可能引发的“深度共情”风险成为关注焦点。中国信息通信研究院政策与经济研究所副所长李强治解读称,《征求意见稿》通过设立“数字人格关”、“沉迷依赖关”、“生命安全关”这三条防线,系统规范人机关系,并覆盖事前、事中、事后全流程,旨在强化对未成年人和老年人等特殊群体的保护。

西南政法大学校长、中国法学会副会长林维进一步指出,其核心理念是“负责任创新”,核心任务是厘清“人机边界”。《征求意见稿》通过强制身份透明、严格保护情感类个人信息、设立特殊群体保护与防沉迷机制等方式划出安全红线。在治理路径上,则强调全链条责任与多元协同,并创新引入监管沙盒等机制,以平衡安全监管与产业健康发展。

国家互联网应急中心副处长、正高级工程师张震认为,《征求意见稿》是我国人工智能治理体系的一项重要完善。它推动治理维度从传统的数据安全、内容安全,向“情感安全”与“价值导向”延伸,是对人工智能社会化应用深层挑战的一次重要回应。

助力

南都“AI新治向”报道与研究协同治理

2025年以来,南都大数据研究院“AI新治向”栏目多次聚焦AI陪聊、AI主播等AI拟人化服务,关注未成年人保护、内容合规与伦理、用户沉迷及AI主播/数字人侵权风险等问题。如《10岁女孩竟已婚?AI社交应用角色猎奇,露骨诱导未成年人》《AI陪聊应用极端人设诱导充值!实测青少年模式漏洞待堵》等报道通过实测多款AI陪聊软件发现问题漏洞,提出相应的建设性改进意见,并参与《网络安全技术 向未成年人提供生成式人工智能服务安全指引》团体标准编制,助力AI向善发展。

文:南都研究员 孔令旖

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

上海汇正财经虚假宣传,欺骗股民... 上海汇正财经虚假宣传,欺骗股民缴费炒股导致亏损,现可依法退费!投资有风险,投资需谨慎!针对网上素未谋...
大决策交了7万8怎么退钱?骗局... 大决策股市赢家怎么退费?能退款方法分享!误导性宣传高收益诱导升级被骗一招退费投资有风险,投资需谨慎!...
汇正财经宣传天花乱坠,实际操作... 汇正财经宣传天花乱坠,实际操作拉胯,服务费可成功退回!最近,不少股民在社交平台吐槽自己被投顾公司坑惨...
大决策交了7万8怎么退钱?依法... 大决策股市赢家怎么退费?能退款方法分享!误导性宣传高收益诱导升级被骗一招退费投资有风险,投资需谨慎!...
海能投顾推荐的股票可靠吗服务费...   海能证券投资顾问怎么样?虚假宣传欺诈消费者荐高位股!股民交费炒股真的很后悔!服务费可以退!  投...
大决策交了7万8怎么退钱?退费... 大决策股市赢家怎么退费?能退款方法分享!误导性宣传高收益诱导升级被骗一招退费投资有风险,投资需谨慎!...
大决策交了7万8怎么退钱?合法... 大决策股市赢家怎么退费?能退款方法分享!误导性宣传高收益诱导升级被骗一招退费投资有风险,投资需谨慎!...
和讯投顾荐股服务不靠谱,亏损之... 和讯投顾荐股服务不靠谱,亏损之后想退费,流程步骤全公开和讯信息科技有限公司怎么样?其荐股服务可信吗?...
开源证券给予武汉蓝电"... 每经AI快讯,开源证券3月25日发布研报称,给予武汉蓝电(920779.SH)"买入"评级。评级理由...
和讯投顾误导交费有内幕,服务承... 和讯投顾误导交费有内幕,服务承诺成空谈,退费方法真实有效和讯信息科技有限公司怎么样?其荐股服务可信吗...
大决策交了7万8怎么退钱?可以... 大决策股市赢家怎么退费?能退款方法分享!误导性宣传高收益诱导升级被骗一招退费投资有风险,投资需谨慎!...
和讯信息虚假、误导性营销宣传,... 和讯信息虚假、误导性营销宣传,诱导股民交服务费,欺骗消费者!
和讯投顾交费荐股总亏损,宣传全... 和讯投顾交费荐股总亏损,宣传全是假象,教你合理追回费用!和讯信息科技有限公司怎么样?其荐股服务可信吗...
大决策交了7万8怎么退钱?想要... 大决策股市赢家怎么退费?能退款方法分享!误导性宣传高收益诱导升级被骗一招退费投资有风险,投资需谨慎!...
和讯投顾夸大实力诱导费,服务效... 和讯投顾夸大实力诱导费,服务效果差太多,成功退费经验分享和讯信息科技有限公司怎么样?其荐股服务可信吗...
大决策交了7万8怎么退钱?返还... 大决策股市赢家怎么退费?能退款方法分享!误导性宣传高收益诱导升级被骗一招退费投资有风险,投资需谨慎!...
和讯投顾荐股公司套路深,交费之... 和讯投顾荐股公司套路深,交费之后大变样,退费流程亲测有效!和讯信息科技有限公司怎么样?其荐股服务可信...
手术视频大模型“术影”开源发布... 3月24日,中国科学院香港创新研究院人工智能与机器人创新中心(CAIR)在香港科学园深圳分园发布“术...
大决策交了7万8怎么退钱?被投... 大决策股市赢家怎么退费?能退款方法分享!误导性宣传高收益诱导升级被骗一招退费投资有风险,投资需谨慎!...
和众汇富科技推荐的股票真的可靠... 和众汇富科技推荐的股票真的可靠吗? 答案是:可以退费!诱导交费可退!5分种了解退费流程公布投资有风险...
天相股多多软件是正规的吗投顾服... 北京天相财富收取股民服务费没效果会员费能退回来?北京天相财富并不靠谱,在北京天相财富业务员的诱导下购...
大决策交了7万8怎么退钱?已追... 大决策股市赢家怎么退费?能退款方法分享!误导性宣传高收益诱导升级被骗一招退费投资有风险,投资需谨慎!...
大决策交了7万8怎么退钱?符合... 大决策股市赢家怎么退费?能退款方法分享!误导性宣传高收益诱导升级被骗一招退费投资有风险,投资需谨慎!...
和信证券误导宣传坑股民,交费容... 和信证券误导宣传坑股民,交费容易退费难,正确方法轻松挽回和信证券服务费是可以退的。如果认为和信证券存...
上海工美有色APP商品订购亏损... 上海工美有色APP商品订购亏损了能退款吗?被诈.骗的钱是可以退! 退费退款流程公布工美有色APP投资...