深度共情?陪伴型AI要厘清“人机边界”
创始人
2025-12-30 07:17:09

制图:史明磊(元宝AI生成)

2025年12月27日,国家互联网信息办公室发布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》(以下简称《征求意见稿》),向社会公开征求意见。《征求意见稿》明确指出,提供模拟人类互动特征服务的组织或个人被界定为责任主体,须建立算法审核、伦理审查等安全制度。

其中,针对特殊群体的保护措施值得注意。如拟强制推行未成年人模式,要求服务具备时长管理、消费限制等功能并需监护人同意;老年人使用要求设置紧急联系人;设立防沉迷机制用户连续使用超两小时进行提醒等。

预防

实行包容审慎和分类分级监管

《征求意见稿》提出,人工智能拟人化互动服务提供者应当显著提示用户正在与人工智能而非自然人进行交互。

《征求意见稿》界定,人工智能拟人化互动服务是指利用人工智能技术提供模拟人类人格特征、思维模式和沟通风格,通过文字、图片、音频、视频等方式与人类进行情感互动的产品或者服务。相关管理办法适用范围为向我国境内公众提供的拟人化互动服务。

《征求意见稿》明确了“健康发展和依法治理相结合”的原则,鼓励拟人化互动服务创新发展,对拟人化互动服务实行包容审慎和分类分级监管,防止滥用失控。

管理

健全算法机制机理审核等管理制度

针对服务规范,《征求意见稿》明确了八大禁止性活动,包括生成、传播危害国家安全、损害国家荣誉和利益、破坏民族团结、开展非法宗教活动,或者散布谣言扰乱经济和社会秩序等内容;通过算法操纵、信息误导、设置情感陷阱等方式,诱导用户作出不合理决策;诱导、套取涉密敏感信息等。同时,要求服务提供者落实安全主体责任,建立健全算法机制机理审核、科技伦理审查、信息发布审核等管理制度,在拟人化互动服务全生命周期履行安全责任。

针对数据安全与用户保护,《征求意见稿》对训练数据管理提出明确要求,强调使用符合社会主义核心价值观的数据集,防范数据投毒、数据篡改等行为,保障数据合法可追溯等。在用户权益保障上,要求服务提供者应当具备用户状态识别能力,对极端情绪、沉迷倾向用户及时干预;针对未成年人、老年人等重点群体,设置未成年人模式、监护人同意机制、紧急联系人备案等特殊保护措施。

针对关键风险人群,《征求意见稿》设立了差异化的保护条款:对于未成年人,强制推行“未成年人模式”,要求具备身份识别、时长管理、消费限制等功能,且服务须获监护人同意;对于老年人,则禁止模拟其特定亲属身份提供服务,并要求设置紧急联系人。《征求意见稿》设立了“防沉迷”指引,要求服务必须显著标示其AI属性,并在用户连续使用超过两小时时进行弹窗提醒。

针对数据安全管理,《征求意见稿》要求训练数据体现社会主义核心价值观,来源合法、可追溯,并需进行安全清洗与评估。对于交互数据,确立“使用必须获用户单独同意”的原则,明确除非法律另有规定或取得同意,否则不得将用户交互数据用于模型训练。同时,赋予用户及其监护人历史交互数据的删除权,强化了对个人信息自决权的保障。

针对安全评估与报告义务,《征求意见稿》明确安全评估与持续改进义务。在用户规模达到一定阈值、服务发生重大变更或存在显著风险等情形下,提供者必须开展安全评估并上报。评估内容涵盖用户行为分析、风险识别处置、制度执行情况等,推动企业建立常态化的自我审查与风险管控机制。

最后,在监管与处罚机制上建立“报告、备案与核验”组合监管工具,对违规行为可采取约谈、警告、责令整改、暂停服务等阶梯式处置措施。

观点

AI拟人化互动服务治理进入新阶段

有专家指出,该《征求意见稿》的出台,标志着我国对人工智能拟人化互动服务的治理进入系统化、精准化新阶段。直面人工智能拟人化互动服务“情感交互深、用户关系久、影响对象脆弱、价值传递隐蔽”的四大特征,致力于构建“正向引导”与“风险防范”并重的双向治理模式。

其中,陪伴型AI可能引发的“深度共情”风险成为关注焦点。中国信息通信研究院政策与经济研究所副所长李强治解读称,《征求意见稿》通过设立“数字人格关”、“沉迷依赖关”、“生命安全关”这三条防线,系统规范人机关系,并覆盖事前、事中、事后全流程,旨在强化对未成年人和老年人等特殊群体的保护。

西南政法大学校长、中国法学会副会长林维进一步指出,其核心理念是“负责任创新”,核心任务是厘清“人机边界”。《征求意见稿》通过强制身份透明、严格保护情感类个人信息、设立特殊群体保护与防沉迷机制等方式划出安全红线。在治理路径上,则强调全链条责任与多元协同,并创新引入监管沙盒等机制,以平衡安全监管与产业健康发展。

国家互联网应急中心副处长、正高级工程师张震认为,《征求意见稿》是我国人工智能治理体系的一项重要完善。它推动治理维度从传统的数据安全、内容安全,向“情感安全”与“价值导向”延伸,是对人工智能社会化应用深层挑战的一次重要回应。

助力

南都“AI新治向”报道与研究协同治理

2025年以来,南都大数据研究院“AI新治向”栏目多次聚焦AI陪聊、AI主播等AI拟人化服务,关注未成年人保护、内容合规与伦理、用户沉迷及AI主播/数字人侵权风险等问题。如《10岁女孩竟已婚?AI社交应用角色猎奇,露骨诱导未成年人》《AI陪聊应用极端人设诱导充值!实测青少年模式漏洞待堵》等报道通过实测多款AI陪聊软件发现问题漏洞,提出相应的建设性改进意见,并参与《网络安全技术 向未成年人提供生成式人工智能服务安全指引》团体标准编制,助力AI向善发展。

文:南都研究员 孔令旖

相关内容

热门资讯

OpenAI高薪招聘“应急主管... 来源:财联社 在人工智能(AI)能力快速跃升、风险争议持续升温的背景下,ChatGPT开发商Open...
原创 游... 游泳是一项既能锻炼全身肌肉又能放松心情的运动,但对于许多游泳爱好者来说,传统的游泳体验总有些美中不足...
明查|日本成田机场通关区分中国... 一张发布在海外社交平台上的图片声称,日本成田机场通关时故意让中国台湾和大陆旅客分开排队,但这张图其实...
聚焦AI智启未来 赋能“教-学... 当人工智能浪潮席卷各行各业,在深圳这座创新之城,一场深刻的教育变革正在国际化创新型学校——深圳市南山...
创新示范AI赋能美育 让想象力... 前段时间,深圳市南山区纯水岸幼儿园的幼儿围坐在一起,热烈讨论着经典动画《葫芦娃》中的角色,教师同步将...