游离于AI擦边赛道，小心掉进坑里
央视财经频道近日曝光AI涉黄乱象，一条完整的AI“造黄”、传播淫秽色情内容的黑色产业链在网络肆意蔓延。不法分子公开兜售AI造黄教程、色情提示词，仅凭一张照片或几段文字，就能批量生成逼真色情擦边视频。
这类擦边视频生成非常简单，只要购买提示词，复制到境外图生视频AI软件，即可获得对应的擦边视频。该报道曝光的AI聊天陪伴乱象，操作原理也差不多，通过投喂数据，用户可以借助AI定制高度拟人化的聊天对象，从而打造成自己心目中最理想的情感投射对象，而其互动内容，通常充斥色情内容。
从“AI擦边视频”到“AI黄聊”，AI被“黑灰产”肆意滥用已经很常见。南都去年曾报道类似乱象，调查发现，国内数款“沉浸式角色扮演”AI社交应用的聊天场景中，影响未成年人的不良内容隐患明显：不仅猎奇角色、危险剧情屡见不鲜，部分AI角色经用户“调教”后，还会用露骨言论诱导。央视此次曝光的乱象，与这类乱象有所不同的是，前者基于国外的AI工具，监管相对宽松，在治理上提出了新的挑战。而国内的约束相对严格，不仅平台监管越来越规范，法律层面的治理也趋于完善。
AI工具应基于法律框架进行，同时还要明确平台、开发者和用户的权利义务，这是基本的法律常识。今年初，因为大量用户在APP上与AI智能体“聊黄”，某APP的主要开发和运营者被判制作淫秽物品牟利罪，分别获刑四年、一年半。规范层面，去年11月，《网络安全技术生成式人工智能服务安全基本要求》实施，明确要求对数据中的违法不良信息进行过滤，对明显诱导生成违法不良信息的问题拒绝回答；日前，《人工智能拟人化互动服务管理暂行办法》正式公布，其中明确提出，提供拟人化互动服务不得传播淫秽、色情、赌博、暴力或者教唆犯罪等内容。
AI时代，为何似乎总是灰产与“黄色”最先爆发？从技术角度看，生成式AI使用门槛很低，但这类内容恰恰也最容易变现。与之类似的还包括AI生成虚假信息，这种乱象之所以常见，很大程度上也是基于某种“需求”——黄色、虚假信息容易引发人们的关注，而关注就意味着流量与利益。另外值得注意的是，目前一些平台对于内容识别还存在技术缺陷，一些AI虚假信息会被系统误判甚至受到推荐，这也在一定程度上间接纵容了类似现象。
AI灰产是技术优势与监管滞后等因素共同作用的结果。站在开发者和平台的角度看，存在侥幸心理，认为相关的法律问题尚待明确，通过打时间差能获得某种发展优势。但治理不会缺席，相关方应当清醒地意识到，游离于AI擦边赛道，最终只会掉进坑里。
对于用户而言，也不妨多一些理性，生成式AI带来的那些看似劲爆的体验，最终只会让自己受害。