“世界上最值得玩味的表面乃是人的脸。”德国思想家利希滕贝格曾经这样说。

一个人的脸，可能是这世上最值钱的东西，也可能是最不值钱的东西。因为AI在今天可以随时给任何一副身躯换上任何一张脸。

“一些喜欢我影视剧的观众，被AI换脸视频骗得很惨，这个性质非常恶劣。希望能建立更好的规则。” 2025年全国“两会”期间，全国政协委员靳东在受访时大声疾呼。

作为“娱乐圈的老干部”，浓眉大眼、高大俊朗、老成稳重的靳东，可能是目前中国最有“大妈缘”的中年男演员。

图/视频截图

是谁被AI换脸后的“靳东”骗得很惨？

2020年，江西60多岁的黄奶奶跟短视频里的“靳东”谈起了恋爱。

她说“靳东”向她全网告白，所以渴望爱情的她决定“我要嫁靳东，勇敢活一次”。

黄奶奶剪掉长发，与丈夫冷战、打架、分房睡……一通折腾瘦了十几斤。

她甚至离家出走，跑去长春要见“东弟弟”，因为“小东”亲口说过要给她100万元，甚至送她一套房。

“我是明星，但也是普通人，也希望交到真心朋友。”

2022年，上海60多岁的张奶奶加入“靳东”明星粉丝团，她每天最快乐的事就是泡在直播间里跟AI换脸拟声后的“靳东”聊天。

很快，张奶奶便背着家人转账20万元，参与“应援投资”和“公益项目”。

直到她的儿子到南京西路派出所报案，她仍坚信“靳东”就是靳东，称想给谁钱是自己的权利。

AI假靳东受害者。图/社交平台截图

从2020年到2023年，江西上饶68岁的丁奶奶一直坚信自己的心和 “靳东”连在一起，不吃不睡躲在角落叫“亲爱的弟弟宝贝”，还去扫大街、捡垃圾，挣了3万块钱全给“宝贝”刷了礼物。

2024年，还是在江西，一位60多岁的奶奶跑进宜春的一家银行要求贷款200万元给男友“靳东”拍戏，不贷就不走，“‘靳东’向我表白了，还用两人合照发了短视频，现在他拍戏需要200万元，我要帮他。”

2023年5月至7月，上海静安警方奔赴多省市开展“假靳东”诈骗团伙收网行动，抓获王某等犯罪团伙成员8人。

2024年2月，上海市静安区人民法院以诈骗罪对8人一审判决，其中主犯被判有期徒刑三年。

据媒体报道，8名被告均为女性，最大的40余岁，最小的刚满20岁，平均年龄不到30岁，属于熟人团伙。

她们在短视频平台假冒“靳东”，经由算法精准推荐给中老年女性，然后组建“粉丝团”“应援团”，从“进团”“直播互动”到微信“私密聊天”，以“宝贝”“老婆”“想你”等话术编织情感陷阱，再以“投资”“公益”“应援”“恋爱”等各种理由诈骗钱财，总共骗取30余万元。

网友纷纷吐槽：“连老人的钱都骗，还骗感情，有良心吗？”“奶奶们也要多长个心眼，靳东跟你谈恋爱图啥呢？图你假牙好看？”

深受“AI换脸拟声”之苦的当然不只是靳东。

“国庆七天，被‘雷军’追着骂了八天。”有网友调侃，2024年国庆期间，被人AI拟声后的“雷军”怒骂堵车、调休、游戏等热门话题，言辞犀利，常爆粗口。

雷军之后回应：“希望大家都不要玩了，这个事情不太好。”

刘晓庆也曾被一个账号生成的AI视频所困：

“天哪，我点进去看了一下，画面是我，声音很像我，但不是我！这是怎么做到的？大家以后不会搞不清楚哪个才是真的我了吧？我在各个平台都叫刘晓庆！”

图/社交平台截图

张文宏医生曾被人用AI移花接木搞起了直播带货，一口气卖掉1266件蛋白棒。

他在接受采访时表示，这样的卖货账号不止一个，而且一直在变，他已多次向平台投诉。

还有线上游戏平台利用 AI 技术，将古天乐、林峰的肖像、声音及过往视频片段，合成为带赌博性质的代言宣传片。

老牌港星黄百鸣也曾被人用影视片段AI拟声，代言一款不知名的药膏。

这不应该是 AI生成合成技术的正确使用方式。今年全国“两会”期间，“靳东两会建议AI换脸立法”冲上热搜；

全国人大代表雷军提交了关于加强“AI换脸拟声”违法侵权重灾区治理的建议；

TCL创始人兼董事长李东生、科大讯飞董事长刘庆峰等人也提议，要加快针对AI生成合成内容单行法的立法，厘清人工智能生成合成全链条上软件服务方、内容制作者、网络平台、传播用户以及金融服务商、电信运营商等各方责任，同时要求对生成内容进行强制标识，对青少年和老年人等传播“易感”人群加大普法与知识普及教育，以及要研发AIGC幻觉治理技术，开展AIGC深度鉴伪。

2024年，中国生成式人工智能产品的用户规模已达2.49亿人（据中国互联网络信息中心《生成式人工智能应用发展报告（2024）》）。

可以肯定的是，这一用户规模将会以指数级的涨幅继续扩大。

随着AI技术的飞速发展和用户规模的爆炸式增长，立法规范AI生成合成内容的制作和使用，已经刻不容缓。

依靠几张图和一段声音就能生成“AI换脸拟声”视频的技术，在境外也让不少人上当受骗。

2025年1月，年过半百的安妮在法国电视一台（TF1）的Seven to Eight节目中讲述被“AI换脸”受骗的经历。

她曾经认为自己在跟“布拉德·皮特”网恋。为了治好“皮特”的“肾癌”，一年当中她总共支付83万欧元帮他“治病”。最终，安妮自己的婚姻告吹，人财两空。

2024 年 1 月，一个骗子以英国总部“首席财务官”的名义和跨国公司香港分部一名职员进行视频通话，要求他转账2557万美元到不同账户进行机密金融交易。

视频通话中，该职员不仅看到了首席财务官“本人”，甚至还看到了其他“同事”。果然，他上当了。

图/视觉中国

“AI换脸”，是视频时代的AI换脸术，它发端于图片时代的PS术。在影视娱乐圈，换脸术早已存在超过20年。AI换脸本来是个好东西。

今天，“AI孙燕姿”让孙燕姿重新成为顶流，有人用AI视频复活逝去的亲人，端坐于台前、只需要动嘴皮子的主持人随时可以找AI替班，许多KOL和电商主播已经尝到直接让AI生成视频的甜头，我们又何尝没有在AI换脸的爆款应用中一次次上传自己的自拍照，沉醉在几近完美的幻象之中。

但一个危险的信号是，如果没有平台方提示“该画面可能由AI生成，请注意鉴别”，我已经越来越难凭肉眼分辨AI生成的内容，依靠数手指头、看眨眼次数、观察头发边缘的笨办法已经失灵了。

这背后当然是技术的进步，但如果技术得不到合法应用，“AI诈骗”会比“电信诈骗”更具欺骗性。

在人类信任的形成机制中，“AI诈骗”很容易通过换脸和拟声突破由“个人信息”“权威身份”“信任顾问”构成的“初始信任”的第一道关卡和屏障，进而让骗子操控情绪、启发决策、获得利益。

在物化的时代，脸的社会化、市场化和数字化是脸的三种社会状态。从“刷脸”到“换脸”，脸是通行证，也是支付码。

所以，请答应我，一定要保护好你的脸，也不要轻易相信任何一张脸，因为它很可能是一张假脸。

十点读书开视频号啦！

金牌主播夏萌出镜，带你重读经典

从唐诗宋词到中外名著，短视频里学知识