伴随着香港金管局新一期“生成式人工智能”沙盒参与者的公布，AI通过“马甲”在金融领域的滥用风险正引来各界关注。

近年来，从虚假代言到“AI换脸”新型诈骗，人工智能的滥用引发新的安全挑战，深度伪造视频让传统防线失效。记者了解到，面对层出不穷的AI诈骗行为，金融机构和科技企业正探索“以AI识别AI”、以“黑科技”征服“黑科技”的防护策略，守护信息安全和社会信任。

图片由AI生成

暴增30倍，“深度伪造诈骗”引发关注

10月15日，香港金融管理局(下称“香港金管局”)与香港数码港管理有限公司公布第二期生成式人工智能(GenA.I.)沙盒参与者名单。来自20家银行和14家技术合作伙伴的27个用例入选，预计于2026年初开始技术测试。据了解，参与银行包括平安集团旗下PAObank（香港数字银行）、中国银行(香港)有限公司、中国工商银行(亚洲)有限公司等。

香港金管局于2024年推出的GenA.I.沙盒，已成为金融行业重要的AI创新验证平台。第二期沙盒聚焦银行业的风险管理、反诈骗及客户体验创新，并新增“GenA.I.协创实验室”模块，特别针对“深度伪造诈骗”设立测试方向，重点探索如何“以AI对抗AI”，强化深度伪造诈骗侦查，构建更坚固的金融安全防线。

近年来，随着AI技术的发展，AI骗局也层出不穷。来自奇安信集团公布的《2024人工智能安全报告》显示，2023年基于AI的深度伪造欺诈暴增了3000%，基于AI的钓鱼邮件数量增长了1000%，已有多个有国家背景的APT组织利用AI实施了十余起网络攻击事件。但是，目前业界对AI潜在风险的研究与重视程度仍远远不足，《报告》提醒在积极拥抱大模型等人工智能技术之时，各界对其安全风险应保持警醒。

一场“视频会议”被骗2亿港元，“AI换脸”蔓延

AI生成技术滥带来的各类风险中，“AI换脸”骗局可谓防不胜防。技术人士表示，仅需被仿冒者的照片和声音，不法分子就能够生成逼真的伪造视频，让AI仿冒的“名人”为商家的产品背书、带货，或是伪装成老年人的亲友熟人，编造突发疾病、交通事故等紧急状况，进行网络诈骗，甚至可以包装伪造成为名人、专家等进行带货代言。

李先生近期接到“亲友”视频通话，称遭遇事故等急需用钱，李先生给其转账后才缓过神核查身份，却发现被骗。实际上，和李先生同样遭遇的人群并不在少数。北京金融监管局提醒，近期接到群众举报的网络金融诈骗案件中，“AI换脸冒充亲友”这类数字新骗局较为典型。

公安部的数据也显示，2022年到2024年初，我国共发生“AI换脸”类诈骗案近百起，累计给人民群众造成经济损失高达2亿元。在一起典型案例中，一名中国香港的职员在一场多人“视频会议”中被骗2亿港元，后来才发现除了自己之外，其他与会者均为AI换脸生成的虚假形象。

记者注意到，一些不法分子还低价出售换脸服务（如 9.9元即可定制换脸视频），使得这种诈骗手段门槛进一步降低。

北京市场监管部门近日也查处了首例利用人工智能(AI)技术进行虚假广告宣传的案件。北京一公司在直播中宣称其产品能够治疗多种疾病，而实际该产品仅为普通食品，不具备疾病治疗功能。此外，直播中还出现了知名央视主持人的形象，经鉴定，该形象完全是利用AI技术伪造生成。

实际上，AI换脸变声等技术滥用不只是威胁老百姓的“钱袋子”，还可能冲击金融系统安全。技术人士认为，利用换脸绕过人脸识别，可伪造银行远程身份验证视频、模拟高管指令进行资金转移，甚至突破传统的指纹、人脸等生物识别系统，让金融安全防线瞬间失效。

中国互联网金融协会2025年报告显示，此类事件导致的直接经济损失已经突破18亿元。

“目前不少金融系统依赖眨眼、摇头等传统静态检测手段来验证用户身份，但在AI动态造假面前，这些验证手段已显得脆弱。”有金融从业人士如是坦言，当前防护手段存在不足。

以AI对抗AI，各界探索反制“新魔法”

所谓“魔高一尺道高一丈”。为应对AI生成内容以假乱真的风险，监管部门也在制度层面建立防线。

今年3月，国家网信办等四部门联合印发《人工智能生成合成内容标识办法》，自2025年9月1日起施行。根据此办法，凡采用AI技术生成或合成的文字、图片、音视频、虚拟场景等内容，必须添加标识。人工智能生成合成内容标识主要包括显式标识和隐式标识两种形式，显式标识是让用户能直观看到的文字、图形或语音提示；隐式标识则嵌入到文件的元数据或数字签名中，用于溯源追责。

在AI带来的各类风险中，技术反制正成为守护信息安全的关键方向。面对层出不穷的“AI换脸”、语音克隆等诈骗，业界正在探索以AI识别AI伪造、以“黑科技”征服“黑科技”，用“魔法”打败“魔法”的解决方案。

南都湾财社记者注意到，此番入选香港金管局第二期GenA.I.沙盒的“反欺诈策略平台（Anti-Fraud Strategy Platform）由PAObank与金融壹账通联合打造。金融壹账通相关负责人向记者解释，“智能视觉反欺诈策略平台”可对AI伪造图像进行深度剖析，精准识别换脸、伪造视频等复杂攻击，平台检测防御率超99%。在国内，该技术已服务于多家金融机构，累计调用量超9000万次，成功拦截黑产攻击2万余起。

实际上，这种探索早有先例。在2024年的世界互联网大会乌镇峰会上，也举行了国内首个AI大模型攻防赛，通过大模型技术辨别AI造假内容。来自全球的十强团队围绕“眼见不为实、耳听不为实”的真实案例展开比拼。参赛者利用大模型技术识别AI造假的音频、证照与视频，探索如何用AI手段破解AI伪造。赛事设有“大模型自身安全”和“大模型生成内容防伪检测”两大赛道，涵盖信用评估、凭证审核、商家入驻、智能助理等多类应用场景，集成机器学习、图像处理与数据安全等核心算法，旨在推动AI防伪检测技术的标准化与产业化进程。

据记者观察，随着深度伪造技术门槛的持续降低，仅靠人工识别已难以防范各种“眼见非实”的新型骗局，通过技术反制技术、守护信息真实性与安全成为当前金融科技演进路上的必然趋势。

采写：南都·湾财社 研究员 袁泽睿

记者 卢亮