奇安信安全专家黄巍：“用AI治理AI”是必然方向丨2025世界互联网大会_科学探索

奇安信安全专家黄巍：“用AI治理AI”是必然方向丨2025世界互联网大会

创始人

2025-11-08 18:14:35

红星资本局11月8日消息 2025年世界互联网大会乌镇峰会期间，奇安信（688561.SH）安全专家黄巍接受红星资本局采访时表示，人工智能时代到来，AI全面应用的同时也会带来新的网络安全风险。

黄巍认为，新型攻击主要发生在三个阶段。第一，训练阶段的数据投毒：攻击者向模型的训练数据中注入恶意样本，导致模型性能下降、质量退化。第二，服务阶段的滥用与中断：通过身份滥用、DDoS攻击等手段攻击提供服务的模型，导致模型服务不可用或性能大幅下降。第三，应用阶段的提示词攻击：使用非常隐蔽的恶意提示词，混淆在用户正常问题中，造成算力消耗、内容诱导。

随着AI成为千行百业中不可或缺的基础工具，未来可能存在的最大潜在风险，是难以区分真实和虚幻，所以也需要“用AI治理AI”。未来AI的发展趋势可能是各行各业全面拥抱AI，同时开始规范和治理AI，采购相关的产品与服务来“反制”AI带来的问题。

另一方面，黄巍指出，虽然“用AI治理AI”是必然方向，但过程中也可能出现幻觉或“杜撰”。例如用AI对软件、程序等进行测试，AI为了完成人类设定的KPI，可能会凭空捏造问题来凑数，因此也需要人工进行二次校对。

红星新闻记者俞瑶实习记者李海颜乌镇摄影报道

三个阶段红星安信方向治理模型服务问题黄巍攻击颜乌镇奇安信提示词红星资本局

上一篇：“背刺”李佳琦的，是那个24小时不停歇的AI主播

下一篇：江苏上线首批中小学生自助式AI体验课

奇安信安全专家黄巍：“用AI治理AI”是必然方向丨2025世界互联网大会

相关内容

热门资讯