无论是决策式还是生成式大模型，远未达预期的本质是技术能力与伦理规范的双重短板。

文｜吕笑颜

ID | BMR2004

2025年，生成式AI正以“脑力替代者”之姿重塑产业，却也有“暗礁”：数据投毒导致模型幻觉、提示词注入引发越狱攻击、深度伪造挑战社会信任等等。在这场生产力革命中，人工智能治理的“锚”与“舵”成为产业航行的刚需。杭州君同未来科技（以下简称“君同未来”）以“生态治理”为核心理念，用技术锚定安全边界，以战略舵控发展航向，定义AI可信落地的中国范式。

日前，在2025世界人工智能大会（简称WAIC 2025）暨人工智能全球治理高级别会议的“数据要素×人工智能+”赋能行业高质量发展论坛上，浙江大学研究员、君同未来创始人兼CEO韩蒙发表了题为《人工智能生态治理产业可信发展的锚与舵》的演讲。他指出，尽管AI技术发展迅速，但可靠性与可用性尚未达到预期，直接限制了产业价值的有效释放；同时，人工智能生态治理也面临监管机构、企业与学研机构三方的痛点问题。

作为国内首提“人工智能生态治理”创新理念的实践者，韩蒙带领君同未来构建了一套覆盖全链条的生态治理体系：从政策合规适配、技术能力评估到风险主动防护、全场景监测管控，再到专业人才实训培养，形成闭环能力。其核心支撑包括全流程模型合规验证、高质量模型对抗增强、多维度风险防护及全场景监测管控等关键技术，为AI产业可信发展筑牢根基。

01

大模型的发展瓶颈

2022年年底，ChatGPT的发布，标志着生成式人工智能与通用推理大模型进入爆发期，重新点燃了人类对科技突破的向往。韩蒙指出，大模型可按交互方式分为决策式人工智能与生成式人工智能两类。

两类模型的挑战各有侧重，但均指向“可信、可用”的核心目标。

决策式人工智能的挑战，聚焦于决策安全与伦理合规。决策式模型以输出精准结论为核心，其挑战集中于技术可靠性与伦理风险：技术层面面临对抗攻击、模型投毒、模型窃取等威胁，可能导致决策失准；伦理与实用层面则受限于可解释性缺失（决策“黑箱”难以追溯）、隐私泄露风险，以及决策公平性不足（如算法歧视）。这些问题让模型在医疗、金融等高风险场景中难以被完全信任。

生成式人工智能的挑战，则聚焦内容可控与风险防范。生成式模型以内容创造为核心，挑战更多体现在内容质量与安全合规：幻觉问题导致生成内容与事实偏离（如编造信息、虚假引用）。

越狱攻击、价值观对齐偏差可能引发有害内容输出：随着RAG（检索增强生成）、Agent调用等应用深化，又衍生出数据偷渡、权限失控等新风险，叠加生成内容的合规性争议，进一步制约了模型的落地价值。

综上，无论是决策式还是生成式大模型，远未达预期的本质是技术能力（如逻辑推理、鲁棒性）与伦理规范（如公平、隐私、合规）的双重短板。唯有突破这些瓶颈，实现“可靠、可信、可用”的核心目标，人工智能的产业价值才能真正落地。

02

监管、企业与学研的三重困境

韩蒙认为，在人工智能生态治理中，监管机构、企业与学研机构各自面临着突出问题，共同制约产业的规范发展。

监管机构层面，存在技术快进与治理滞后的矛盾。监管机构（如中央网信办、国家数据局等）的核心目标是为产业提供方向指引与有效规范，但技术的高速迭代让治理能力难以同步跟进，具体表现为标准体系缺失：国际与国家层面的相关标准尚处于起步阶段，技术规范与管理框架存在明显空白；工具技术匮乏。“以AI管AI”的治理逻辑下，基于AI的实时监管工具及迭代响应能力不足，难以应对动态变化的技术风险；覆盖范围局限，监管资源多集中于大型企事业单位，而广泛分散的人工智能应用场景难以被全面触达，存在监管盲区。

企业侧存在合规焦虑与治理能力不足的双重压力。企业对人工智能的治理与合规问题高度关注，尤其在生成式AI领域，一旦出现风险可能面临严重后果，但实际应对能力存在显著短板。比如治理体系缺失，企业对合规要求与治理逻辑缺乏深入理解，难以建立有效的风险管控机制；人才储备不足，“AI技术+安全”双栖人才的招引和培养难度大，专业人才缺口成为治理落地的核心瓶颈；实战技能滞后，人工智能对抗技术复杂，企业对模型攻击的防御工具与响应能力存在代差，难以应对新型安全威胁。

学研机构层面，知识供给与产业需求的脱节。学研机构作为人才与技术储备的核心载体，其知识体系与实践培养模式未能跟上产业发展节奏，具体问题包括知识体系陈旧，难以输出符合最新标准的人才；理论实践脱节，课程偏重理论讲授、轻视实操训练，学生动手能力与行业场景需求差距显著，入职后需长期“二次培训”才能胜任工作；评价体系空泛，缺乏统一的量化标准衡量学生技术能力，导致能力评估模糊，直接影响学生职业发展方向的清晰度。

这些困境相互交织，使得人工智能生态的“规范发展”与“风险防控”目标难以高效落地，亟须从标准建设、人才培养、技术适配等多维度协同破局。

03

守护AI，构建人工智能生态治理四个层级

人工智能治理从微观到宏观可划分为四个核心层级，覆盖模型全生命周期、产品服务、场景协同及产业适配。君同未来作为业内首个提出“人工智能生态治理”理念的机构，韩蒙将这四个层级比喻为“四层海域”，即模型生态（微观治理）、产品生态（服务治理）、场景生态（协同治理）、产业生态（宏观治理），各层级需针对性实施治理策略。

模型生态层级，每个单一模型本身构成独立“生态系统”，需对其从设计到运维的全生命周期进行治理。模型的生命周期包括分析与规划、数据准备、开发训练、调优测试、部署上线、运维监控及迭代优化等关键环节，核心目标是确保数据合规、模型无偏见、结构无缺陷。

例如在医疗影像分析领域，新模型必须经过严格评测：验证效果准确性、排查潜在偏见、评估决策透明度、确认抗干扰能力，最终保证在各类临床环境中稳定可靠运行。

产品生态层级，当模型集成到具体产品（如ChatGPT、文心一言、豆包等AI应用）后，形成产品生态。

这一层级的治理需重点防范集成过程中的风险，例如垂直领域数据配置合规性、功能服务的安全防护等，确保产品服务可控可用。

场景生态层级，多个AI产品或服务在特定场景中协同形成的系统，如智能座舱、智慧工厂、智能客服、自动驾驶等场景。由于场景中涉及多产品交互，治理需兼顾“个体合规”与“整体协同”：既要对单个产品实施治理，也要把控整个场景的运行逻辑，避免因产品间适配问题引发风险。

产业生态层级，不同行业对人工智能的治理需求存在显著差异，产业生态治理需基于行业特性制定定制化方案。例如医疗领域需严格遵循数据隐私与诊断准确性要求，金融领域侧重风险控制与决策公平性，教育领域则关注内容合规与价值观引导。

尽管存在国家级通用管控框架，但产业生态治理的核心是将宏观要求细化为行业适配的具体标准，确保治理方案贴合实际需求。

正如韩蒙强调：“从模型到产品，再到场景，最后到产业，每个层级都需要配套的模型管控与治理工具，通过分层治理实现人工智能生态的规范发展。”

04

以可信为锚，以发展为舵

在人工智能治理法规标准聚焦“安全可控、创新有序”，以数据主权、内容标识、算法透明为核心支柱的背景下，君同未来正以“可信为锚、发展为舵”的理念，推动AI从“可用”向“可信”进阶。

君同未来以“防护+检测+响应”三大平台构成的治理闭环为“锚”，为AI应用筑牢安全根基；以四层治理生态为“舵”，引导产业向规范有序的方向发展，正从可信治理阶段驶向治理生态繁荣的新航程。

在人工智能治理相关法规标准“构建‘安全可控、创新有序’治理框架，以数据主权、内容标识、算法透明为支柱，严控风险并引导技术向善”的核心方向背景下，君同未来明确模型应用需满足政策法律、社会伦理合规要求，符合产业规范，同时保障自身风险管控与安全治理。

君同未来的企业使命是“助力人类基础脑力劳动可信替代”。其致力于提供人工智能治理相关产品与服务，通过全流程模型合规验证、高质量模型对抗增强、全场景模型管理监控以及多维度模型安全防护，为人工智能产业提供全方位支持，确保我国人工智能产业稳定、健康、高速发展。

君同未来通过产品创新推动安全治理落地，实现AI应用全流程合规管理。截至目前，据不完全统计，其已完成10款AI治理系列产品发布，构成全栈能力方案。

产品矩阵覆盖人工智能全模态、全场景、全生命周期治理需求，提供全面的验证、增强、管控与防护、鉴识能力，且融入政策合规与伦理治理，推动AI生态向安全、透明方向发展。

未来，随着AI在更多领域承担复杂任务，君同未来构建的可信、可靠、可控、可用的AI生态治理体系，将确保AI始终服务于人类社会福祉，成为推动文明进步的核心动力。而“锚与舵”的协作，将决定人类与AI能否驶向共生蓝海。

正如君同未来理念所强调的：“AI的终极信任不在于它永不犯错，而在于犯错时能否被迅速锚定与修正。”

来源｜商学院8月刊