OpenAI发布开源评测CoT-Control,用于衡量模型思维链可控性
创始人
2026-03-06 11:18:04

AIPress.com.cn报道

随着AI智能体越来越能自主完成复杂任务,如何有效监督其行为成为关键议题。OpenAI最新研究聚焦一种潜在风险:当模型知道自己的推理过程会被监控时,是否可能刻意改写或遮掩思维链,从而让监控失效、评估结果被高估。

OpenAI表示,思维链监控是其多层安全体系的一部分,可通过分析模型推理步骤来识别不安全行为或偏离用户意图的迹象。为验证“思维链是否会被刻意操控”,OpenAI提出并开源了评测套件CoT-Control,包含超过1.3万道任务,来自GPQA、MMLU-Pro、HLE等多个基准,用于测试模型能否在解题时遵守针对思维链的限制指令,比如避免特定关键词、只用小写字母或按要求追加特定词语。

研究对13个推理模型进行评测后发现,当前前沿模型普遍难以稳定控制自己的思维链,可控性得分整体很低,最低约0.1%,最高也未超过15.4%。研究还指出,模型规模更大时可控性略有提升,但当推理更长或经历更多后训练时,可控性反而下降。即使告知模型“正在被监控或评测”,可控性也只是小幅上升。

OpenAI认为,这一结果意味着在当前阶段,模型还不太具备通过操控思维链来逃避监控的能力,因而思维链监控短期内仍具参考价值。但公司也强调需持续跟踪,未来将把思维链可控性与可监控性一起纳入前沿模型的系统卡披露指标,以便及时发现趋势变化。

(AI普瑞斯编译)

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

大使联盟课堂直播间讲股票宣传浙... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。在资本市场与实体产...
博通商学院股票群战略进场摇号投... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"股市行情持续升...
杭州史丹赛诗生物科技有限公司E... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
新荟大讲堂股票老师王国凯上课推... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。当“成为战略经销商...
钉钉群博通商学院线下打新股投资... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合在股票投资交流中,“...
震撼!神光投顾误导性宣传、承诺... 震撼!神光投顾误导性宣传、承诺收益、无证投顾提供服务,交费股民赶紧申请退费!投资有风险,投资需谨慎!...
浙江生研生物科技有限公司生研白... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为其他类似股权情景,如有雷同纯属巧合。随着生活...
大使计划老赵江苏麟飞寰球产业投... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"股市行情持续升...
上海华迹智能科技华旋传感原始股... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。近期有不少投资者咨...
大使联盟讲课摇号中签上海生研生... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。在资本市场与实体产...
大使联盟战略进场江苏麟飞寰球产... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"股市行情持续升...
老赵交流群摇号中签杭州史丹赛诗... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
博通商学院股票群战略进场上海华... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。当“成为战略经销商...
上海华迹智能科技华旋传感技术原... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合在股票投资交流中,“...
老赵讲堂会员粉丝激励浙江生研生... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为其他类似股权情景,如有雷同纯属巧合。随着生活...
大使计划老赵上课推荐嘉兴史丹赛... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"股市行情持续升...
中盈新能(深圳)投资有限公司投... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。近期有不少投资者咨...
老赵直播间上课推荐江苏麟飞寰球... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。在资本市场与实体产...
震撼!汇正财经是不是诈骗公司?... 震撼!汇正财经是不是诈骗公司?夸大收益诱导投资者,被骗的损失可以追回!投资有风险,投资需谨慎!针对网...
博通商学院股票群讲课摇号中签上... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"股市行情持续升...
老赵交流群摇号中签浙江生研生物... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
上海生研生命科学有限公司生研壹... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。当“成为战略经销商...
老赵课堂直播间杭州史丹赛诗生物... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合在股票投资交流中,“...
老赵讲堂会员粉丝激励浙江生研生... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为其他类似股权情景,如有雷同纯属巧合。随着生活...
老赵课堂直播间摇号打新股海南生... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"股市行情持续升...