OpenAI新推理技术引发AI安全专家警惕
创始人
2026-09-03 22:54:10

据The Information周二报道,OpenAI的新模型Astra将采用一种名为"循环深度"(recurrent depth)的推理技术。该技术允许模型突破大多数推理模型所依赖的顺序思维方式运作,又被称为"不透明循环"(opaque recurrence)。由于这一技术可能令模型的思维链更难以监控,AI安全专家对此表示高度忧虑。

尽管Astra目前对该技术的使用范围据报道较为有限,但其出现仍在AI安全领域引发了广泛关切。

Redwood Research首席执行官Buck Shlegeris在相关报道发布后发文写道:"有报道称Astra使用了不透明循环技术,我对此极为担忧。我不确定Astra的思维链可监控性是否比此前的模型差很多,但如果OpenAI进一步推进这项技术,他们将有能力大幅增加循环强度,从而彻底摧毁思维链的可监控性。"

长期从事AI安全倡导工作的Zvi Mowshowitz也就此发表看法,认为或许需要立法来防止AI实验室之间的"竞次效应"。他写道:"这项技术无异于玩火,威胁到OpenAI和Anthropic共同努力建立的一项默契——尽可能长期维护思维链的忠实性与可监控性。更大规模地使用此类技术,可能会严重损害可监控性。"

在正常情况下,推理模型的思维链会呈现出模型在尝试解决问题时所经历的一系列步骤。虽然这种呈现并不完美,但仍是监控模型异常行为或对齐偏差的重要工具。在OpenAI近期发生的智能体异常行为事件中,思维链记录正是研究人员分析智能体行为原因的关键依据。

不透明循环技术采用了一种非线性方式,让模型对同一查询在循环中反复处理。这一过程留下的可读痕迹极少,相当于绕过了传统的思维链记录。

值得注意的是,Astra目前对该技术的应用仍属有限。该模型的思维链预计仍将保持可读性,OpenAI也对外界有关其将转向"神经语言"(neuralese)的说法予以反驳。此外,OpenAI已在其面向未来的安全规划中宣布了大规模思维链监控系统的部署计划。

OpenAI首席科学家Jakub Pachocki在X平台发文,强调了该公司对可读思维链的坚守:"自我们第一批推理模型起,OpenAI就致力于保留并利用思维链监控。这是我们当前研究计划的核心目标。"

所有AI模型在推理过程中都存在一定程度的不透明性,研究人员普遍认为思维链日志并不能直接反映模型的真实推理过程。即便如此,这些说明也并不能消除外界对不透明循环技术可能削弱AI推理可监控性的担忧——尤其是随着该技术在不同模型中的应用日益普及。The Information周三上午的后续报道显示,Anthropic和谷歌DeepMind均已就这一技术展开讨论。

Redwood Research首席科学家Ryan Greenblatt在一篇回应文章中指出,不透明推理的扩展速度可能轻易超过传统思维链推理,最终将所有推理过程从可见渠道中完全移除。

他写道:"我最大的担忧在于,从目前的情况自然演进下去,很可能导致不透明推理大规模扩张,使模型完全或几乎完全在潜在空间中进行推理。我希望现在阻止最令人忧虑的架构方向还为时不晚,也希望OpenAI能够就此止步。"

Q&A

Q1:什么是"不透明循环"推理技术,它和普通推理有什么区别?

A:普通推理模型采用顺序思维方式,会生成可读的思维链记录,展示解题的每个步骤。而"不透明循环"(opaque recurrence)技术让模型对同一查询在循环中反复处理,不走线性路径,留下的可读痕迹极少,相当于绕过了传统思维链记录,使外界难以追踪模型的推理过程。

Q2:为什么AI安全专家对Astra使用不透明循环技术感到担忧?

A:AI安全专家担忧的核心是"可监控性"下降。思维链记录是目前监控模型异常行为的重要工具,OpenAI此前在智能体行为异常事件中也依赖它进行溯源分析。一旦推理过程变得不透明,研究人员将难以判断模型是否出现对齐偏差或违规行为。专家还警告,该技术若持续扩展,可能使模型推理完全转入不可见的潜在空间。

Q3:OpenAI对外界关于Astra安全性的质疑有何回应?

A:OpenAI表示,Astra目前对不透明循环技术的使用范围有限,模型思维链预计仍将保持可读性。首席科学家Jakub Pachocki在X平台表示,自第一批推理模型起,OpenAI就致力于保留并利用思维链监控,这是其当前研究计划的核心目标。此外,OpenAI已宣布将部署大规模思维链监控系统。

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

林钢铸管携手华为打造铸管行业首... 【CNMO科技消息】9月3日,@华为云 宣布:林州林钢铸管科技有限公司携手华为,以华为云Stack与...
毕马威AI智能体工具率先通过安... 随着AI风险日益受到关注,毕马威近日宣布,一款在其内部广泛使用的AI工具已通过独立测试,并获得安全性...
OpenAI新推理技术引发AI... 据The Information周二报道,OpenAI的新模型Astra将采用一种名为"循环深度"(...
英伟达盘初涨超2%,斥逾129... 钛媒体App 9月3日,英伟达盘初涨超2%,最高触及229.07美元。消息面上,英伟达宣布同意以12...
双核告急!阿森纳迎战麦克法兰率... 一、引言:酋长球场的警报声已拉响 英超又到焦点日:卫冕冠军阿森纳将在酋长球场迎来客队切尔西的挑战。表...
802.1D生成树协议详解:二... 在设计网络时,工程师总喜欢在核心交换机之间加冗余链路——主链路断了备用链路自动顶上,这样网络不会因为...
Snowflake财报爆了:A... Snowflake交出了一份让软件市场重新打起精神的财报! FY2027第二季度,Product ...
谁在成为中国的Open Evi... AI半月谈 2026年1月,Open Evidence以120亿美元估值完成D轮融资,超过40%的美...
英伟达拟129.3亿美元收购H... 9月3日,财闻海外资讯援引路透社报道, 英伟达(NVDA.US)拟以129.3亿美元收购开发者平台H...
阿牛智投服务费可以退吗?误导交... 阿牛智投服务费可以退吗?误导交费有内幕,服务承诺成空谈,退费方法靠谱有效!“以为找了专业投顾机构当靠...
顶点财经可信吗?误导性宣传欺骗... 顶点财经可信吗?误导性宣传欺骗股民,误导性宣传,有法可依服务费可退!  顶点财经不可信,推荐的股票不...
财富在线是正规公司吗? 退费流... 财富在线是正规公司吗? 退费流程公布!误导性宣传欺骗股友服务费!被骗交费可以退! 可以退,告诉大家一...
海能投顾荐股不可信,退费经验分... 海能投顾荐股不可信,退费经验分享,个人想成功退费看这里,3-15工作日或可成功退款流程!  投资有风...
中广云怎么退钱?已追回股民曝详... 中广云怎么退钱?已追回股民曝详细流程,这些注意事项别忽视!  在寻求投资建议时,投资者有时会遇到服务...
阿牛智投服务费怎么退?真相公开... 阿牛智投服务费怎么退?真相公开,高价服务竟是空头支票可退费!“以为找了专业投顾机构当靠山,结果是把血...
港澳资讯怎么退? 能退款方法分... 港澳资讯怎么退? 能退款方法分享!误导性宣传高收益诱导升级被坑教你一招退费  港澳资讯老师不可信!加...
汇阳投顾推荐的股票真的假的竟是... 汇阳投顾推荐的股票真的假的竟是垃圾股!收费荐股真相曝光,服务费能退!  近年来,随着股市行情波动加剧...
高 能智投服务费怎么退?推荐股... 高 能智投服务费怎么退?推荐股票亏损严重怎么办,被骗亏损真相曝光已退费!  投资有风险,投资需谨慎!...
和信证券公司怎么样?会员讲述亏... 和信证券服务费是可以退的。如果认为和信证券存在违规操作或欺骗行为,可以通过有效的退款流程来申请退回服...
投顾服务费可以退吗?误导交费有... 投顾服务费可以退吗?误导交费有内幕,服务承诺成空谈,这样退费比较有效!  在寻求投资建议时,投资者有...
汇阳投顾服务费能退吗? 服务费... 汇阳投顾服务费能退吗? 服务费揭秘可以退!误导性宣传欺骗股民已挽回  近年来,随着股市行情波动加剧,...
必看!港澳资讯服务费怎么退?荐... 港澳资讯服务费怎么退?荐股背后真相大白,当然能退!具体退款流程分享!  港澳资讯老师不可信!加入内部...
神光投顾服务费怎么退?其中真相... 神光投顾服务费怎么退?其中真相公开,高价服务竟是空头支票可退费!投资有风险,投资需谨慎!针对网上素未...
高 能智投正规吗可靠吗?缴费实... 高 能智投正规吗可靠吗?缴费实为陷阱,大家不要掉以轻心!  投资有风险,投资需谨慎!针对网上素未谋面...
钱坤云投资靠谱吗?投资者真实经...   钱坤云投资靠谱吗?投资者真实经历讲述,退款流程公布,能退  钱坤云荐股承诺全落空?别自在“哑巴吃...