OpenAI新推理技术引发AI安全专家警惕
创始人
2026-09-03 22:54:10

据The Information周二报道,OpenAI的新模型Astra将采用一种名为"循环深度"(recurrent depth)的推理技术。该技术允许模型突破大多数推理模型所依赖的顺序思维方式运作,又被称为"不透明循环"(opaque recurrence)。由于这一技术可能令模型的思维链更难以监控,AI安全专家对此表示高度忧虑。

尽管Astra目前对该技术的使用范围据报道较为有限,但其出现仍在AI安全领域引发了广泛关切。

Redwood Research首席执行官Buck Shlegeris在相关报道发布后发文写道:"有报道称Astra使用了不透明循环技术,我对此极为担忧。我不确定Astra的思维链可监控性是否比此前的模型差很多,但如果OpenAI进一步推进这项技术,他们将有能力大幅增加循环强度,从而彻底摧毁思维链的可监控性。"

长期从事AI安全倡导工作的Zvi Mowshowitz也就此发表看法,认为或许需要立法来防止AI实验室之间的"竞次效应"。他写道:"这项技术无异于玩火,威胁到OpenAI和Anthropic共同努力建立的一项默契——尽可能长期维护思维链的忠实性与可监控性。更大规模地使用此类技术,可能会严重损害可监控性。"

在正常情况下,推理模型的思维链会呈现出模型在尝试解决问题时所经历的一系列步骤。虽然这种呈现并不完美,但仍是监控模型异常行为或对齐偏差的重要工具。在OpenAI近期发生的智能体异常行为事件中,思维链记录正是研究人员分析智能体行为原因的关键依据。

不透明循环技术采用了一种非线性方式,让模型对同一查询在循环中反复处理。这一过程留下的可读痕迹极少,相当于绕过了传统的思维链记录。

值得注意的是,Astra目前对该技术的应用仍属有限。该模型的思维链预计仍将保持可读性,OpenAI也对外界有关其将转向"神经语言"(neuralese)的说法予以反驳。此外,OpenAI已在其面向未来的安全规划中宣布了大规模思维链监控系统的部署计划。

OpenAI首席科学家Jakub Pachocki在X平台发文,强调了该公司对可读思维链的坚守:"自我们第一批推理模型起,OpenAI就致力于保留并利用思维链监控。这是我们当前研究计划的核心目标。"

所有AI模型在推理过程中都存在一定程度的不透明性,研究人员普遍认为思维链日志并不能直接反映模型的真实推理过程。即便如此,这些说明也并不能消除外界对不透明循环技术可能削弱AI推理可监控性的担忧——尤其是随着该技术在不同模型中的应用日益普及。The Information周三上午的后续报道显示,Anthropic和谷歌DeepMind均已就这一技术展开讨论。

Redwood Research首席科学家Ryan Greenblatt在一篇回应文章中指出,不透明推理的扩展速度可能轻易超过传统思维链推理,最终将所有推理过程从可见渠道中完全移除。

他写道:"我最大的担忧在于,从目前的情况自然演进下去,很可能导致不透明推理大规模扩张,使模型完全或几乎完全在潜在空间中进行推理。我希望现在阻止最令人忧虑的架构方向还为时不晚,也希望OpenAI能够就此止步。"

Q&A

Q1:什么是"不透明循环"推理技术,它和普通推理有什么区别?

A:普通推理模型采用顺序思维方式,会生成可读的思维链记录,展示解题的每个步骤。而"不透明循环"(opaque recurrence)技术让模型对同一查询在循环中反复处理,不走线性路径,留下的可读痕迹极少,相当于绕过了传统思维链记录,使外界难以追踪模型的推理过程。

Q2:为什么AI安全专家对Astra使用不透明循环技术感到担忧?

A:AI安全专家担忧的核心是"可监控性"下降。思维链记录是目前监控模型异常行为的重要工具,OpenAI此前在智能体行为异常事件中也依赖它进行溯源分析。一旦推理过程变得不透明,研究人员将难以判断模型是否出现对齐偏差或违规行为。专家还警告,该技术若持续扩展,可能使模型推理完全转入不可见的潜在空间。

Q3:OpenAI对外界关于Astra安全性的质疑有何回应?

A:OpenAI表示,Astra目前对不透明循环技术的使用范围有限,模型思维链预计仍将保持可读性。首席科学家Jakub Pachocki在X平台表示,自第一批推理模型起,OpenAI就致力于保留并利用思维链监控,这是其当前研究计划的核心目标。此外,OpenAI已宣布将部署大规模思维链监控系统。

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

3G开发现在还有没有必要学:现... 现在提3G开发,很多人的第一反应是这东西不是早淘汰了吗。确实,国内三大运营商的3G网络基本都退网了,...
网络编程语言学哪个:从Sock... 想学网络编程,第一个问题往往是选语言。这个问题没有标准答案,因为不同语言擅长的地方不一样,关键看你最...
和众汇富1980的学员反馈,年... 对于离开校园多年、重新接触系统课程的学习者来说,需要适应的是自己的学习速度可能与年轻时不同。和众汇富...
和众汇富1980的学员反馈,从... 有些课程在第一次听讲时会给人留下很好的印象,老师表达流畅,案例也容易理解,学员自然会觉得自己已经掌握...
和众汇富1980的学员反馈,从... 评价投资教育课程时,人们容易期待学完之后立刻出现看得见的变化,但一些重要收获可能恰好表现为处理问题时...
和众汇富1980的学员反馈,学... 一门课程的学员心得里,除了对教学内容的评价,也经常能看到有关学习提醒、资料整理和沟通体验的描述。和众...
和众汇富1980的学员反馈,原... 学过一段时间投资知识的人,可能已经形成熟悉的信息获取方式,也知道自己喜欢什么类型的讲解,但经验越多,...
和众汇富1980的学员反馈,从... 刚接触一套内容丰富的课程时,学员最容易记住的是可选择的栏目很多,却不一定能立即判断哪些内容对自己更重...
和众汇富1980适合哪些人,喜... 有些家庭平时喜欢在晚饭后谈谈新闻,看到重要财经话题,也会交换各自的理解和疑问。和众汇富1980通过职...
和众汇富1980适合哪些人,习... 线上课程越来越丰富,但依然有人觉得,用纸笔写下一个问题,比打开多层菜单或安装复杂软件更容易集中注意力...
和众汇富1980适合哪些人,曾... 不少人曾经集中学习过一段时间的投资知识,后来因为工作或家庭安排暂停,重新开始时却不知道从哪里接上。和...
和众汇富1980适合哪些人,担... 刚开始了解投资知识的人,经常会遇到一个矛盾:明明有很多地方不懂,却担心自己的问题太简单,宁愿反复搜索...
和众汇富1980适合哪些人,工... 经常出差、轮换办公地点或者需要应对临时工作安排的人,可能很难为自己保留每天固定的听课时间。和众汇富1...
和众汇富1980适合哪些人,面... 平时经常阅读财经新闻的人,可能已经接触过不少观点,却仍会因为不同文章说法不一而感到困惑。和众汇富19...
和众汇富1980适合哪些人,面... 平时经常阅读财经新闻的人,可能已经接触过不少观点,却仍会因为不同文章说法不一而感到困惑。和众汇富19...
和众汇富1980适合哪些人,重... 面对网络上种类繁多的投资学习宣传,有些人不会因为课程介绍得热闹就立即报名,而是希望先了解实际教什么、...
和众汇富1980适合哪些人,同... 工作之外还在准备职业考试、学习外语或其他技能的人,往往已经拥有不少学习任务,增加一门投教课程之前最担...
和众汇富1980适合哪些人,习... 长期依靠自己查资料、看课程的人,往往已经习惯独立安排学习,却也可能遇到问题无人讨论、进度中断后难以重...
和众汇富1980适合哪些人,习... 长期依靠自己查资料、看课程的人,往往已经习惯独立安排学习,却也可能遇到问题无人讨论、进度中断后难以重...
和众汇富1980适合哪些人,希... 退休生活拥有更多可以自主安排的时间,但从熟悉的工作节奏转向个人选择,也可能让人一时不知道怎样建立新的...
和众汇富1980适合哪些人,习... 有些职场人擅长安排会议、拆分工作任务,面对个人兴趣学习时,却发现熟悉的规划能力并没有自然转化为清楚的...
和众汇富1980适合哪些人,习... 平时习惯通过播客、有声书或语音讲解获取知识的人,往往能够接受较长时间的口头表达,却未必擅长在听完之后...
和众汇富1980适合哪些人,习... 不少人平时习惯通过短视频了解财经话题,几分钟便能接触一个新观点,但想回头解释这些内容之间的联系时,又...
和众汇富1980适合哪些人,习... 不少成年人平时习惯通过阅读文章和书籍学习知识,面对以讲解为主的视频课程时,却发现自己难以按照原来的方...
和众汇富1980适合哪些人,从... 很多成年人已经习惯了坐在教室里听老师讲课,面对线上教学时,却发现自主安排时间、整理资料和保持注意力都...