刚刚，OpenAI新Transformer火了！Astra架构首次曝光

谈球吧获悉最新情况：

新智元报道 家人们，听说了么？ OpenAI下一代Astra采用了一种 「循环深度」（recurrent depth） 全新推理方法。 思考Token大幅减少，性能反而直线拉爆！ 怪不得灰测的Astra实力那么强，原来OpenAI手握了一张真正的技术王牌。 但是代价是，Astra的思考过程完全「隐身」了 。就连OpenAI自己都难以看清AI大脑，监控更是「南上加南」。 消息一爆出来，全网都陷入了恐慌。 OpenAI首席科学家Jakub Pachocki，第一时间做出了回应—— 内部目前最前沿的模型（包括Astra）， 它的计算图深度顶多也就GPT-4的两倍 ，没外界传的那么玄乎。 几乎同一时间，有大V爆料称，gpt-6-astra的名字已在OpenAI API上现身了。 看这架势，GPT-6预计明天就会上线。 它背后的新架构，究竟是什么来头？ 「循环Transformer」，火遍全网 「循环深度」还有另外一个名字，叫「循环Transformer」（Looped Transformer）。 实际上，这一概念并不是由OpenAI首次提出。 在此之前，整个业界都在「循环Transformer」上做过不少研究。 要看懂Astra变在哪，得先看传统大模型是怎么干活的。 传统的Transformer像一栋只能走一遍的高楼，数据从第一层一路爬到最后一层，做完固定次数的运算，吐出下一个Token。 你想让它推理得更深？那就只能把楼盖得更高、参数堆得更大。代价就是极其高昂的算力和显存开销。 循环Transformer换了个极其暴力的思路： 让它转起来 。 信息不再是单向穿过网络一次，而是把同一组Transformer层反复循环使用。 第一圈算出的隐藏状态（Hidden States），直接送回起点继续加工，转上好几轮，最后才吐出结果。 它就像一段盘旋向上的楼梯——还是那几级台阶，但只要多绕几圈，照样能到达顶层。 这条路，学界早就走通了。 谷歌在2025年发表的一篇论文Reasoning with Latent Thoughts，给出了一个非常直观的结果—— 一个包含k层、循环L次的Transformer，在不少推理任务上，可以接近拥有k×L层的普通模型。 参数量没有同步扩大，有效计算深度却被拉长了。 今年2月，一篇关于「潜在推理」（latent reasoning）的论文，也完美展示了这种架构的杀伤力。 研究人员拿一个35亿参数的小模型，中间的核心块反复循环跑。当转的圈数足够多时，这个3.5B的小身板，竟然打出了相当于500亿大模型的成绩。 这相当于，给「测试时算力」开了一个超频开关。 不加参数，不占额外显存，光靠在原有的权重里多跑几圈（拿时间换空间），能力就能越级狂飙。 对于刚被Anthropic在营收上反超、急需一个断层式大跃进的OpenAI来说，这种技术的诱惑力，根本无法拒绝。 思考是怎么「隐身」的 在此前爆火的「AI 2027」一文中，曾将这一方向称之为「 神经语循环 」。 Astra仍会通过语言来思考问题，但那些言语之间的更多思考，现在可能是无声的。 Astra的进化直接打破了AI 2027的预言 「循环深度」的危险就在于， 它把思考逼进了盲区 。 在此之前，业界必须接受一个反直觉的现实：对于现在的推理模型来说，CoT是模型真正用来打草稿的工作记忆。 过去，模型想得再深，也必须从「输出下一个Token」这个狭窄的漏斗里挤出来。 正是这一挤，把抽象的计算逼成了人类能读懂的文字。这也是过去两年，人们唯一能「看透」AI脑子里在想什么的底气。 但另一方面，「循环深度」拓宽了内部的计算管道。 固定层数的模型，每吐一个Token前能做的串行推理是有限的。 而现在，模型在中间的循环块里转了r圈，每个Token背后就塞进了r倍的串行计算。原本必须挤在字面上的长链条推理，现在能在向量世界里默默转完，全程不吐一个字。 省下的Token，恰好省在了那些没写出来的思考上。更麻烦的是，它在潜空间里「想」的，未必是人话。 正如Meta早前在「连续思维链」（Coconut）研究中指出的： 模型用数字、用向量去推理，可能比被逼着用人类语言更准、更省。 这背后的逻辑很简单，大模型理解概念的方式，本来就是数学向量，强迫它每一步都翻译成人话，只会损失信息。 Coconut和CoT对比 这项技术的杀伤力在于，可以让一个小体积的模型，发挥出超大模型的实力，成本骤降，还能省下内存、带宽。 不过，它在省下了算力成本的同时，也彻底关上了人类的视线。 Astra真正王牌，就是新Transformer 对于数学和编程来说，「循环Transformer」架构极有吸引力。 许多真实任务本就依赖「多次迭代」：先提出方案，再检查错误，更新中间状态，继续求解。 「循环Transformer」，天

更多热门内容，欢迎持续关注谈球吧·(中国)-官方网站。