> 自媒体 > (AI)人工智能 > 解决ChatGPT“失忆”难题!840亿独角兽出手:推理确定性直接拉满
解决ChatGPT“失忆”难题!840亿独角兽出手:推理确定性直接拉满
来源:科技指南
2025-09-24 08:32:06
164
管理

840亿估值的AI公司,成立半年没产品,投资人追着塞钱;如今甩出首个研究,直接把大模型的“精神分裂症”给治了——这不是爽文,是硅谷正在上演的现实。OpenAI前CTO Mira Murati带队,三分之二员工来自OpenAI,20亿美元种子轮创纪录,现在他们告诉你:LLM推理结果忽左忽右?元凶是批次大小在搞鬼。从“空气估值”到“技术硬菜”,这波操作,到底是AI圈的新神话,还是给巨头们敲响的丧钟?

但Thinking Machines团队较真了:如果真是浮点运算的锅,为啥在GPU上重复跑同一个矩阵乘法,结果总能一样?他们扒开大模型推理的底层代码,发现了更隐蔽的问题:批次大小。

简单说,大模型服务器处理请求时,会把多个用户的提问打包成“批次”一起算——就像食堂打饭,100人吃饭就开10个窗口,50人吃饭开5个窗口。但问题来了:窗口数量(批次大小)一变,“打饭顺序”(计算顺序)就跟着变。比如矩阵乘法,批次大的时候按A→B→C的顺序算,批次小的时候按C→B→A的顺序算;浮点运算的“非结合性”(就是0.1 0.2 0.3的例子),让这两种顺序算出的结果有微小差异。

更要命的是,这种差异会在Transformer里“滚雪球”。第一层差0.0000001,第二层差0.00001,到第三十层可能就差出一个完全不同的token——就像蝴蝶效应,亚马逊雨林一只蝴蝶扇翅膀,最后得克萨斯州刮龙卷风。大模型推理的“精神分裂”,本质上是“批次大小变化导致计算顺序变化,最终输出跑偏”。

这问题咋解决?Thinking Machines的思路简单粗暴:不管批次大小怎么变,计算顺序必须固定死。就像食堂打饭,不管100人还是50人,都按“从左到右、从前到后”的顺序打,绝不允许换顺序。具体到技术上,他们给RMSNorm、矩阵乘法、注意力机制这三个核心模块,分别上了“紧箍咒”。

比如RMSNorm(大模型里的归一化层),过去批次大了就多开几个核心并行算,批次小了就少开几个;现在不管批次多大,每个核心只处理一个批次元素,算完一个再算下一个——效率可能低一点,但顺序绝对不乱。矩阵乘法更狠:直接放弃动态调整并行策略,不管输入形状啥样,都用同一套内核配置,哪怕比行业标杆CuBLAS慢20%,也要换“输出稳定”。

效果立竿见影:用Qwen3-235B大模型测试,1000个相同输入,在不同批次大小下,老方法有80个结果不同;用他们的方法,1000个结果完全一样。大模型的“精神分裂症”,被治好了。

三、为了确定性,这群疯子敢砍20%性能:AI圈需要“不飙车的老司机”

看到这里你可能会问:为了稳定,牺牲20%性能,值吗?

在这个“参数竞赛”疯狂内卷的AI圈,答案似乎是否定的。毕竟现在的大模型,个个都在比“谁算得更快、谁参数更多”——GPT-4o吹“速度提升2倍”,Gemini Ultra秀“支持100万token上下文”,大家都在踩着油门飙车,生怕慢一秒就被淘汰。Thinking Machines倒好,主动踩刹车,说“我要慢一点,但稳一点”,这不是反其道而行之吗?

但如果你仔细想想,就知道这步棋多聪明。AI圈现在的问题是“跑得太快,忘了为什么出发”。大模型的终极目标是“可靠地解决问题”,而不是“比谁先跑到终点”。就像自动驾驶,你是要一辆百公里加速2秒但偶尔失灵的跑车,还是要一辆加速10秒但从不翻车的沃尔沃?对于医疗、金融、自动驾驶这些关键场景,“稳定”比“快”重要100倍。

更关键的是,20%的性能损失,其实是“可接受的妥协”。Thinking Machines算过账:现在大模型推理的瓶颈,根本不是算力不够,而是“不敢用”。比如一家银行想上AI客服,担心AI今天说“信用卡能延期”明天说“不能延期”,宁愿多雇100个真人客服——这100个人的工资,比20%的算力损耗贵多了。如果能用20%的性能换“绝对可靠”,企业愿意买单。

这群OpenAI前员工,显然看透了行业的“虚火”。他们在OpenAI时,大概率见过太多因为“推理不稳定”导致项目黄掉的案例——比如某个大客户要求“输出必须100%一致”,结果技术团队搞不定,最后只能放弃。现在自己创业,他们不想再重复这种无奈:与其追求“最快”,不如先做到“最稳”。

这就像开车,AI圈现在全是飙车党,而Thinking Machines想当“老司机”——不追求速度纪录,但能把乘客安全送到目的地。在“快”已经内卷到极致的当下,“稳”反而成了稀缺品。

四、不只是技术,是“连接主义”的复仇:这群人想重构AI的底层逻辑

如果你以为Thinking Machines只是解决了一个技术问题,那就太小看他们了。翁荔(前OpenAI安全团队负责人,现Thinking Machines高管)在推文中透露:公司首个产品名叫“Connection Machine”(连接机器),致敬“连接主义”。

这词儿有点老,但分量极重。连接主义是AI的“老祖宗”,上世纪60年代就有了——当时科学家提出“人工神经元模型”,认为智能来自“神经元之间的连接”,而不是规则编程。后来的深度学习、神经网络,都是连接主义的“徒子徒孙”。但这些年,AI圈忙着堆参数、拼算力,早就把“连接主义”的初心忘了——大家更关心“模型有多少参数”,而不是“神经元之间的连接是否合理”。

Thinking Machines把产品名叫“Connection Machine”,摆明了要“复古”:他们想回到AI的本源,从“连接”的底层重构大模型。解决推理确定性,只是第一步——让神经元之间的“连接计算”稳定可靠;接下来,他们可能要重新设计神经网络的架构,甚至挑战现在的“Transformer霸权”。

这野心有多大?相当于特斯拉不只是造电动车,而是要重新定义“汽车”——从轮子到发动机,全部自己来。OpenAI现在走的路是“堆参数 数据”,Google走的是“多模态 通用智能”,而Thinking Machines想走“底层技术重构 连接主义复兴”。

为什么是他们?因为这群人太懂AI的“老底”了。Alec Radford(GPT一作)、Bob McGrew(OpenAI前首席研究官)、John Schulman(PPO算法之父)……这些人是亲手搭建GPT系列的“基建工人”,知道现有大模型的“承重墙在哪儿,裂缝在哪儿”。他们现在出来创业,不是要在现有地基上盖更高的楼,而是想挖掉旧地基,重新打桩——这才是最让巨头们害怕的。

五、这波操作,到底动了谁的蛋糕?

Thinking Machines这波操作,看似只是发了篇论文,实则在AI圈投下了一颗炸弹。最坐不住的,可能是两类人:

第一类是现有大模型巨头,比如OpenAI、Anthropic、Google。他们现在的推理系统,都是按“动态批次”设计的——为了效率,批次大小变,计算顺序就跟着变。如果Thinking Machines证明“批次不变性”是刚需,这些巨头要么跟进(重构底层代码,成本极高),要么被客户抛弃(企业转向更稳定的方案)。就像当年iPhone出来后,诺基亚要么学触屏,要么被淘汰。

第二类是芯片巨头英伟达。Thinking Machines为了“批次不变性”,宁愿不用英伟达优化到极致的CuBLAS库,甚至说“不同的张量核心指令会导致结果变化”——这等于直接说“英伟达的硬件优化,和推理稳定性是冲突的”。如果企业开始追求“稳定”,可能会倒逼英伟达调整芯片设计,甚至给AMD、Intel这些竞争对手机会。

但对整个行业来说,这是好事。AI圈需要这样的“搅局者”——他们带着巨头的基因,却不被巨头的路径依赖绑架;他们有资本撑腰,敢做“短期不赚钱但长期有价值”的事。840亿估值不是终点,而是起点:当“连接主义”重新成为主流,当“推理确定性”成为标配,AI可能会告别“野蛮生长”,真正进入“靠谱时代”。

尾声:

从840亿“空气估值”到甩出“技术硬菜”,Thinking Machines用3个月证明:在AI圈,“前OpenAI员工”的招牌固然值钱,但更值钱的,是这群人敢“反套路”的勇气——不追参数、不炒概念,而是回到AI最本质的问题:让机器的输出,像数学公式一样可靠。

现在再看“连接主义”的复兴,你会发现:AI的未来,可能不在千亿参数的“超级大脑”里,而在每一个“批次不变”的计算步骤中。毕竟,能把简单的事情做到极致稳定,本身就是一种伟大。

至于那些还在质疑“840亿估值太贵”的人,建议回头看看:2012年,当DeepMind还在研究“AlphaGo”时,也有人说“下围棋的AI值几个钱”——现在,DeepMind的估值已经超过500亿美元了。AI圈的规律从来都是:你看不懂的估值,可能藏着你没看到的未来。"

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
三菱退出中国?官方回应:将与现有伙伴继续合作
6月23日,有媒体报道称,三菱汽车将逐步取消包括欧洲、中国在内的市场业..
2026款三菱帕杰罗曝光,第二代超选四驱+2.4T/2.0T双动力..
硬派越野圈的“老将”居然换小排量了?2026款三菱帕杰罗刚露出消息,就把..
恩智浦计划退出5G功率放大器业务;三星或将退出SATA SSD市场;三菱化学出售..
五分钟了解产业大事每日头条芯闻 恩智浦计划退出5G功率放大器业务我国首..
实拍三菱全新欧蓝德!搭1.5T四缸,内饰配大屏,不比奇骏香?..
在重庆车展上,全新一代三菱欧蓝德终于在国内亮相了,相比其国外的发布时..
试驾广汽三菱奕歌:小巧灵动
■ 阅车试驾车型:广汽三菱奕歌长/宽/高(mm):4405/1805/1685轴距(mm..
新车 | 四驱越野MPV/配侧滑门/2.2T柴油机,新款三菱Delica D:5亮相..
文:懂车帝原创 高帅鹏[懂车帝原创 产品] 日前,2025东京车展开幕,新款..
三菱集团的传奇发家史
“三菱”两个字,在日本就像一把瑞士军刀:银行、飞机、汽车、火箭、寿司..
2026款三菱Montero曝光,S-AWC四驱+差速锁全配,普拉多见了..
当 “普拉多见了都得慌” 的话题在越野圈炸锅,2026 款三菱 Montero 的曝..
日韩巨擘数据,三星2.1万亿三菱21万亿,中国第一谁?..
图片来源于网络2025年,让人火大的资本较量又来一波。韩国三星手里握着2...
关于作者
我是歌王(普通会员)
文章
1712
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40418 企业收录2986 印章生成263572 电子证书1157 电子名片68 自媒体91237

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索