在HLE(“人类最后考试”)的专家校验子集上,首次有系统突破60分大关!
就在最近,由耶鲁大学唐相儒、王昱婕,上海交通大学徐望瀚,UCLA万冠呈,牛津大学尹榛菲,Eigen AI金帝、王瀚锐等团队联合开发的Eigen-1多智能体系统实现了历史性突破——
在HLE Bio/Chem Gold测试集上,Pass@1准确率达到48.3%,Pass@5准确率更是飙升至61.74%,首次跨越60分大关。这一成绩远超谷歌Gemini 2.5 Pro(26.9%)、OpenAI GPT-5(22.82%)和Grok 4(30.2%)。
3. Quality-Aware Iterative Reasoning (QAIR):质量驱动的迭代优化质量感知迭代推理(QAIR)能根据解答质量自适应地调整迭代深度:高质量解答可提前收敛,低质量解答则触发更多探索,从而在效率与准确率之间取得平衡。
该机制为每个方案评估三个维度:逻辑性、答案正确性、解释完整性。只有未达标的方案才会进入下一轮修正,避免在低质量候选上浪费计算资源。
全面碾压:不止于HLEEigen-1的优势不限于HLE:
工具税的精确量化最后,作者通过对比准确率提升与token减少的关系,直观展示了隐式增强相对于显式RAG的巨大优势。
传统的基线 RAG方案虽然能提升准确率,但以巨大的计算开销为代价,在图中表现为向右上方延伸(准确率提升但token增加)。
而Eigen-1则位于左上象限,在大幅提升准确率的同时减少了53.5%的token消耗,工作流迭代次数也从94.8步降至53.4步,减少了43.7%。这种“既要又要”的成果,正是架构创新的价值所在。
意义:科学AI的新范式Eigen-1首次突破60分的意义远超一个基准测试:Eigen-1更预示着AI辅助科学研究的新范式。
当AI能够真正理解和推理人类知识前沿的复杂问题时,它将成为科学家的强大助手,加速从基础研究到应用转化的全过程。
研究团队表示,未来将继续优化架构设计,探索向其他科学领域的扩展,并研究如何将这些技术整合到更广泛的科学工作流中。随着更多研究者加入这一开源生态,我们有理由期待科学AI将迎来更快速的发展。
正如团队所言:“HLE可能是我们需要对模型进行的一次重要的考试,但它远非AI的最后一个基准。”当开源社区携手推进,人类与AI协作探索未知的新时代正在加速到来。
论文链接:https://arxiv.org/pdf/2509.21193v1
项目地址:https://github.com/tangxiangru/Eigen-1
本文来自微信公众号“量子位”,作者:Eigen-1团队 ,36氪经授权发布。
相关文章









猜你喜欢
成员 网址收录40418 企业收录2986 印章生成263572 电子证书1157 电子名片68 自媒体91237