动态列表

  • 刚刚,Gemini「灵魂人物」官宣加盟xAI!马斯克火速转推背书
  • 靠10万+粉丝,北漂插画师秒贷款!华为全栈AI加速,让银行及时看见
  • 醒醒,LLM根本没有性格!加州理工华人揭开AI人格幻觉真相
  • 哈佛大佬都哭了!H-1B签证飙至10万刀,微软谷歌连夜召回全球员工
  • 马斯克xAI百天血战,100天狂招100人!联创实权被削,豪言干掉微软
  • 全球双榜SOTA!明略科技专有大模型 Mano开启GUI智能操作新时代
  • 谷歌Gemini IMO和ICPC夺金功臣之一被xAI挖走,马斯克直呼:起飞
  • 工业级3D世界构建提速90倍!全新框架LatticeWorld让虚拟世界「一句话成真」
  • 集合通信库VCCL释放GPU极致算力,创智、基流、智谱、联通、北航、清华、东南重磅开源
  • 告别视频“抽帧”理解,美国东北大学新算法GRT算法实现高效可扩展的高帧率密集视频理解
  • 【招生招聘】阿卜杜拉国王科技大学孟彦达博士组全奖博士、博后、实习、交流生
  • iPhone17 卖爆,官网发货延至双 11;比亚迪仰望 U9 赛道版开启预定;网友玩坏 iPhone「舌头刷抖音」
  • 「逆龄大脑药」首次人体试验!奥特曼押注RTR242,返老还童将要成真?
  • 终结CMU霸权,清华首次登顶CSRankings世界第一!北大AI领域夺冠
  • 大模型训练新突破!Meta提出LSP:无数据也能实现能力飞升
  • OpenAI最新硬件2026年底亮相!狂挖苹果20+老将,首款神秘设备或将颠覆iPhone
  • 小扎AI眼镜当场死机,CTO自曝灾难级演示内幕:一个指令干趴自家服务器
  • 当大厂「卷」Agent,腾讯选择「下产线」
  • 陈天桥旗下AI公司MiroMind打造全球顶尖预测型大模型,性能登顶行业基准
  • OpenAI从苹果挖了20多人搞硬件,知情人士:苹果创新缓慢、官僚主义令人厌倦
  • Mini-Omni-Reasoner:实时推理,定义下一代端到端对话模型
  • 北大等提出BEVUDA++,首次解决BEV感知跨域难题,夜间检测性能提升12.9%
  • TPAMI 2025 | DiffMVS/CasDiffMVS:一种置信度感知的扩散模型,实现轻量且准确的多视图立体三维重建
  • iPhone 17 Pro 首日即现划痕;传 OpenAI 联手立讯做 AI 硬件;2025 年搞笑诺贝尔出炉
  • 史上最大升级!7亿周活ChatGPT逼宫,谷歌慌了,这次要把AI整个塞进Chrome
  • 谷歌AI或摘千禧年大奖!华人博士破解百年数学难题,首次捕获奇点
  • 登顶多模态推理榜MMMU!UCSD新方法超越GPT-5、Gemini
  • DeepSeek-R1登顶Nature,8位专家严审通过, 大模型「交卷时刻」来了
  • 18岁天才少年,登上Nature封面!
  • 不要ViT也不要扩散!OneCAT甩掉编码器,统一多模态自回归模型来了
  • ICML 2025 | 乱写Prompt更给力?删几个Token,上下文学习立刻“反向觉醒”
  • 北京内推 | 腾讯混元大模型X团队招聘大模型/强化学习方向“青云计划”实习生
  • 扩散大语言模型也能飞?DPad免训练加速61倍,全局规划照样稳
  • 华为超节点:用「一台机器」的逻辑,驱动AI万卡集群
  • 5555被拒稿,AC接收但PC强拒,NeurIPS揭榜引争议
  • 超强开源模型Qwen3、DeepSeek-V3.1,都被云计算一哥「收」了
  • 攻克大模型训推差异难题,蚂蚁开源新一代推理模型Ring-flash-2.0
  • 给大模型「精准手术」:美团智能客服提出逆向学习技术精准纠偏,风险控制提升38%
  • Meta新作SyncSeal:用深度学习“封印”同步信息,让数字水印不再怕裁剪和旋转
  • 阿联酋大学CVLab IEEE Fellow团队招收2026春季/秋季全奖博士生
  • 千禧年大奖难题有望突破?AI为流体动力学提供新思路
  • 生物学迎来「ChatGPT时刻」:Evo构建首个AI生成的「基因组」,开启生成式基因设计时代
  • 英伟达50亿美元入股英特尔,将发布CPU+GPU合体芯片,大结局来了?
  • 理解帮助生成?RecA自监督训练让统一多模态模型直升SOTA
  • 投50亿美元,英伟达联手英特尔;谷歌将Gemini加入浏览器;网约车司机平均月入过万
  • GPT-5攻入数学圈,证明定理快过博士生?网友热议AI新角色
  • 阿里王牌Agent横扫SOTA,全栈开源力压OpenAI!博士级难题一键搞定
  • ChatGPT负责人深度复盘,爆4o复活内幕!过快下线是失误,将迭代模型人格
  • 全球首个AI基因组诞生,35亿年生命代码重编程!生物学迎「ChatGPT时刻」
  • 芯片大地震,黄仁勋355亿入股!英特尔要为老黄造CPU,股价狂飙30%
  • 新思科技中国30周年,引领AI智能体工程师重塑芯片设计范式
  • 科大讯飞发布面向东盟的多语言大模型及系列产品,布局中国—东盟AI生态大未来
  • Nature | 20年后你会患上哪些疾病?AI准确预测超1000种疾病患病风险,助力预防
  • 我们还是低估了英伟达
  • 谁在拖慢你的RL?别怪显卡,错的可能是你的PG-loss
  • 北京内推 | 字节跳动国际电商团队招聘大模型方向算法实习生
  • 少样本不够看?给LLM装上“学习引擎”,上下文学习迈入千样本时代
  • ICCV 2025 | Gap即力量!挖掘模态间隔潜力,MG-CLIP实现持续学习SOTA
  • OneSearch,揭开快手电商搜索「一步到位」的秘技
  • 17.38 万的大六座 SUV,吉利用银河 M9 敲碎了友商的心
  • 刚刚,OpenAI在ICPC 2025编程赛上满分登顶,Gemini也达到金牌水平
  • 从一个公众号智能体说起:好用的Agent,究竟需要什么?
  • B站出海的强有力支柱:最新开源文本转语音模型IndexTTS-2.0标志零样本TTS进入双维度时代
  • 腾讯企点营销云发布Magic Agent,营销工具全面AI化
  • 带屏 AI 眼镜登场!Meta「眼镜全家桶」炸街了
  • 通义DeepResearch震撼发布!性能比肩OpenAI,模型、框架、方案完全开源
  • 让机器人「不只是走路」,Nav-R1引领带推理的导航新时代
  • 刚刚,DeepSeek-R1论文登上Nature封面,通讯作者梁文锋
  • 腾讯 AI 的新叙事
  • 传小米 YU7 新车型曝光纽北;李飞飞放出 3D AI 新成果; 49.2%,火山引擎大模型调用份额占半壁江山
  • 小扎豪掷143亿,却换不来AI燃料!数据之争下半场,中国冲出一匹黑马
  • 终结数据荒!智源开源首个Deep Research数据合成框架InfoSeek
  • 我用一张照片,生成了一个能走进去的世界
  • 奥特曼爆料:GPT-5重构彻底一切!一人顶五个团队
  • 最新实测GPT-5-Codex:前端能力碾压,复杂项目轻松搞定,Claude可以扔了!
  • TPAMI 2025 | 弱监督与自监督引领自动驾驶运动预测新范式,用场景分割“脑补”运动,仅需0.01%标注,性能媲美监督方法
  • 南开大学等提出RAM++:从关注“降质”到关注“内容”,实现鲁棒的全能图像恢复
  • 不改参数不重训!CARVE一招纠偏,对比注意力让视觉模型精准聚焦
  • ICML 2025 | AI福尔摩斯来了!LLaVA-ReID多轮发问,行人重识别一步步锁定
  • 博士申请 | 新加坡国立大学CoSTA Lab招收人工智能全奖博士/RA/实习生
  • 清华新作颠覆CoT!ParaThinker并行思考,终结单链推理天花板
  • 没想到,音频大模型开源最彻底的,居然是小红书
  • 6.1B打平40B Dense模型,蚂蚁开源最新MoE模型Ling-flash-2.0
  • 「AI助手」真来了?谷歌牵头推进Agent支付协议AP2
  • 腾讯AI Lab首创RL框架Parallel-R1,教大模型学会「并行思维」
  • 阿里开源通义DeepResearch,性能超OpenAI、DeepSeek旗舰模型
  • 华为发布4+10+N中小企业智能化方案,打通迈向智能世界「最后一公里」
  • LLM开源2.0大洗牌:60个出局,39个上桌,AI Coding疯魔,TensorFlow已死
  • Cell丨谷歌AI co-scientist联合帝国理工揭开谜团:提出并验证细菌基因转移机制假说
  • 华为首款旅行车 1 小时订单破 5000,余承东再次「封神」?
  • 腾讯、复旦、上海创智学院提出SwiftVideo:首个Continuous-time视频蒸馏加速框架,实现业界最快最高清视频生成
  • 刚刚,李飞飞空间智能新成果震撼问世!3D世界生成进入「无限探索」时代
  • 突破单链思考上限,清华团队提出原生「并行思考」scale范式
  • 刘强东喊话王兴:尊重兴哥,不应是仇人;美机器人公司估值暴涨至390亿美元;iOS 微信支持聊天发实况图|极客早知道
  • 7亿人每周狂发180亿条消息!OpenAI首次揭秘ChatGPT最火用途
  • LLM会梦到AI智能体吗?不,是睡着了也要加班
  • 一周休4天!老黄、盖茨站台,网友炸锅:是AI福利,还是裁员信号?
  • AI精神病爆发!沉迷ChatGPT把人「宠」出病,KCL心理学家实锤
  • 谷歌DeepMind「粪坑淘金」全新方法,暗网毒数据也能训出善良模型
  • EMNLP 2025 | 跨风格不误判!MoSEs用职业写作风格建模,检测AI文本更稳更准
  • 北京内推 | 微软Copilot算法团队招聘大模型推理方向研究型实习生
  • 一招打破瓶颈!HyperTree超树规划:AI掌握层级化推理,复杂任务全面突破
  • 高阶程序,让AI从技术可行到商业可信的最后一公里
  • 网络顶会获奖!华为提出端网协同RDMA传输架构,解决大规模AI集群网络可扩展性问题
  • 具身智能能力狂飙,安全却严重滞后?首个安全可信EAI框架与路线图出炉!
  • 在端侧 AI 时代正式到来之前,联想想先做好硬件「杀手锏」
  • 火山引擎发布PromptPilot,推动大模型应用高效落地
  • 在「外滩大会·具身智能:从泛化到行动,重塑产业未来」上,这些大牛都说了什么?
  • 国内首个!夸克公开覆盖全阶段医师考试的健康大模型测试集
  • 蚂蚁百灵开源轻量级MoE语言模型Ling-mini-2.0,1.4B激活性能比肩大规模模型
  • 浙大侯廷军团队联合IIT等发布系统综述:全景解析机器学习加持下的「增强采样」方法
  • BMVC 2025 | 无需源数据,Grad-CL如何利用梯度引导实现精准的眼底图像分割?
  • 斯坦福大学提出PSI:一种通过概率结构集成,从数据中学习可控、可灵活提示的世界模型的新系统
  • 谁说Scaling Law到头了?新研究:每一步的微小提升会带来指数级增长
  • 从少样本到千样本!MachineLearningLM给大模型上下文学习装上「机器学习引擎」
  • 最新披露,骑手收入真实情况揭晓
  • 刚刚,OpenAI发布GPT-5-Codex:可独立工作超7小时,还能审查、重构大型项目
  • 多模态BUG修复新SOTA:慕尼黑工大GUIRepair登上SWE-bench Multimodal榜单第一
  • 15年大佬深夜痛哭半小时!氛围编程巨坑曝光,95%程序员沦为「AI保姆」
  • 面试不是考试,是表演!新晋OpenAI员工:重磅揭秘顶级AI岗通关密码
  • GPT-5惨遭零分打脸,顶级AI全军覆没!奥特曼AI博士级能力神话破灭
  • 反转!LeCun刚转发「全球最快开源推理模型」,ETH苏黎世就直接打假
  • 新世界首富:斥巨资求永生,TikTok收购案最可能买家,得OpenAI千亿订单
  • EMNLP 2025 | LLM也会“装成人”?对比重写CoPA挑战AI文本检测可信度
  • 北京/杭州/西雅图内推 | 阿里通义实验室LLM Research团队招聘大模型研究科学家
  • 博士申请 | 南京大学范琦老师课题组招收26级/27级视频生成/世界模型方向博士生
  • 从Muon到AdaMuon:下一代优化器能否真正取代Adam?
  • 法天使与零一万物发布法务智能体平台,让AI成为法务部的超级员工
  • 从「对口型」到「会表演」,刚进化的可灵AI数字人,技术公开了
  • 数字生活的原生入口:蚂蚁集团发布AI眼镜全新技术框架gPass
  • OpenVision 2:大道至简的生成式预训练视觉编码器
  • 旗舰手机、AI 拍摄眼镜、Flyme ,魅族 22 「归航」终极生态
  • DeepMind与牛津大学提出LayerLock:用渐进式层冻结实现高效、无崩溃的自监督视觉表征学习
  • 超越GPT-4o,蚂蚁集团与南洋理工大学提出LaV-CoT:首个语言感知的视觉思维链
  • 为什么说现在所有的 AI Agent,都像 3D 打印机?|AI 上新
  • 召回率达99%,牛津大学等开发AI工具助天文学家快准识别超新星,从亿万星海中秒抓宇宙烟火
  • 用光学生成图像,几乎0耗电,浙大校友一作研究登Nature
  • 告别ROS的繁琐, 易用易学的机器人学习系统: 华为诺亚面向机器人学习的开源Python框架
  • 现货来了!火出圈!钉钉首款AI硬件DingTalk A1正式开售
  • 苹果 iOS 26 今日发布,8 大更新;华为小米宇树入选 MIT「聪明公司 50」;中国核电催更《流浪地球 3》

GPT-5仅23.3%,全球AI集体挂科!地狱级编程考试,夺金神话破灭



  新智元报道  

编辑:桃子
【新智元导读】编程大考,全球顶尖LLM夺金,真无敌了?最难编码基准SWE-Bench Pro出世,汇集了平均超100行代码的难题。没想到,最能打的LLM纷纷溃败,GPT-5仅拿下23.3%高分。

一图看透全球大模型!新智元十周年钜献,2025 ASI前沿趋势报告37页首发

继IMO 2025登顶后,谷歌、OpenAI的模型,再一次拿下了ICPC金牌。

ICPC,被公认为全球最具挑战的大学生编程竞赛之一。

OpenAI和谷歌不仅解决了全部12题,还在人类选手中位列第一,难道AI编程真能所向披靡了吗?

最新一项基准测试,直接打脸了全世界的顶尖模型。

它就是SWE-Bench Pro,专为评估AI编程智能体而生的新一代基准测试,直面真实企业级工程任务。

相较于前代SWE-Bench,Pro版本升级带来了三大突破:

  • 任务难度全面提升

  • 抗数据污染能力更强

  • 无限逼近真实代码库


这一版,堪称编码中的「最后人类考试」。在实际测试(公开集)中,顶尖模型几乎溃败。

GPT-5虽拿下了第一,但成绩仅有23.3%,Claude Opus 4.1以22.7%得分位居第二。

其他模型更是没有一个能打的,得分全部低于15%。

这意味着,在更贴近真实世界的编程任务中,LLM的长程编码能力仍是短板。

最新21页技术论文,详细公开了SWE-Bench Pro设计细节。

论文地址:https://static.scale.com/uploads/654197dc94d34f66c0f5184e/SWEAP_Eval_Scale%20%289%29.pdf


编码界,需要一场硬核考试


过去,SWE-Bench等基准成为了评估LLM在软件工程中的重要标准。

这些测试中,通常要求AI基于完整代码库和自然语言描述,生成代码Patch。

就拿SWE-Bench Verified来说,顶尖LLM已实现超70%成功率,听起来确实非常厉害。

但这也暴露了一个问题:

未来6至12个月内,现有基准或许会「饱和」,无法再去有效衡量AI的进步。


由此,Scale AI正式发布了SWE-Bench Pro。

它提供了一个更真实、更具挑战的「考场」,直击痛点解决现有基准的缺陷。

数据污染,与现实脱节


当前,已有的编码基准测试,存在两大缺陷。

一方面,数据污染风险高。很多基准基于开源GitHub仓库构建,但这些仓库,尤其是MIT、Apache许可的项目,很容易被LLM训练数据「爬虫」。

由此一来,AI在测试时存在「作弊」的可能,或许它早就见过类似的难题。

另一方面,现有基准的任务太过简单,达不到「工业级别」。

还以SWE-Bench Verified举例,500道题中,竟有161道只需改1-2行代码。

这在实验室里可行,但到了企业环境中,往往涉及跨多个文件、数百行代码的复杂修改。

这样的基准,根本无法反映AI在真实开发场景中的表现。

编码考试不是AI智能体的最终目的,但一个更硬核基准,才能真实评估LLM是否真正符合工业级应用的标准。


SWE-Bench Pro:超100行代码难题


在SWE-Bench Pro设计中,一共包含1865个经人工验证与增强的问题,细分了三类子集——公开集、商业集、保留集。

论文中,研究团队介绍了SWE-Bench Pro的三大贡献:

1. 巧妙收集设计,降低数据污染风险

SWE-Bench Pro创新数据收集策略,避开了污染陷阱。

(1)仅采用强著佐权许可证(GPL)的代码库构建公开集(11个代码库)和保留集(12个代码库);

(2)从真实初创企业获取商业代码以构建商业集(18个代码库),从而捕捉企业级问题。

• 公开集:在HuggingFace公开发布731个实例,并在本文中报告相关统计数据和模型表现。这些实例源自采用著佐权(copyleft)许可证的公开代码库。

• 商业集:来自初创企业代码库的276个商业集问题。这是唯一包含初创企业专有代码库的集合,因法律限制无法公开。

• 保留集:保留了858个与公共集结构镜像但采用不同代码库的问题集。

2. 任务升级,更具挑战、多样,更贴近工业

为了确保任务复杂度,Scale AI排除了1-10行代码「小修小补」的任务,只保留需要多文件、实质性修改的问题。

参考解决方案平均涉及4.1个文件、107.4行代码,所有任务至少改10行,超100项任务需改超100行。

除了复杂度外,选的代码库都是活跃维护的,覆盖了消费级App、B2B服务和开发者工具平台等多个领域。

而且,每个代码库贡献了50-100个实例(上限100),避免了对单一库的依赖。

3. 人机协同验证,确保任务可解

有了以上难题还不够,最后一步,还需要确保它们是可解的。

为此,SWE-Bench Pro又引入了一个以人为中心的增强验证流程,分为三阶段人机协同流程。

一方面,它能澄清模糊信息,补充缺失的上下文;另一方面,通过约束解决方案空间,保持灵活同时避免假阴性。


Claude企业级第一
仅拿下17.8%「最高分」


不同顶尖模型,在SWE-Bench Pro上的表现如下表1所示。

以Pass@1作为问题解决率指标,GPT-5与Claude Opus 4.1分别以23.3%和22.7%解决率领先。

早期代际模型,比如DeepSeek Qwen-3 32B、GPT-4o表现明显落后,分别仅为3.4%和3.9%。

此外,公开集和商业集存在显著的性能差距。

最佳模型在商业集的得分均低于20%,从侧面印证了,企业级代码库处理的挑战性。

总的来说,LLM在公开集的通过率≤23.3%,在商业集≤17.8%,远远低于SWE-Bench Verified的70%以上。

这背后的原因,究竟是什么?

不擅长的语言,也会影响性能


从编程语言维度来看,AI性能分化明显。

在Go和Python任务中,大多数模型解决率较高,有些甚至超过30%。

相较之下,JavaScript(JS)与TypeScript(TS)则表现波动较大,根据模型不同,解决率从0%到超过30%不等。

不仅如此,代码仓库维度多样,有些仓库,所有模型解决率都低于10%。

有一些,还能达到50%。

仓库的复杂度、文档质量,或是问题类型等,也成了LLM在编码任务中影响性能的因素。

可以看到,Claude Opus 4.1、GPT-5在多数仓库和编程语言中,都能保持稳定高性能。

失败原因,多种多样


接下来,研究人员又让GPT-5作为「法官」,去对不同模型的故障进行分析。

具体步骤是,先手动构建常见故障分类桶,然后筛选未解决实例,收集最后20轮交互轨迹,向GPT-5提供提示,让其推理并分类故障。

结果显示,顶尖模型的失败原因,覆盖了各种情况。

  • Claude Opus 4.1:卡在了语义理解,错误解决方案占比35.9%,语法错误24.2%,技术执行力强,但问题理解、算法准确性有待提升。

  • GPT-5:工具使用差异明显,但错误解决方案较少。

  • Claude Sonnet 4:上下文溢出(35.6%)和无限文件读取行为(17.0%)是主因,暴露了上下文管理和导航策略的局限。

  • Gemini 2.5:工具错误(38.8%)、语法错误(30.5%)和错误解决方案(18.0%,多维度挑战并存

  • Qwen-3 32B:工具错误率最高(42.0%)


总言之,SWE-Bench Pro是一个全新抗污染、工业真实的基准,能够成为未来LLM编码能力一大标尺。


一作介绍


Xiang Deng

Xiang Deng现任Scale AI研究工程师,专注于LLM的编程与智能体研发。

他曾获得了俄亥俄州立大学的博士学位,以及中国科学技术大学计算机科学学士学位。

Jeff Da

Jeff Da现任Scale AI研究科学家,专注于强化学习、智能体与训练后优化方向。

他曾在艾伦人工智能研究所和华盛顿大学,主要从事推理能力评估、多模态学习等方向的研究。


彩蛋


有趣的是,在首席AI官Alexandr Wang评论区下方,所有人更关心的是MSL内幕消息。

Alexandr剧透,即将有更多新内容分享。

参考资料:
https://x.com/vbingliu/status/1969460781495566611 
ScaleAI/SWE-bench_Pro · Datasets at Hugging Face
https://x.com/alexandr_wang/status/1969805196462358919


<br>


    <a class="media_tool_meta meta_primary" href="http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&amp;mid=2652629569&amp;idx=1&amp;sn=672995b8e38618e6db3d2a98117070cf&amp;chksm=f050e452c7a652fec17c1c8c36ab1ddf1e0bd57df15e31bd7cae260ed4e0a9a443530eff2e0d&amp;scene=0#rd"  target="_blank">文章原文</a>
    <br>




<img alt="" class="" height="1px" src="https://images.weserv.nl/?url=http://www.jintiankansha.me/rss_static/5418/q7cvrdhCNy&amp;maxage=1y"  width="1px"></div></div></body></html>

联系我们