新智元报道
新智元报道
【新智元导读】AI下半场，AGI已成过去式，ASI正引领新智能革命！OpenAI推出的GDPval评估体系，通过真实工作任务审视大模型潜力，揭示AI如何从实验室走向3万亿经济战场，助力人类从日常琐事中解放，拥抱创造性未来。
一图看透全球大模型！新智元十周年钜献，2025 ASI前沿趋势报告37页首发
AI下半场真来了！
AGI都过时了，现在AI业内讨论的是超级人工智能ASI：
AGI能把人类从80%的日常工作中解放出来；
而ASI则全面超越人类智能的系统。
刚刚，在a16z访谈中，OpenAI首席科学家Jakub Pachocki，透露OpenAI的研究路线图的下一步是推理，下一个5年的重点目标是打造自动化研究人员：
AI自动发现新想法，自动化研究人员的工作，自动化机器学习研究。
但理解AI潜力最清晰的方式，并不是预测未来，而是看看模型现在已经能做什么。
历史经验告诉我们，从互联网到智能手机，每一项重大技术从诞生到普及都需要十年以上。
OpenAI希望以更透明的方式，展示大模型如何真正服务于现实世界。
因此，他们推出了一项全新的评估体系GDPval，在有据可依的基础上审视AI进步轨迹，而不是凭空臆测。
论文地址：https://cdn.openai.com/pdf/d5eb7428-c4e9-4a33-bd86-86dd4bcf12ce/GDPval.pdf
数据集：https://huggingface.co/datasets/openai/gdpval
在GDPval 上，专家评审员将顶尖模型的输出与人类专家的工作进行了比较。
哈佛大学教授、名誉校长Lawrence H. Summers——同时任OpenAI的董事会成员，认为新研究令人兴奋：
在多项实际任务上，即使只有有限的指导，AI的表现与人类相当甚至更好;
人类与人·工智能结合，可以更高效;
AI具有令人惊讶的能力，可用来评估并随后改进其性能。
OpenAI坦承：Claude Opus 4.1表现最佳，在接近一半的任务上与专家工作相当或更好，明显优于GPT-5。
但OpenAI的进步速度引人注目：在一年内，GPT系列模型胜率几乎翻了一番。
过去，大模型评估往往集中在学术测试或编程挑战上。
这些评估虽然在推动模型推理能力方面起到了重要作用，但与现实工作场景仍有一定距离。
为了填补这道鸿沟，OpenAI逐步开发出一系列更贴近实际、更具经济意义的评估方法——
从传统的MMLU（涵盖多学科的考试型题目），
到更具实战意味的SWE-Bench（软件工程Bug修复任务）、MLE-Bench（机器学习工程任务，如模型训练与分析）、Paper-Bench（科研论文的逻辑推理与评议），
再到基于市场项目的SWE-Lancer（源于真实交易的自由职业软件开发任务）。
GDPval正是在这一演进路径上的下一个关键节点。
这项评估直接来源于现实工作中的任务，覆盖了9大行业、44种职业、每年共计3万亿美元经济价值。
整个任务集共包含1,320个高度专业化任务（其中220为金标任务子集，已开源）。
这些任务源于真实工作产出，比如法律意见书、工程图纸、客服对话记录或护理计划等。
每一项任务都需通过多轮严格审核流程，确保其具备三点，即：高度贴近实际工作场景；可由同领域的专业人士独立完成；具备明确的评估标准。
每项任务平均经历5轮专家评审，评审团队包括其他任务撰写者、独立职业评审专家，并辅以模型可行性与清晰度校验。
GDPval的独特之处在于，不仅任务内容贴近现实、形式多样，还具备极高的专业性和代表性。
与传统评估相比，GDPval并非简单的文本提示任务。它要求模型处理完整的参考材料与工作背景，输出形式也不仅限于文字，还包括文档、PPT、图表、电子表格，甚至多媒体内容。
当然，GDPval目前还只是一个起点，尚未完全覆盖现实知识工作中任务的复杂性。
它帮助我们清晰地认识到，大模型不仅仅能在实验室中解题，更可能在千千万万人的日常工作中，扮演可靠的辅助角色。
请再读一遍：AI不再只是「通过考试」，而是开始接受文明体系本身的考核标准：GDP。
独立研究员Shanaka Anslem Perera表示：
这不仅仅是一套评估体系，更像是某种经济生命体的诞生 。
GDPval，是「后人类经济时代」的第一套会计体系。
今天，它是一个「基准」；明天，它将成为新物种的记分牌。
当AI的产出开始计入GDP，它就不再是工具，而是超越「土地、劳动与资本」的第四种生产要素
早期测试结果显示，当前领先的大模型在某些任务上，表现已接近甚至媲美行业专家。
在220项金标任务中，行业专家盲测了多款主流模型：
GPT-4o、o4-mini、OpenAI o3、GPT-5、Claude Opus 4.1、Gemini 2.5 Pro、Grok 4。
结果显示：
Claude Opus 4.1在美学表现方面表现最强（如文档排版、PPT布局等）；
GPT-5则在准确性方面领先，尤其擅长定位专业知识点。
当前最先进的大模型，输出质量已接近业内专家水平。其中，Claude Opus 4.1表现尤为突出——
在接近一半的任务中，其产出被评为「与人类一样好」甚至「优于人类」。
从GPT-4o（2024年春发布）到GPT-5（2025年夏发布），模型在GDPval任务上的平均表现几乎翻倍，呈现出明显的线性进步趋势。
OpenAI还发现，顶尖模型完成GDPval任务的速度和成本，平均是人类的1%——约快100倍、便宜100倍。
不过，这一数据仅统计了模型推理时间与API调用成本，并未包含人类监督、迭代修改与实际集成等现实工作流程所需的资源投入。
尽管如此，在模型表现尤为出色的任务类型上，先用AI试一轮，再交由人类介入，可能成为节省时间与成本的理想策略。
为了验证是否可以提升GPT-5在GDPval任务中的表现，OpenAI增量训练了实验性的内部特定版GPT-5。
结果证实，经过该训练流程后，模型性能确实得到了实质性提升，展现了进一步优化的潜力。
下图的多项受控实验结果，进一步印证了这一点：扩大模型规模、引导模型进行更多推理步骤、提供更丰富的任务背景信息，都会带来可衡量的性能增益。
OpenAI设计了一条通用提示词，要求模型在提交结果前进行严谨的自检，可适用于各类多模态经济类任务，并未针对具体问题进行过拟合。
在GDPval任务中，为了评估模型的实际表现，OpenAI依赖资深从业者作为「评分员」。
专家入选标准包括：至少4年行业从业经验，且简历中需体现专业认可度、晋升轨迹及管理职责。参与本项目的专家平均拥有14年从业经验。
行业专家团队曾任职于以下代表性机构：
Meta、微软、摩根士丹利、谷歌、甲骨文、苹果、通用电气、高盛、HBO、IBM、摩根大通、领英、洛克希德·马丁、美国银行、巴克莱银行、波音、美国疾控中心、花旗集团、美国国防部、美国联邦贸易委员会、美国国家公园管理局、NFL网络、雷神、Sally Beauty、《科学美国人》、苏富比、英国电讯报集团、赛默飞世尔、《时代》杂志、美国司法部、美国空军、美国邮政总局……
这些评分员来自与任务相同的职业背景，并在不知晓「人类 vs AI」身份的前提下，盲评由模型与人类任务撰写者完成的任务成果。
他们不仅会给出评价，还会对比排名，最终判断每个AI生成结果是「优于」、「相当于」或「劣于」人类结果。
为了确保评分过程透明一致，每位任务撰写者还为其职业领域制定了详细评分标准（rubric），涵盖各类评价维度。
OpenAI还开发了「自动评分器」——一个用于预测人类专家偏好的AI系统，模仿行业专家的对比评估方式。
自动评估工具比专家评估更快、成本更低，且与人类专家评估的一致性达到66%，仅比人类评估者之间71%的一致性低5%。
由于其局限性，OpenAI没有使用自动评分器取代人类打分员。
随着AI能力不断提升，劳动力市场势必将发生结构性变化。
GDPval的早期结果已经表明，大模型在处理那些重复性强、结构清晰的任务时，效率远超人类专家，不仅更快也更便宜。
但也要看到，大多数工作不仅仅是可拆解的任务清单。
GDPval的意义在于：它揭示了AI可以承接哪些日常性事务型任务，从而为人类腾出时间专注更具创造力、判断力的复杂工作。
当AI能够以这种方式补充而非替代人类时，将为经济增长释放巨大潜力。
OpenAI希望借助GDPval与相关工具，推动AI工具的普及平民化，支持劳动者顺利适应时代变革，并打造能鼓励广泛参与与共享成果的激励机制。
同时，OpenAI也开放了GDPval金标任务子集以及一个公共评分平台，希望能为更多研究者提供基础设施，持续推动该方向的发展。
愿每个人都能搭上AI时代的「上行电梯」。
<br>
<div>
平台地址：<a href="http://www.jintiankansha.me/t/NLFk18Hr55">http://www.jintiankansha.me/t/NLFk18Hr55</a>
</div>
<img alt="" class="" height="1px" src="https://images.weserv.nl/?url=http://www.jintiankansha.me/rss_static/86414/NLFk18Hr55&maxage=1y" width="1px"></div></div></body></html>