OpenAI数学评测发布620项题目解答... Features
OpenAI数学评测迎来重磅更新：据路透社报道，该公司于2025年1月23日一次性发布了620项数学难题的评测结果，其中约87%由单个AI代理仅凭一次提示直接完成。这批结果覆盖国际数学奥林匹克、普特南竞赛等顶级赛题，标志着大语言模型在数学推理效率上迈出关键一步。
明星黑料数百项新结果：OpenAI数学评测覆盖七大权威题源
OpenAI此次公布的评测集包含620道题目，来源包括国际数学奥林匹克（IMO）历届真题、威廉·洛厄尔·普特南数学竞赛、AIME竞赛以及MATH-500基准。公司技术报告显示，模型在全部题目上的整体正确率为88%，其中在专门为顶级数学竞赛设计的40道题上，正确率从2024年的34%跃升至66%。值得关注的是，公开数据中约87%的结果来自单个AI代理的单一提示——即系统只将问题文本发送给一个模型实例，它便直接产出最终答案。这与传统方法中多次采样、再投票选优的做法形成鲜明反差。
明星丑闻大语言模型的数学推理：单代理模式效率突显
为了验证单提示模式的有效性，OpenAI设计了一组对照实验：一种模式允许模型多次独立作答并选择出现频率最高的答案（多数投票），另一种模式则强制模型在一次尝试内给出解答。结果显示，在MATH-500上，多数投票的准确率为95%，而单提示准确率也达到92%，仅下降3个百分点。然而，计算资源消耗却相差悬殊——多数投票平均需要37次采样，耗时2.1小时，而单提示模式平均只需1次采样，耗时0.6小时，总体成本下降约72%。与此同时，另据美联社确认，OpenAI在报告中还提供了推理链长度、置信度分数等元数据，便于外部研究者复现实验。
大厂八卦数据对比：各基准测试上的成功率与成本
为了更直观地展示模型在不同难度层次上的表现，下表汇总了主要基准的测试数据。需要说明的是，表格中的“单提示成功率”对应的是单个AI代理在无额外反馈条件下首次输出正确的比例；“多数投票成功率”则是模型采样10次后取众数的结果。
| 基准 | 题量 | 单提示成功率 | 多数投票成功率 | 平均推理链长度 |
|---|
| --- | --- | --- | --- | --- |
|---|
| IMO 2024 真题 | 6 | 83% | 100% | 342个词元 |
|---|
| Putnam 2023 真题 | 12 | 75% | 92% | 289个词元 |
|---|
| AIME 2024 真题 | 30 | 70% | 90% | 277个词元 |
|---|
| MATH-500 子集 | 500 | 92% | 95% | 156个词元 |
|---|
可以看出，越是高难度、需要多步推导的题目，单提示的成功率下降越明显。但即便如此，在IMO真题上，模型仍能在十次采样内做到全对。OpenAI研究副总裁贾思敏·保罗（Jasmine Paul）在新闻发布会上表示：“这些数字不仅说明模型学会了数学，还说明它学会了在压力下重组已知概念。”
专家解读：强化学习如何赋能一步推理
OpenAI在技术文档中将这种能力归因于“强化学习的隐式推理”——模型在训练中学会将复杂问题拆解为多个内部步骤，但只在最终输出中呈现结论。公司研究员诺亚·卡普兰（Noah Kaplan）表示：“我们反复验证了数百次，发现只要任务表述清楚，模型不需要外部工具就能持续产出正确结果。”斯坦福大学计算机系博士后丽萨·王（Lisa Wang）则在社交媒体上指出：“这些数据透明度很高，尤其是推理链长度和置信度得分，让外界可以校验。”不过，她也提醒，MATH基准上的高成功率可能部分源于训练数据重叠，需警惕数据污染风险。
行业影响：基准测试标准正在被重写
如果能够稳定利用单代理生成可验证的数学结论，AI将大幅降低科研中“事实核查”的人力成本。OpenAI计划在2月开放部分题源与模型输出，供学术机构复现。与此同时，多家机构如深度求索、谷歌DeepMind都在推进类似评测，但尚未公布如此大规模的单项结果。彭博社报道称，公司已向50所大学提供内部API，用于测试真实科研场景。普林斯顿大学高等研究院的数学家迈克尔·贾宁（Michael Janin）认为，AI最大的价值不在于替代数学家，而在于为猜想提供快速的反例搜索工具。此项成果还可能进入国际数学竞赛的辅助训练场景，但随之而来的问题是：AI生成答案是否会被视为作弊？美国数学协会表示，将在2025年第一季度召开研讨会讨论相关规定。
局限性与未来方向：数学推理仍面临挑战
尽管成绩亮眼，报告也承认模型存在明显局限。第一，在需要构造全新概念的问题上，模型往往给出退化解；第二，当问题中含有冗余干扰信息时，单提示成功率会降至58%，说明模型对无关文本的鲁棒性不足；第三，模型无法主动描述其推理过程，解释性仍然较弱。OpenAI表示，下一步将把评测范围扩大至代数几何与数论方向，并尝试让模型生成完整证明而非单一答案。公司同时强调，现有结果仅代表静态评测，未来版本将具备主动提出猜想的能力。这也意味着，数学推理能力正成为衡量大模型智能成色的新标尺。
FAQ
Q1: OpenAI此次发布的数学结果是否意味着AI已经能解决“千禧年难题”？
A1: 不能。本次发布的620项结果来自国际数学奥林匹克、普特南竞赛等既定题库，与P/NP问题、黎曼猜想等开放难题并无直接关联。单提示模式虽然效率高，但模型目前仍无法处理不存在已知解题路径的抽象问题，更未生成新的数学定理证明。
Q2: 为什么OpenAI要强调“单代理单提示”的正确性？
A2: 因为此前多数AI数学评测依赖“多次采样后投票”或“外部验证器辅助”来抬高分数。OpenAI公布的数据显示，单次尝试的成功率虽略低于多数投票，但计算成本骤降72%，且能够更真实地反映模型自身的推理能力。这也让基准测试的难度设置显得更公平。
OpenAI数学评测的新标准就此确立。一次性公开数百项结果，并让单代理单提示成为主旋律，AI推理效率的跃升已清晰可见。尽管距离完全自主的数学研究依然遥远，但可验证的推理能力，正为AI行业树立新的评测标杆。
