Gemini 4 Argon打穿AGI终极考场

谷歌终于攻克了这一最棘手的难关。

不久前，ARC Prize官方在X平台公开了一项测试结果：

Gemini 4 Argon在被称为“AGI终极评测”的ARC-AGI-3中，取得了97.5%的成绩。

需要指出的是，仅在七个月前，ARC-AGI-3刚推出时，所有前沿模型的得分均低于1%。

七个月时间，从全体零分到近乎满分。

ARC Prize在公告中特别强调：Google DeepMind是第二家在ARC-AGI-3上突破95%的AI实验室。

第一家是OpenAI。

谷歌重回竞争舞台。

三代考题，一举通关

Gemini 4 Argon的测试结果相当亮眼。

• ARC-AGI-1：98.5%，每道题成本0.16美元
• ARC-AGI-2：91.3%，每道题成本0.32美元
• ARC-AGI-3：97.5%，整套测试花费4800美元

三代考题，全部通过。

在排行榜上，这个97.5%的成绩仅次于OpenAI的GPT-6 Astra（99.9%），超过了OpenAI 9月底提交的GPT-6.1 Sol（96.37%）。

这意味着，谷歌仅凭一个模型便跻身这一行列。

9月30日Argon发布时，谷歌博客主要聚焦于复杂工作流、编码和网络安全，输出Token上限直接提升至100万，通篇都是软件工程和Vals Index的成果，却只字未提ARC-AGI。

这次接近满分的成绩公布后，谷歌同样未作任何回应。

看到97.5%，有人或许认为这又是一次刷榜行为。

但这次的情况截然不同。

ARC-AGI-3并非传统的选择题或填空题式AI基准测试。它是一套交互式游戏环境——没有说明书，没有预设指令，也没有告知模型每关的目标。

模型被投入一个完全陌生的小游戏，界面是64×64的彩色格子，配有7个动作按钮，甚至连按钮的功能都不透露。

模型必须自行尝试、猜测规则、发现目标、规划通关路径。

这考验的是模型面对全新事物时，即时学习的能力。

这种能力人类天生具备。随便找一个没玩过游戏的普通人，投入其中摸索片刻，大概率都能通关。

但对AI而言，这恰恰是它最不擅长的。没有现成数据可供记忆，没有固定模式可套用，所有知识都必须在“玩”的过程中临时构建。

七个月，考场被攻克

回顾时间线，才能体会到这件事的速度有多惊人。

3月下旬，ARC-AGI-3上线，所有前沿模型得分不足1%。

9月2日，OpenAI的GPT-6 Astra率先突破，在Provider Adapter设置下达到99.9%以上，接近满分，成为第一家突破95%的实验室。Greg Brockman在发布会上直接宣称：“欢迎来到AGI时代。”

9月29日，OpenAI又推出GPT-6.1 Sol，得分96.37%。一个月内，OpenAI两个模型先后站上95%以上。

9月30日，谷歌发布Gemini 4 Argon。

10月16日，ARC Prize官方公布Argon验证成绩，97.5%。

更能说明问题的是效率数据。

在25个ARC-AGI-3公开游戏中，Argon通关所需的行动次数比人类基线少了62%。其中3个游戏，它追平甚至超过了speedrun纪录——也就是速通玩家刷出的极限成绩；另外6个，与纪录的差距不到10%。

也就是说，AI不仅学会了玩一款陌生游戏，还玩得比大多数人更高效，有几关已接近顶尖速通玩家的水平。

ARC Prize联合创始人Mike Knoop评价称，Argon是第二个通过Provider Adapter“有效最大化”ARC-AGI-3的模型系列，并提到行动效率出现了“反向弯曲”——效率提升的速度，比预期更快。

成绩单里的一行小字

然而，这份成绩单背后还藏着一组不起眼的数字。

ARC Prize的推文中，两种设置的分数并排列出：

97.5%，4800美元（Provider Adapter harness） 49.8%，5800美元（Standard harness）

同一模型，同一套考题，一个97.5%，一个49.8%。

这近48个百分点的差异，完全源于一个名为“harness”的组件。

harness是什么？可以理解为模型配备的操作平台。在交互式游戏中，模型每步都要接收环境反馈，再决定下一步。反馈如何输入、动作如何输出、过往尝试如何记录，都由这套操作平台管理。

Provider Adapter，是厂商为自家模型定制的接入方式；Standard harness，是考官为所有参赛模型统一提供的标准平台。

一个更反直觉的现象是：标准harness的花费更多——5800美元，比97.5%那档还贵了1000美元。多花了20%的成本，分数却仅剩一半出头。

细看标准harness的数据，低推理档49.8%（55个游戏完成42个），中推理档46.3%（完成46个），高推理档因API问题只跑完19个，连分数都未公布。

中档多完成了4个游戏，总分反而低了3.5个百分点。思考时间更长，并未换来更高分数。

这并非Argon的个例。榜首GPT-6 Astra的99.9%，同样是在Provider Adapter下取得的；换成标准harness，Astra仅得62.7%。

尺子快不够用了

再看另一位选手。Anthropic的Claude系列在ARC-AGI-1和ARC-AGI-2上得分很高，但到了ARC-AGI-3，要么得分偏低，要么干脆未进行测试。

外界习惯将OpenAI和Anthropic视为双雄争霸，但至少在这块考场上，目前是OpenAI和谷歌两家的天下。

但真正值得思考的，已不仅仅是分数高低。

一个号称“AGI终极评测”的基准测试，上线时让所有前沿模型集体零分，七个月后就被两家巨头做到接近满分——

衡量智能的尺子，被追上的速度一次比一次快。

而那条49.8%的分数线又在提醒所有人：如今拿来比较的，早已不是模型本身的裸智能，而是模型+harness的整套系统。谁会搭建操作平台，谁就多拿近一半的分数。

所以，今后看AI榜单，别只关注分数，括号里标注的是哪种harness，与分数本身同样重要。

参考资料：

https://x.com/arcprize/status/2110768288523251762

本文来自微信公众号“新智元”，作者：ASI启示录，编辑：所罗门，36氪经授权发布。