谷歌让AI自己改工作配置:5%到40%的真相,以及它为什么不是“模型更强”
谷歌研究发现,固定模型权重、让AI智能体自行优化harness(工作配置),在特定软件工程测试中可将任务成功率从5%提升至40%,同时降低Token消耗。本文解释harness是什么、自我改进为何有效,以及这些数字在什么条件下不成立。核心判断是:这代表Agent测评标尺从“模型能力”转向“工作配置质量”,但现有证据不足以支撑“成功率暴涨8倍”的普遍化表述。
谷歌让AI自己改工作配置:5%到40%的真相,以及它为什么不是“模型更强”
5%到40%:一个被忽略的改进维度
谷歌一篇题为《Harnesses That Improve Themselves》的研究论文最近引起了不少讨论。根据同花顺财经转载科创板日报的报道,这项研究提出,AI智能体可以通过持续优化自身运行框架来显著提升任务完成能力。在一项软件工程测试中,采用模块化修改与验证机制的智能体,任务成功率从5.0%提升到了40.0%。

40%是5%的八倍,这个数字足够直观,也足够容易被截取出来当作标题。但论文真正值得注意的地方,并不在于“成功率暴涨8倍”这个表述本身。5%到40%的对比只存在于论文所描述的特定测试中,公开报道没有披露测试集、任务类型、样本量或基线模型。把这一结果直接推广为“AI智能体成功率普遍暴涨8倍”,在证据上站不住脚。
这项研究更实质的贡献,在于它把改进对象从模型本身挪开了。过去谈到提升智能体表现,主流思路是换更强的模型、调参数、加训练数据。谷歌这篇论文走的却是另一条路:模型不动,改的是模型执行任务时的那套工作配置。
这套配置在论文里被称为harness。它可以理解为让模型执行任务的一整套外围设置,包括指令、工具接口、记忆与脚本等。同一个模型,拿到数据的方式不同、使用工具的顺序不同,结果可能就不同。论文所展示的,是让harness通过模块化修改与验证机制进行自我调整,而不是整体推倒重写。报道提到,这种做法在提升成功率的同时,还大幅降低了相比整体重写方案的Token消耗,但具体数值和对比口径没有披露。
这指向一个此前被低估的维度:智能体的能力上限,并不完全由底层模型的参数规模决定。工作配置本身就是一个独立的变量,优化它可能带来与升级模型不同性质的收益。5%到40%的数字是特定条件下的产物,但它提示的方向——让模型的工作方式更对,而不是让模型本身更强——比数字本身更值得拆解。

Harness不是模型,是模型的工作方式
Harness 不是模型,是模型的工作方式。Google Research 公开的 Harness² 固定模型权重,调整的是周围的提示词、工具、记忆与执行配置。同一套模型参数,因为获取数据的方式不同、调用工具的顺序不同,最终表现可能差异很大。

这个概念并不神秘。一个智能体接到任务后,需要决定读哪些信息、按什么顺序调用哪些工具、中间结果如何暂存、失败后是否重试。这些环节共同构成一套工作配置。模型本身只负责理解和生成,配置则决定它在什么条件下看到什么、能做什么、下一步往哪里走。Harness² 的基本步骤是提出修改、试跑,再依执行差异组合新配置。它比较修改前后的行为,作为选择流程的依据;跨任务保存采用的设定与有执行证据支持的经验,供后续调整时参考。
来源未提供正式技术规范,harness 的具体构成在不同研究中可能有所差异。但可以确定的是,它把改进对象从模型参数转移到了执行层。模型权重保持不变,变的是任务如何被组织、信息如何流动。这意味着同一个开源模型,配上不同的 harness,可能跑出截然不同的结果。
为什么自我改进有效:经验记忆与对照探测
靠两件事筛出有效修改
让模型修改自己的工作配置,最大的风险是改坏。模型可能删掉一个看似冗余、实则关键的步骤,也可能把原本稳定的流程改成一套更花哨但更不可靠的方案。Harness² 在多数情况下能稳定提升,依赖两个明确设计的组件:自我改进记忆和对照探测。

自我改进记忆(SIM)面向负责优化 harness 的优化器,保存改进过程中积累的经验。这些经验与具体任务执行绑定:哪些改动在什么条件下被尝试过,后续执行是否支持这些改动。优化器在下一次提出修改时读取这些记录,避免重复已经验证无效的方向。谷歌团队在编程领域做了 10 组配对比较,每组后续优化都从同一次独立源阶段运行得到的 harness 出发,比较使用 SIM 与仅携带 harness 两种条件。SIM 在 9 组中取得提升,最终分数平均高出 2.36 分,p 值为 0.003。差异幅度不大,但方向一致。
对照探测要求每次修改后,系统比较修改前后的行为差异,而不是直接接受新配置。反事实消融实验显示:如果不运行对照探测、也不读取经验库,直接让顶级编辑器模型修改基础运行框架,WorkBuddy-Bench 编程域得分从 73.4 跌至 63.2,网页开发域从 69.9 跌至 65.0。让一个能力很强的模型自由发挥去改配置,反而比不改更差。对照探测的作用,是把修改限制在“有执行证据支持”的范围内。
跨数据集和跨模型的设定进一步支持了这个判断。完整 SIM 在 6 种跨数据集设定和 4 种从 Opus 迁移至 Gemini 的设定中,最终分数均高于仅携带 harness 和仅保留问题根因的持续优化。仅携带 harness 相当于没有跨任务经验,仅保留问题根因则只记住失败原因、不记住有效修改。两者都不如完整 SIM,说明有效配置的保存和失败原因的提取是互补的,缺一不可。
组件消融实验也指向同一方向。完整 Harness² 在三个域的平均分为 80.8;删除全部常驻提示词修改后降至 79.3,删除按需技能后降至 75.5,删除确定性脚本后降至 77.1。按需技能的贡献最大,提示词修改的影响相对温和。没有任何一个组件被删除后系统崩溃,说明这套机制是多个部分共同支撑的,而不是依赖某个单一技巧。

这套机制的有效性证据存在边界。受计算预算限制,独立重复实验集中在编程领域,其他领域每种条件仅运行一次。编程领域的 10 组配对比较可以给出统计显著性,但其他领域的跨数据集结果更多是方向性证据,不能直接外推为稳定结论。此外,优化器的规划和搜索流程在实验中保持固定,自我改进的范围限于 harness 配置,不包括优化器自身的策略调整。如果把优化器的规划方式也纳入自我改进,效果是否还能保持,公开资料未披露。
数字的边界:什么条件下不成立
5%到40%的跃升并不是一个可以随手套用的模板。它发生在特定任务、特定验证机制和特定经验库共同作用的条件下。一旦这些条件被抽离,自我改进不仅可能失效,还可能让结果变得更差。
文本分类实验提供了一个清晰的退化案例。在源阶段演化得到的 FewShotAll harness,放到目标测试套件上时,起始分数只有 72.92,反而低于初始版本的 75.72。当任务数据分布发生变化时,在旧环境中学会的配置并不自动迁移到新环境。自我改进的收益与任务稳定性绑定在一起,任务漂移越大,先前积累的经验就越可能变成负担。
更直接的警示来自消融实验。如果跳过对照探测和经验库,直接让编辑器模型修改基础运行框架,WorkBuddy-Bench 编程域得分从 73.4 跌至 63.2,网页开发域从 69.9 跌至 65.0。两个域同时出现显著下跌,说明验证机制和经验筛选是防止自我改进退化为随机试错的核心约束。去掉它们,模型改得越多,偏离有效路径越远。
这些反例同样来自特定实验设定,不能反过来证明自我改进无效。它们真正说明的是:效果高度依赖任务类型、经验库质量和验证机制的严密程度。编程任务中有效的改进流程,未必适用于开放式写作或需要主观判断的场景;经验库中积累的配置,只有在任务条件相近时才有参考价值;验证信号若不够可靠,采纳错误改动的风险会超过潜在收益。
对企业而言,落地前需要回答的问题比“成功率提升多少”更具体。哪些改动可以尝试、什么证据足以采用、新流程退步时如何回复,这些安排决定了自动改进能否进入正式工作。以企业月报为例,原流程可能直接汇整各部门数字,新流程则先核对字段与期间再计算。开发团队需要检查漏算是否减少、数据冲突是否更容易被发现,以及新增步骤消耗了多少时间。没有这些验收标准,自我改进就只是一个无法管理的黑箱。
受计算预算限制,独立重复实验集中在编程领域,其他领域每种条件仅运行一次。这意味着编程领域的配对比较可以给出统计显著性,但其他领域的跨数据集结果更多是方向性证据。把40%的提升当作所有场景的预期收益,是对证据范围的过度外推。
测评标尺的转移:从“模型多强”到“配置多对”
如果把谷歌这项研究放回更长的技术脉络里,它的意义不在于又给某个模型刷了一个新分数,而在于提示了一种测评逻辑的转移。过去评估一个 AI Agent,默认的问题是“这个模型有多强”;Harness² 以及随后出现的 Harness-Zero 则把问题换成了“这个模型的工作配置有多对”。两者可以分开优化,也可以分开评估。
Harness-Zero 的独立数据为这个判断提供了直接支撑。在移除专用 harness 之后,宏观任务成功率从 23.3% 升至 44.3%,高于基础模型挂上 harness 时的 41.7%。这个对比的有趣之处在于:同一个基础模型,仅仅因为工作配置不同,表现就出现了明显差异。模型能力没有变,变的是任务如何被组织。另一组数据指向同样的方向:在知识工作、工具使用与科学领域共 28 项由 harness 诱发的行为中,平均有 82.3% 被恢复。这意味着大部分因配置不当而丢失的行为,可以通过调整配置找回来,而不是必须更换更强的模型。
对前沿模型而言,agent-as-harness 形式胜过 code-as-harness 形式。这个发现进一步说明,配置质量不是一个可以简单用“代码写得好不好”来衡量的变量。把智能体本身当作工作框架的载体,比把流程固化成代码更有效。这为“配置质量是独立变量”的判断增加了一个维度:它不仅独立于模型能力,也独立于传统软件工程意义上的代码质量。
需要保持克制的是,Harness-Zero 的具体任务集和行为清单并未在公开来源中披露,其训练与部署机制也与 Harness² 不同,不能简单等同。把 44.3% 与 41.7% 的差距理解为两种方法的直接对决,会超出证据所能支持的范围。但这些数据至少说明,在多个独立研究路径上,“配置质量”正在成为一个可以测量、可以优化的对象。
对读者而言,看待这类研究的框架可以很简单:先问改进发生在哪个层面。如果一项研究声称提升了模型能力,应该看它是否改变了参数或训练过程;如果一项研究声称提升了 Agent 表现,应该看它是否改变了任务组织方式。两者都可能有效,但适用条件和失败模式不同。配置层面的改进更容易验证,也更容易回退;模型层面的改进则往往更根本,但成本更高。理解这个区分,比记住任何一个具体的成功率数字都更有用。