AI 工具与大模型实操测评

主流大模型横向评测、Prompt 与 Agent 效率工作流实战指南。

超写派专栏

当优化 Harness 比换模型更划算

AAI 实操测评实验室官方主理人2026年11月20日AI 专栏 · SupaWriter 深度研究工作流生成

谷歌的 8 倍成功率提升和 SWE-agent 的接口消融实验表明,Agent 工作流的胜负手正在从模型选型转向框架工程。但 IBM、Composio 及污染控制研究同时显示,Harness 的收益高度依赖任务类型与上下文条件,并非无条件成立。本文用现有对照数据厘清 Harness 改变了什么、在什么条件下成立,以及为什么按任务选型比追新框架更重要。

当优化 Harness 比换模型更划算

谷歌的 8 倍提升,指向的不是模型而是框架

2026 年 11 月,谷歌一篇题为《Harnesses That Improve Themselves》的论文引发关注:报道称,在一项软件工程测试中,采用“模块化修改与验证机制”的 Agent 任务成功率从 5.0% 提升到 40.0%,也就是 8 倍。这个数字指向的是 Agent 运行框架本身的改造,而非某个更强的基础模型。

人类掌舵Agent执行流程示意

同一时期,SWE-agent 的消融实验提供了更清晰的对照。研究者把模型固定为 GPT-4 Turbo,只改动 Agent 与代码仓库交互的接口设计,SWE-bench Lite 的解决率从约 3.8% 上升到 18.00%。从 RAG 方案换成精心设计的 Agent-Computer Interface(ACI)之后,提升约 6.7 倍;即便只是把“裸 shell”换成带专用编辑命令、格式化反馈和长输出截断保护的 ACI,也有 64% 的相对提升。两套数据指向同一个结论:模型没变,框架变了,成功率出现数量级变化。

Harness 改变的是模型与工具、状态和上下文之间的交互方式,而非模型本身的推理能力。模块化修改与验证机制让 Agent 把任务拆成可验证的小步骤,每一步都能被检查、回退和修正,而不是一次性重写大段代码。ACI 则把模型需要理解的工具操作翻译成更友好的接口,减少它在解析输出和试错上的消耗。谷歌的研究还提到,这种机制相比整体重写方案大幅降低了 Token 消耗,尽管具体数值和口径没有披露。

不过,这两个案例的边界同样清楚。谷歌论文的具体测试集、模型和实验条件在公开报道中并未披露,40% 的成功率不能直接外推到所有 Agent 任务。SWE-agent 的数据来自 SWE-bench Lite,一个编程任务基准,且提升伴随着 8 到 13 倍的成本增加。Harness 的收益在多大程度上依赖任务结构与评测方式,还需要更多对照实验来回答。

Agent Harness分层架构示意图

同一模型换框架,成功率可以从四成到八成

IBM 的 2×2 对照:Harness 差异比模型差异更刺眼

IBM Research 在 2026 年 11 月发布的一组 AppWorld 测试数据,把这个问题推到了台前。测试固定使用 GLM-5.3-flash 模型,在 90 项任务上分别接入 CUGA、Hermes、Deep Agents 三个 Harness。结果三者完成的任务数分别为 73、42 和 27 项,对应成功率 81.1%、46.7% 和 30.0%。公开报道未披露三套配置在提示词策略上的差异,但模型权重保持不变,执行框架的替换让成功率从三成一路拉到八成以上。

这个对照的冲击力在于,它把“换模型”和“改 Harness”放进了同一个坐标系。如果只看单一框架下的模型升级,很容易把收益归因于模型能力;但 IBM 的数据显示,Harness 层面的差异可以制造出比许多模型迭代更大的波动。同一模型在三个框架下的表现,几乎相当于三个不同档次的模型。

不过,这份数据并非严格受控实验。IBM 自己承认三套 Harness 的配置并不一致,每项任务只尝试一次,且只覆盖 AppWorld 一个基准。这意味着成功率差异中可能混入了配置选择和随机波动,不能把 81.1% 与 30.0% 之间的全部差距都算在 Harness 架构头上。但即便打上折扣,两位数百分点的波动幅度仍然足以说明框架工程不是边缘变量。

Composio 的数据:框架区间比模型区间更宽

Composio 的公开对照提供了另一个观察角度。在 DeepSeek V4 Pro 的 30 项任务设置下,不同 Harness 的成功率分布在 30% 到 60% 之间,跨度达到 30 个百分点。作为对比,GPT-6 Astra 在 29 项可比任务中,六个 Harness 的成功率区间只有约 66% 到 72%,波动被压缩到 6 个百分点左右。

两组数据放在一起,呈现出一个更完整的图景:Harness 的收益幅度可能因模型和任务设置而异。在 DeepSeek V4 Pro 的那组设置中,框架选择的影响被放大;在 GPT-6 Astra 的那组设置中,不同 Harness 之间的差距则明显收窄。这解释了为什么“框架决定一切”的说法站不住脚——Harness 的杠杆作用是有条件的,它更接近于一个放大器,而非独立的胜负手。

Composio 的数据同样需要谨慎对待。部分 Harness 的用量数据覆盖任务数并不相等,个别价格是估算而非实际账单,因此不能把框架间的成本倍数直接当成同一任务、相同计费口径下的普遍规律。但成功率区间的对照仍然有效,因为它的比较维度是任务完成情况,而非计费口径。

为什么 Harness 差异会这么大

框架之间成功率的大幅波动,根源在于 Harness 承担了大量模型能力之外的执行决策。工具路由决定模型在每一步调用哪个接口、以什么顺序调用;记忆管理决定哪些上下文被保留、哪些被裁剪;重试逻辑决定失败后是整体重来还是局部回退。这些机制并不改变模型权重,却直接决定了模型能否把已有能力转化为稳定的任务完成。

在 SWE-bench 这类编程基准中,SWE-agent、OpenHands、Aider 等框架各自实现了不同的重试逻辑、上下文压缩策略和工具调用约定。相同底层模型下,通过率出现两位数百分点的波动并不罕见。一般性观察显示,带有强工具路由、记忆管理和重试逻辑的 Harness,可以让中端模型超过在朴素循环中运行的前沿模型。在特定任务条件下,框架工程的收益可以覆盖模型代际之间的差距。

这条因果链也划定了 Harness 价值的边界。当任务本身对模型推理能力要求极高时,留给框架腾挪的空间可能很小,再精细的工具路由也可能补不上模型能力的缺口。Harness 优化的是“能力转化效率”,而非“能力上限”。

Harness 的收益不是无条件的:当对照实验说“不”

污染控制下的成对实验:框架差异可能跨过零

Harness 优化的收益并不是在所有条件下都能复现。一项污染控制研究在保持模型和题目完全相同的成对实验中,比较了原生 SDK 与 Deep Agents 两种框架。在 GPT-5.5 上,两组结果约为 55.6% 和 54.4%,差异的置信区间跨过零;Opus 4.8 的对照同样没有证明稳定的平均优势。在严格受控的平均结果层面,框架差异可能小到无法与随机波动区分开。

Harness 题答题要点解析

这项研究的边界也需要交代清楚。它只报告了平均结果,某些任务子集可能呈现相反方向的差别。框架的价值不在全样本平均线上均匀分布,而是集中在特定失败模式密集出现的场景里。

紧上下文下的收益,宽上下文下可能缩小

一份 2026 年 8 月的预印本提供了更具体的机制线索。研究者在 SWE-bench Verified 的 169 题紧上下文设置中——20,480 token 上限、每题 480 秒——保持模型权重与任务不变,仅做两件事:在旧工具记录接近上下文上限时机械裁剪,对重复卡住的执行给出反馈。完整解题数从 43 增至 72。

这个结果的解释方向很明确。紧上下文条件下,上下文窗口是稀缺资源,工具记录持续膨胀会挤占模型推理所需的空间,机械裁剪直接缓解了这一问题;对卡住状态的反馈则打断了无效重试循环。两个干预都针对紧约束下才会凸显的瓶颈。预印本作者同时指出,宽上下文下部分任务的差距显著缩小。当窗口不再构成硬约束,膨胀和卡住的代价下降,Harness 优化的边际收益自然收窄。

这组数据并非复现实验,公开预印本的结论需要谨慎对待。但它的价值在于把 Harness 收益的成立条件具体化了:在上下文受限、流程反复卡住的任务上,框架优化的杠杆最大;当任务本身对模型推理深度要求极高、上下文约束宽松时,框架能做的调整有限,收益也就难以显现。

团队 Harness 四类组件架构示意

Token 消耗的隐形战场:框架决定成本,不只是成功率

默认配置下上下文膨胀到 60,000+ Token

Harness 对成本的影响,首先体现在上下文管理上。默认配置下,Agent 会把每一轮对话和工具返回原样保留,历史消息线性累积。CSDN 的一次实测显示,不做任何 compact 或 clear 的“全能 Agent 派”,上下文会膨胀到 60,000+ Token;到第 25 轮,每发一条消息仅输入费用就约 0.18 美元。这笔开销由框架是否主动控制历史长度决定。

Agent Harness 设计决策示意图

跨框架比较时,差异更加明显。一项针对现代 Agent 运行时的一般性比较指出,不同框架每完成一项任务的 Token 消耗可能相差一个数量级。浪费主要来自冗余的工具调用、上下文膨胀和失败重试。在相同模型、相同任务下,框架的调度策略可以直接改变单位任务的输入费用。

手动 compact 和分阶段压缩的对比

控制上下文长度的方式,直接影响成本曲线的形状。手动 compact 的做法是每 6 到 8 轮让 Agent 总结一次对话,把历史压成摘要。上述实测中,这种方法能把上下文压到约 20,000 Token。更彻底的是分阶段压缩:把大任务拆成子任务,每完成一个阶段就把中间结果写进记忆库,再开新会话继续。到第 25 轮,上下文仍只有约 11,000 Token,是默认配置的约六分之一。

两种策略的差异不只是 Token 数,还有适用边界。手动 compact 保留的是摘要,可能丢失细节;分阶段压缩把关键决策和踩过的坑显式存下来,更适合长周期、多步骤任务。对于改一行 bug、写小脚本、单文件调整这类轻任务,实测中 Aider 或 Codex CLI 只需 2,800 到 3,900 Token、约 0.02 到 0.03 美元即可完成。这类场景里,复杂的分阶段压缩反而没有必要。

成本效率比单纯的成功率更贴近生产环境的选型逻辑。一个以每任务 1 美元解决 40% 任务的框架,可能优于以每任务 5 美元解决 45% 任务的框架。这个数字是示例性的,并非特定框架的实测结果,但它说明了成本维度的判断方式:成功率只差几个百分点时,单位任务成本可能决定框架是否值得部署。

Harness Agent 架构示意图

需要警惕的是,上述 Token 数据来自 CSDN 博客实测,具体模型、单价口径和测试条件并未披露,不能直接当作所有框架的普遍规律。更稳妥的理解是:上下文管理策略决定 Token 消耗的数量级,而具体数值取决于任务类型、模型计价和框架版本。

按任务选型,而不是追新框架

稳定性优先于峰值性能

选型时最容易被忽略的变量是稳定性。一个框架在评测集上跑出最高分,不等于它在生产环境里持续可用。高负载下仍能维持稳定输出的框架,通常比峰值性能高但波动大的框架更适合长期部署。峰值性能描述的是上限,生产环境关心的是下限。任务一旦接入真实业务流程,偶发的高分无法抵消频繁的失败重试带来的额外成本。

这一原则在 Agent 场景里尤其重要。Agent 工作流包含多次模型调用、工具路由和状态维护,任何一环的波动都会沿着流程放大。框架层面的稳定性体现在超时处理、重试策略、状态恢复和并发调度是否可预期。公开资料没有给出统一的稳定性量化标准,但选型时至少应考察框架在异常输入、工具调用失败和长任务中断后的行为是否可复现。

Harness 不解决任务分解和工具接口设计问题

Harness 的核心价值是让系统更可控。可控性体现在评测可复现、流程可复盘、交付可稳定。但可控性不等于任务可解。一个 Agent 能否处理复杂多步任务,取决于 Loop Engineering——任务分解、子目标规划、工具接口设计这些环节。Harness 不替代这些工作。

两者缺一不可,但缺的方式不同。只做 Loop 不做 Harness,系统可能看起来会跑,但很难复盘、优化和稳定交付;只做 Harness 不做 Loop,系统评测可能很完整,但代理本身不会处理复杂多步任务。判断优先方向可以归结为一句话:最怕“测不准”,先做 Harness;最怕“跑不通”,先做 Loop。这个判断直接对应团队当前最痛的问题,比任何框架榜单都更实用。

当基础模型接近同一能力带时,系统差异往往转移到围绕模型构建的工程系统,而非模型本身。在这个前提下,“二流模型配一流 Harness 通常胜过一流模型配二流 Harness”的说法有其合理性,但它属于归纳性结论,不是单一实验的直接测量结果。更谨慎的表述是:在模型能力相近、任务留给工程腾挪空间足够时,Harness 的质量决定能力转化效率。任务对推理深度的要求越高,这个结论的适用性可能越弱。

想拥有高效的全自动内容生产力?

SupaWriter 打通热点选题、长文创作、智能语义配图、文章 4 维客观评分与浏览器扩展一键发布,助你提升 10 倍创作效率。