---
title: "70万次笔触与砍半的Token：我们测评Agent时，真正该看什么"
canonical_url: "https://supawriter.sevnday.com/articles/55f8e295-b21b-4133-95e3-d969778e0f98"
channel: "AI 工具与大模型实操测评"
channel_slug: "ai-tools"
author: "AI 实操测评实验室"
published_at: "2026-11-17T03:48:45.173940+00:00"
updated_at: "2026-11-20T13:04:14.097486+00:00"
word_count: 4285
keywords: ["任务","Agent","模型","成本","测评","能力"]
---

> 摘要：Claude用70万次笔触画画、开发者用550美元做出FPS游戏，表面是模型能力飙升，实际暴露的是测评范式错位：单点跑分无法回答“它能不能稳定完成一项长程任务”。本文拆解笔触数为何是成本信号而非能力指标、模拟基准高分为何不等于实机可用，并给出真正值得测评的三个变量：工具编排、状态管理、成本控制。

# 70万次笔触与砍半的Token：我们测评Agent时，真正该看什么

## 70万次笔触不是能力证明，而是成本账单

### 为什么“笔触数”这个指标本身就在误导

70万次笔触这个数字，最容易被读成能力证明。但它的真正含义在成本侧：Claude Fable 5.2 的作画方式不是扩散模型式的去噪生成，而是先写出1000至2000行Python程序，再让程序在虚拟画布上执行一笔笔坐标指令。所谓笔触，本质上是模型生成的代码在运行时产生的执行步骤。笔触越多，意味着代码越长、生成时的token消耗越大、运行时的算力开销越高。

![两模型成本与耗时对比](https://supawriter.sevnday.com/cdn-img/supawriter/74e130bca8828f49.jpeg)

这条传导链在传统模型测评中几乎不被触及。标准跑分回答的问题是“这张图像不像照片”，而不是“生成这张图要写多少代码、花多少token、跑多久”。前者是质量指标，后者是成本指标。70万次笔触恰恰把后者推到了台前：一个单张图片的生成任务，消耗了足以让传统文生图模型完成数十次推理的资源量级。Anthropic员工Jake Eaton展示的同一系列作品中，另有111笔完成的日出之鸟和280笔的黄昏双人场景，说明笔触数并非固定值，而是随任务复杂度剧烈变化。

把笔触数当成“画得精细”的证据，是测评框架的错位。精细度可以用分辨率、细节保留度或人眼评估来衡量，不需要通过执行步骤数来间接证明。笔触数真正能告诉我们的，是这个任务在长程执行中积累了多少状态、产生了多少中间步骤、最终转化为多少可计量的资源消耗。

### 从“能不能画”到“画完要花多少钱”

单点能力测评的隐含假设是：只要模型能完成某个任务，成本就是次要的。但Agent场景下的长程任务恰恰不满足这个假设。一个需要70万次笔触才能完成的绘画任务，如果放进批量生产流程，成本会线性放大；如果放进实时交互场景，延迟可能直接让产品不可用。

有来源在总结Fable 5.2的能力边界时明确指出，70万笔意味着可观的代码量与token、算力开销，且实体机械臂的精细动作仍有短板，部分任务的速度与稳定性不及对手。这并非否定模型能力，而是把讨论拉回工程现实：演示性突破可以容忍高成本，工作流级应用不能。

反过来说，如果任务本身对成本不敏感——比如一次性艺术创作，创作者愿意为一张图等待更长时间、支付更高费用——那么笔触数就不构成问题。成本敏感型场景才是这个指标真正重要的地方：批量生成、自动化流水线、需要频繁迭代的设计工作。在这些场景里，测评者必须从“能不能画”转向“画完要花多少钱”，否则跑分再漂亮也无法指导实际部署。

![模型基准测试成本对比帖](https://supawriter.sevnday.com/cdn-img/supawriter/686775dab7952f31.webp)

笔触数因此不该被理解为能力标签，而应被看作成本信号。它暴露的是长程生成任务的真实资源结构——这正是传统单点跑分测不出来的东西。

## 模拟基准的64.9%与实机测试的差距，才是测评的真相

### RoboDojo Sim高分为何没能转化为实机优势

RoboDojo Sim基准中64.9%对29.8%的得分差，指向的是模拟环境与物理世界之间一条不易跨越的鸿沟。多个来源都记录了同一组数字：在Anthropic内部的双臂模拟基准上，Claude Fable 5.2控制机械臂画《星月夜》得分为64.9%，GPT-6 Astra为29.8%。但同一批测试的实机环节给出了相反方向的信号。研究人员Aris Zhu分享的实验记录显示，Fable 5.2在精细动作控制上仍有不足，GPT-6 Astra绘画速度更快；截至目前，只有OpenAI的模型成功让一枚多米诺骨牌竖直站立。

![两模型实机绘画对比测试](https://supawriter.sevnday.com/cdn-img/supawriter/e0e92336bcd8dec4.png)

这个反差不是偶然的。模拟环境简化了物理约束和状态干扰：机械臂的惯性、关节摩擦、视觉反馈延迟、材料接触时的微小形变，在模拟器中要么被抽象掉，要么被理想化。模型在模拟中可以用大量试错换取高完成度，因为试错没有物理成本。实机测试则不同，每一次错误都意味着真实的时间消耗、设备磨损或任务失败。长程任务中，错误会累积。前一步的微小偏差进入下一步后可能被放大，最终导致整条动作链断裂。模拟高分测出的，是模型在无摩擦环境里的规划能力；实机测试暴露的，是它在有摩擦环境里的状态管理能力。

### 测评者需要区分“演示性突破”与“工作流级可靠性”

两者之间的落差，正是Agent测评范式转变的核心证据。单点跑分的逻辑是：给定一个标准任务，看模型能否完成。但长程任务的逻辑不同：模型需要在几十甚至上百个步骤中持续做出正确决策，任何一个步骤的失败都可能使整个任务归零。模拟基准能回答“模型是否具备完成该任务的基本规划能力”，却无法回答“模型在真实环境中能否稳定地重复完成该任务”。

这不是说模拟基准没有价值。它能在早期快速筛掉完全不可用的模型，成本远低于实机测试。但高分不能反向证明实机可用。测评者必须同时看两类数据：模拟得分用于判断能力下限，实机表现用于判断部署上限。把模拟基准的64.9%当作“能力超过对手两倍多”的证据，恰恰混淆了这两件事。

对测评者而言，真正的分界线不在“能不能完成一次”，而在“跨步骤、跨环境能否保持稳定”。一个模型可以在演示视频里画出一辆购物车，但如果换一个机械臂型号、换一种光照条件、把任务从单次创作改为连续十次执行，其表现是否还能维持？这才是工作流级可靠性的含义。演示性突破可以容忍高失败率，因为只需要成功一次；工作流级应用不能，因为失败一次就意味着流程中断。

![AI生成的地下停车场画作](https://supawriter.sevnday.com/cdn-img/supawriter/66e0a972b9d2ae9c.png)

模拟-实机鸿沟因此不该被理解为“模拟数据造假”，而应被理解为测评对象发生了位移：从单次任务完成度，转向跨步骤、跨环境的稳定性。这个位移决定了后续所有测评维度的优先级——工具编排、状态管理、成本控制，都是在稳定性这一前提之下才获得意义。

## 真正该测的三个变量：工具编排、状态管理、成本控制

### 工具编排：模型能否在正确的时间调用正确的工具

工具编排测的不是“模型会不会用某个工具”，而是它在多步任务中能否按正确顺序选择正确工具，并在工具失败时切换策略。openPangu-2.1-Pro 的升级方向提供了一个参照：官方称其基于 10 万余条专项数据优化了 Skills 触发、工具选择与调用能力，目标直指复杂任务的规划和执行。这说明厂商已经开始把“工具编排”当作一个独立的优化对象，而不是模型能力的附属品。

![模型选择下拉菜单界面](https://supawriter.sevnday.com/cdn-img/supawriter/b75afccfe738e1ab.webp)

但编排能力的测评不能只看模型是否调用了工具，还要看调用的时机和组合。一个编码 Agent 如果该读文件时先改代码，该跑测试时先提交，单步能力再强也会把任务带偏。少数派作者同时运行 Claude Code、Codex 和 Kimi Code 时，靠像素时钟的灯色判断各自状态——蓝灯运行、绿灯完成、红灯出错——这其实是一种粗粒度的编排监控：它不衡量单次工具调用的质量，只暴露 Agent 是否在正确的阶段做正确的事。

### 状态管理：长任务中的错误累积与自我纠偏

长程任务最容易被单点测评忽略的，是错误如何随时间累积。一个模型在单轮问答中答对率很高，不代表它在三十轮连续修改后还能保持同样的判断质量。少数派作者在 Kimi Code 执行窗口里来回改了三十多轮，每一轮都要读代码、改代码、在真机上测试。这个“三十多轮”本身就是状态管理的压力测试：模型必须持续记住此前改了什么、为什么改、哪些部分已经验证过，否则就会在后续轮次中引入新错误或推翻旧修复。

状态管理的核心指标不是“是否出错”，而是“出错后能否回到正轨”。Anthropic 对 Fable 5.2 的描述——可协调子智能体反复验证——指向的正是这一点。反复验证意味着模型不仅执行任务，还对中间结果做交叉检查。社区案例中，@Tech Friend AJ 用 Fable 5.2 写了 4800 行 Python 代码调用 Blender API 完成 3D 场景、动画和渲染，@camperaigg 用 Three.js 写了 2000 行代码耗时 83 分钟制作动画视频。这些案例的看点不在于代码总量，而在于长代码生成过程中没有因状态丢失而崩溃。但必须注意，这类社区案例只展示了成功样本，失败样本和重试次数未被记录，不能直接等同于稳定状态管理能力。

### 成本控制：Token砍半与550美元FPS背后的经济学

成本控制是工作流级可靠性中最容易被情绪化讨论的变量。openPangu-2.1-Pro 的定价——推理输入 0.8 元/百万 tokens，输出 3.2 元/百万 tokens，缓存命中输入 0.016 元/百万 tokens——给出了一种成本结构的参考：缓存命中价格远低于首次计算，意味着重复调用相同上下文时成本可以大幅下降。这对 Agent 场景尤其重要，因为长程任务天然包含大量重复读取的上下文。

另一个极端是那个 550 美元、8 小时跑出来的 FPS 游戏。这个数字看起来便宜，但来源只转述了 X 用户 felixrieseberg 的案例，未说明 550 美元是否包含全部算力、人工介入或重试成本。把它当作“Agent 成本已经低到可以忽略”的证据是不成立的。恰恰相反，它暴露了成本测评的难点：真正的成本不是单次 API 账单，而是完成一个可用成果所消耗的全部资源，包括失败重试、人工修复和等待时间。

![模型单次提示测试成本数据](https://supawriter.sevnday.com/cdn-img/supawriter/4cf3968ef55ab359.webp)

三个变量之间存在先后关系：工具编排决定任务能否启动和推进，状态管理决定任务能否在错误累积中存活，成本控制决定任务在经济上是否可行。三者共同构成工作流级可靠性的必要条件。但这不是一个普适框架。对于短平快的单次生成任务，传统质量评分仍然有效；只有当任务链条足够长、工具调用足够多时，这三个变量才成为决定性因素。测评者需要先判断任务类型，再选择对应框架，而不是用一套标准覆盖所有场景。

## 对普通用户而言，测评的终点是“它能不能替你扛住长任务”

### 从“看热闹”到“看门道”：如何判断一个Agent是否值得投入

普通用户判断一个 Agent 是否值得投入，最终标准只有一条：它能否在可接受的成本内，稳定地完成你交给它的长程任务，而不是它在某个演示里有多惊艳。这个判断听起来朴素，但它要求一次认知上的转变——从“它能做什么”转向“它能替我扛住什么”。单次惊艳几乎每个主流模型都能做到，持续可用才是分水岭。

![笔记本电脑上的数据仪表盘界面](https://supawriter.sevnday.com/cdn-img/supawriter/3a32154cda55989c.jpg)

落到操作层面，有三个观察点可以直接使用。第一，看工具调用频率是否合理。一个 Agent 在长任务中反复调用同一工具、频繁读取相同上下文，往往意味着编排逻辑粗糙。少数派作者在 Kimi Code 里修改三十多轮才完成一个时钟改造项目，每一轮都要重新读代码、改代码、真机测试。这个轮次本身不构成失败，但它说明：如果任务再复杂一些，编排效率的差距会迅速放大。第二，看错误恢复能力。真正值得投入的 Agent 不是不犯错，而是出错后能否自行回到正轨，而不是把烂摊子交还给用户。第三，算单位任务成本。不要只看单次 API 账单，要把失败重试、人工修复和等待时间全部计入。华为云 openPangu-2.1-Pro 的缓存命中输入价格仅为 0.016 元/百万 tokens，远低于常规输入的 0.8 元，这种定价结构本身就是为长程、重复调用场景设计的——它暗示了成本控制的真实战场在哪里。

这个标准并非放之四海皆准。对于探索性、一次性的创意任务，稳定性和成本可能不是首要考量。一个人愿意花 550 美元、等 8 小时让 Claude 生成一个 FPS 游戏，看重的是单次成果的冲击力；但若要把这个生成过程变成每天运行的工作流，550 美元的单次成本就完全不可接受。用户需要先明确自己的任务类型：是要一次惊艳，还是要持续产出。只有后者才适用上述判断框架。

### FAQ：关于Agent测评的常见疑问

**问：Agent 跑分高，是不是就代表它适合我的任务？**

不完全是。跑分通常衡量的是单点能力，比如代码生成正确率、工具调用准确率。但长程任务中，单点能力只是起点。一个 Agent 可能每一步都做对，却因为上下文管理混乱而在第十步崩溃。跑分可以作为初筛，但不能替代工作流级测试。

**问：工具调用次数越多越好吗？**

恰恰相反。工具调用次数多可能意味着编排效率低。值得关注的是“有效工具调用”——每次调用是否推进了任务状态，而不是重复读取或无效尝试。少数派案例中的三十多轮修改，如果拆开看，很多轮次是在处理同一个问题的不同侧面，这暴露的是状态管理负担，而非能力不足。

**问：成本到底该怎么算？**

把完成一个可用成果所消耗的全部资源加总：API 费用、算力、人工介入时间、等待时间、失败重试成本。70 万次笔触的画作意味着可观的代码量、token 与算力开销，但单看笔触数没有意义，要看它对应的是什么样的任务类型。成本敏感型场景才需要严格核算；一次性创作可以放宽。

**问：如果 Agent 在演示里很惊艳，但实际用起来不稳定，问题出在哪？**

问题通常出在状态管理和环境依赖上。少数派时钟改造方案的最终效果依赖电脑程序持续运行，电脑关机或合盖休眠后时钟就不再更新，断电重启后自定义页面全部消失。这不是 Agent 能力问题，而是工作流设计问题。测评时必须区分“能力边界”和“部署条件”，后者往往才是普通用户实际遇到的障碍。

**问：我该先测什么？**

先测错误恢复。给 Agent 一个会中途出错的任务，观察它能否自行发现并修复，而不是直接中断或输出错误结果。错误恢复能力是长程任务存活率的直接指标，比任何单点跑分都更接近真实使用体验。

## 参考来源

- [不写代码，30 分钟把 Ulanzi TC002 改成 AI 工作搭子 - 少数派](https://sspai.com/post/118939)（extra_url）
- [开源盘古模型 openPangu-2.1-Pro 上线华为云，围绕 Agent 开发、AI 编码、推理优化方向能力升级 - IT之家](https://www.ithome.com/1/027/450.htm)（extra_url）
- [Claude 最新模型发布 1 周了，瞧瞧外网惊艳到震撼的玩法。](https://www.woshipm.com/ai/6494213.html)（deepseek）
- [AI门户 · CAIP | AI资讯 | 不调用图像模型，Claude Fable5.2用70万次笔触画出一辆购物车](https://caip.org.cn/news/detail?id=50640)（deepseek）
- [Claude新模型用70万笔触画购物车 机器人控制得分超GPT-6](https://d1ev.com/newsflash/317065)（deepseek）
- [70万次笔触画一辆购物车,Claude用代码作画](https://www.163.com/dy/article/LBRISQUG05561FZL.html)（yuanbao）
- [Anthropic Claude Fable 5.2 用约 70 万次模拟笔触画出照片级画作](https://poloapi.com/poloapi-blog/news-1111609)（deepseek）
- [不調用圖像模型，Claude Fable5.2用70萬次筆觸畫出一輛購物車](https://news.aibase.com/tw/news/32331)（deepseek）
- [Claude Fable 5.2 有多强?看完这些案例,我相信 AI 真的有审美了](https://www.uisdc.com/code-ate-everything)（yuanbao）
- [不调用图像模型，Claude Fable5.2用70万次笔触画出一辆购物车](https://www.me.news/contents/329048)（deepseek）
- [不调用图像模型,Anthropic Claude Fable 5.2 用 Python 代码模拟真实画笔作画](https://www.ithome.com/1/027/490.htm)（yuanbao）
- [Claude Fable 5.2 改用代码作画：70 万笔触模拟油彩|AI自学笔记](https://fluxbbs.com/claude-fable-5-2-code-painting-700k-strokes-20261116/)（deepseek）
