---
title: "CVPR 2026 | Monet：让多模态大模型学会在潜空间“脑内画图”思考"
canonical_url: "https://supawriter.sevnday.com/articles/76b85ce2-c295-4246-aeb7-325375dda723"
channel: "AI 工具与大模型实操测评"
channel_slug: "ai-tools"
author: "SuperAdmin"
published_at: "2026-11-17T03:48:30.266624+00:00"
updated_at: "2026-11-20T13:04:14.097486+00:00"
word_count: 0
keywords: ["模型","推理","隐式","思考","视觉","训练"]
---

# CVPR 2026 | Monet：让多模态大模型学会在潜空间“脑内画图”思考

![图片](http://dingyue.ws.126.net/2026/0420/f45e79daj00tdshd6002cd000pb005nm.jpg)

过去几年，让多模态大模型“看图思考”的主流范式，是给它一堆外部工具——裁剪、标注、画辅助线，像教一个不会心算的人必须借助草稿纸和计算器。这条路确实有效，但它正把模型变成一个笨重的“工具调度中心”，而非一个真正会思考的智能体。

显式调用工具的逻辑看似直接，实则暗藏高昂代价。**训练阶段**，模型不仅要学习视觉推理本身，还得额外掌握各种工具API的调用规则和函数接口——这就像要求学生在解数学题之前，先背熟计算器的说明书。**推理阶段**更糟糕：模型需要发起多轮交互，生成调用指令、等待工具返回结果、再基于结果继续推理。每一轮交互都在叠加延迟，让实时性成为奢望。

![图片](http://dingyue.ws.126.net/2026/0420/b1fe4d60j00tdshd7007qd000u0008em.jpg)

更深层的问题在于，这种“调用-返回”模式让模型无法形成端到端的思考流。工具返回的裁剪图或标注框是离散的外部输入，而非模型内部连续推理的一部分。一旦工具返回的结果不够精确，模型缺乏自主修正的能力，只能被动接受。

![图片](http://dingyue.ws.126.net/2026/0420/b1cd3281j00tdshd70040d000r100dbm.jpg)

工具调用的真正天花板，在于**操作类型被工具集锁死**。你给模型配了裁剪工具，它能做的就只是裁剪；配了标定工具，它能做的就只是标定。但现实世界的视觉推理远不止这些机械操作——抽象的空间想象、状态推演、几何变换，这些无法被封装成简单的函数调用。

这导致了一个尴尬的局面：每增加一类新任务，就需要重新设计接口、标注数据、训练适配。模型不是在“理解和想象”，而是在执行预定义的脚本。对于需要高度抽象推理的任务——比如在脑海中旋转一个三维结构，或预测物体受力后的形态变化——工具调用范式几乎束手无策。

> **工具的边界，就是模型能力的边界。真正的视觉思考，应该发生在模型内部的连续潜空间中，而非依赖外部工具的离散操作。**

![图片](http://dingyue.ws.126.net/2026/0420/d86ec234j00tdshd7001xd000ql005zm.jpg)

## 二、 潜空间“草稿”炼成术：Monet的SFT与VLPO双重优化

让模型在“脑海”中画图，最大的挑战在于：**隐式嵌入既没有直接的标注数据，也难以被常规损失函数有效优化**。Monet通过一套精密的监督微调（SFT）与专为隐式视觉思考设计的强化学习算法（VLPO），解决了这一难题。

### 数据与监督信号：如何筛选思维必要性并校准关键视觉token

现有的图文交错思维链数据集存在三个致命缺陷：**辅助图像缺乏必要性**（问题太简单，不用图也能答对）、**辅助图像不准确**（裁剪区域与答案无关）、**缺少对关键token的标注**。

Monet构建的**Monet-SFT-125K数据集**，通过多阶段校正流程逐一击破这些缺陷：

![图片](http://dingyue.ws.126.net/2026/0420/f38e940bj00tdshd7002pd000wq007im.jpg)

1. **必要性筛选**：仅保留基模型Qwen2.5-VL-7B在纯文本条件下回答错误的样本，确保辅助图像是“必需品”而非“装饰品”。
2. **准确性校准**：用更强的Qwen2.5-VL-72B模型，检验仅凭辅助图像（不提供原图）能否答对。这确保了辅助图像本身携带了足够的解题信息。
3. **关键token标注**：引入闭源模型，将辅助图像中与答案直接相关的视觉信息对应的文本token标注出来，作为后续训练的监督信号。

这套流程最终产出的数据覆盖了**裁剪、标定、作辅助线、生成新视觉状态**等多种操作类型，为模型学会“脑内画图”提供了高质量的训练素材。

### 算法突破：利用对齐损失与梯度隔离强制优化隐式嵌入，并借VLPO解决奖励施加难题

SFT的核心创新在于**三阶段递进式训练**，逐步让模型从“看辅助图思考”过渡到“无图脑内画图思考”：

![图片](http://dingyue.ws.126.net/2026/0420/a3465cc0j00tdshd7003qd000p000fhm.jpg)

**第一阶段：预热**。在Monet-SFT-125K上进行标准微调，让模型适应图文交错的推理模式。实验表明，若无此阶段，模型会直接忽略思维链中间的辅助图像。

**第二阶段：获取高质量隐式嵌入**。这一阶段的设计最为精妙。作者没有直接对齐隐式嵌入与辅助图像的像素级表示（计算开销巨大），而是对齐两者在模型中间层产生的“效果”——即后续关键token的表示。同时，通过**梯度隔离**设计，让对齐损失仅能通过调整隐式嵌入来优化，防止模型走捷径绕过隐式思考。

**第三阶段：从零开始隐式思考**。将第二阶段生成的高质量隐式嵌入作为对齐目标，训练模型在完全不接触辅助图像的情况下，自主生成等效的隐式视觉嵌入。

然而，SFT只能让模型学会“画图”，却难以让模型“画得更好”。常规强化学习算法GRPO只能在文本token上计算损失，**奖励信号无法直接施加到隐式嵌入上**。

为此，作者提出了**VLPO（Visual-Latent Policy Optimization）算法**，通过估计隐式嵌入的生成概率，将其纳入损失函数的计算之中。这使得强化学习的奖励信号能够穿透文本层，直接优化潜空间中的视觉思考质量，真正让模型学会“在脑海中打更精准的草稿”。

![图片](http://dingyue.ws.126.net/2026/0420/2372f0e5j00tdshd7006xd000u00090m.jpg)

## 三、 隐式思考的威力：性能增益与反直觉的测试时缩放定律

训练框架搭建完成后，一个根本问题浮现：这套“脑内画图”机制究竟能带来多大实际收益？Monet-7B在分布内与分布外任务上的表现，给出了令人意外的答案。

### 全面超越与泛化：在分布内外及抽象推理任务上的性能验证

Monet不仅超越现有“think with images”和隐式视觉推理基线，更在两类任务上实现对基模型的稳定碾压。在真实世界、图表、OCR等分布内任务上，性能提升幅度达**3%至9.75%**；在更具挑战性的分布外抽象推理任务上，也取得**2.31%** 的增益。

这组数据的真正价值在于**泛化能力的突破**。

![图片](http://dingyue.ws.126.net/2026/0420/19856261j00tdshd70056d000u00063m.jpg)

传统工具调用方案的能力边界被严格限定在预定义操作类型内——裁剪、标定、辅助线。一旦面对需要非标准化空间想象的抽象推理题，工具就无计可施。而Monet通过内化视觉思考，从根本上摆脱了操作类型的约束。

> 模型不再依赖外部工具去“做”什么，而是在潜空间里“想”什么。

这种从“操作执行”到“思维模拟”的范式转变，才是泛化能力提升的根源。消融实验进一步证实，SFT阶段的对齐损失梯度隔离设计，以及VLPO算法的引入，对最终性能至关重要——两者缺一，增益便大幅缩水。

### 隐式token的缩放定律：增加嵌入数量为何能持续提升性能，而常规GRPO却失灵？

一个更反直觉的现象出现在对隐式嵌入数量的探究中。

Monet-SFT模型展现出**测试时缩放定律**：即便测试时使用的隐式token数量远超训练时的设定，性能依然持续上升。这意味着，给模型的“脑内草稿”更多空间，它就能进行更精细的推理——这与人类打草稿时“纸越大、思路越清晰”的体验高度一致。

![图片](http://dingyue.ws.126.net/2026/0420/d359a374j00tdshd7008dd000u000alm.jpg)

然而，常规GRPO算法在这里**彻底失灵**。数据显示，在Monet-SFT基础上进一步使用GRPO，并不能带来稳定提升。GRPO主要改善了非隐式思考的性能，对于真正的隐式思考环节，增益微乎其微。

**根本原因在于奖励信号的传导路径被切断。**

GRPO只能在文本token上计算损失，而隐式嵌入处于文本序列之外——这些“不可见”的向量，无法接收任何奖励信号的直接反馈。这就像老师只能批改学生写在答题纸上的最终答案，却无法纠正他在草稿纸上的中间推理。

VLPO的突破性价值正在于此。它通过**估计隐式嵌入的生成概率**，巧妙地将这些“不可见”向量纳入损失函数计算，使得强化学习的奖励信号能够真正穿透到潜空间，直接优化模型的“思维过程”本身。

关键证据是：对于分布外任务，**只有经过VLPO训练的模型**，其隐式思考才展现出测试时缩放定律。这直接印证了一个深层判断——VLPO不是锦上添花的优化技巧，而是解锁潜空间推理潜能的关键钥匙。

## 参考来源

- [Monet：赋予多模态大模型如人类一般的抽象视觉思考能力](https://www.163.com/dy/article/KQVTB5B70511AQHO.html)
