CVPR 2026 | Monet:让多模态大模型学会在潜空间“脑内画图”思考
CVPR 2026 | Monet:让多模态大模型学会在潜空间“脑内画图”思考

过去几年,让多模态大模型“看图思考”的主流范式,是给它一堆外部工具——裁剪、标注、画辅助线,像教一个不会心算的人必须借助草稿纸和计算器。这条路确实有效,但它正把模型变成一个笨重的“工具调度中心”,而非一个真正会思考的智能体。
显式调用工具的逻辑看似直接,实则暗藏高昂代价。训练阶段,模型不仅要学习视觉推理本身,还得额外掌握各种工具API的调用规则和函数接口——这就像要求学生在解数学题之前,先背熟计算器的说明书。推理阶段更糟糕:模型需要发起多轮交互,生成调用指令、等待工具返回结果、再基于结果继续推理。每一轮交互都在叠加延迟,让实时性成为奢望。

更深层的问题在于,这种“调用-返回”模式让模型无法形成端到端的思考流。工具返回的裁剪图或标注框是离散的外部输入,而非模型内部连续推理的一部分。一旦工具返回的结果不够精确,模型缺乏自主修正的能力,只能被动接受。

工具调用的真正天花板,在于操作类型被工具集锁死。你给模型配了裁剪工具,它能做的就只是裁剪;配了标定工具,它能做的就只是标定。但现实世界的视觉推理远不止这些机械操作——抽象的空间想象、状态推演、几何变换,这些无法被封装成简单的函数调用。
这导致了一个尴尬的局面:每增加一类新任务,就需要重新设计接口、标注数据、训练适配。模型不是在“理解和想象”,而是在执行预定义的脚本。对于需要高度抽象推理的任务——比如在脑海中旋转一个三维结构,或预测物体受力后的形态变化——工具调用范式几乎束手无策。
工具的边界,就是模型能力的边界。真正的视觉思考,应该发生在模型内部的连续潜空间中,而非依赖外部工具的离散操作。

二、 潜空间“草稿”炼成术:Monet的SFT与VLPO双重优化
让模型在“脑海”中画图,最大的挑战在于:隐式嵌入既没有直接的标注数据,也难以被常规损失函数有效优化。Monet通过一套精密的监督微调(SFT)与专为隐式视觉思考设计的强化学习算法(VLPO),解决了这一难题。
数据与监督信号:如何筛选思维必要性并校准关键视觉token
现有的图文交错思维链数据集存在三个致命缺陷:辅助图像缺乏必要性(问题太简单,不用图也能答对)、辅助图像不准确(裁剪区域与答案无关)、缺少对关键token的标注。
Monet构建的Monet-SFT-125K数据集,通过多阶段校正流程逐一击破这些缺陷:

- 必要性筛选:仅保留基模型Qwen2.5-VL-7B在纯文本条件下回答错误的样本,确保辅助图像是“必需品”而非“装饰品”。
- 准确性校准:用更强的Qwen2.5-VL-72B模型,检验仅凭辅助图像(不提供原图)能否答对。这确保了辅助图像本身携带了足够的解题信息。
- 关键token标注:引入闭源模型,将辅助图像中与答案直接相关的视觉信息对应的文本token标注出来,作为后续训练的监督信号。
这套流程最终产出的数据覆盖了裁剪、标定、作辅助线、生成新视觉状态等多种操作类型,为模型学会“脑内画图”提供了高质量的训练素材。
算法突破:利用对齐损失与梯度隔离强制优化隐式嵌入,并借VLPO解决奖励施加难题
SFT的核心创新在于三阶段递进式训练,逐步让模型从“看辅助图思考”过渡到“无图脑内画图思考”:

第一阶段:预热。在Monet-SFT-125K上进行标准微调,让模型适应图文交错的推理模式。实验表明,若无此阶段,模型会直接忽略思维链中间的辅助图像。
第二阶段:获取高质量隐式嵌入。这一阶段的设计最为精妙。作者没有直接对齐隐式嵌入与辅助图像的像素级表示(计算开销巨大),而是对齐两者在模型中间层产生的“效果”——即后续关键token的表示。同时,通过梯度隔离设计,让对齐损失仅能通过调整隐式嵌入来优化,防止模型走捷径绕过隐式思考。
第三阶段:从零开始隐式思考。将第二阶段生成的高质量隐式嵌入作为对齐目标,训练模型在完全不接触辅助图像的情况下,自主生成等效的隐式视觉嵌入。
然而,SFT只能让模型学会“画图”,却难以让模型“画得更好”。常规强化学习算法GRPO只能在文本token上计算损失,奖励信号无法直接施加到隐式嵌入上。
为此,作者提出了VLPO(Visual-Latent Policy Optimization)算法,通过估计隐式嵌入的生成概率,将其纳入损失函数的计算之中。这使得强化学习的奖励信号能够穿透文本层,直接优化潜空间中的视觉思考质量,真正让模型学会“在脑海中打更精准的草稿”。

三、 隐式思考的威力:性能增益与反直觉的测试时缩放定律
训练框架搭建完成后,一个根本问题浮现:这套“脑内画图”机制究竟能带来多大实际收益?Monet-7B在分布内与分布外任务上的表现,给出了令人意外的答案。
全面超越与泛化:在分布内外及抽象推理任务上的性能验证
Monet不仅超越现有“think with images”和隐式视觉推理基线,更在两类任务上实现对基模型的稳定碾压。在真实世界、图表、OCR等分布内任务上,性能提升幅度达3%至9.75%;在更具挑战性的分布外抽象推理任务上,也取得2.31% 的增益。
这组数据的真正价值在于泛化能力的突破。

传统工具调用方案的能力边界被严格限定在预定义操作类型内——裁剪、标定、辅助线。一旦面对需要非标准化空间想象的抽象推理题,工具就无计可施。而Monet通过内化视觉思考,从根本上摆脱了操作类型的约束。
模型不再依赖外部工具去“做”什么,而是在潜空间里“想”什么。
这种从“操作执行”到“思维模拟”的范式转变,才是泛化能力提升的根源。消融实验进一步证实,SFT阶段的对齐损失梯度隔离设计,以及VLPO算法的引入,对最终性能至关重要——两者缺一,增益便大幅缩水。
隐式token的缩放定律:增加嵌入数量为何能持续提升性能,而常规GRPO却失灵?
一个更反直觉的现象出现在对隐式嵌入数量的探究中。
Monet-SFT模型展现出测试时缩放定律:即便测试时使用的隐式token数量远超训练时的设定,性能依然持续上升。这意味着,给模型的“脑内草稿”更多空间,它就能进行更精细的推理——这与人类打草稿时“纸越大、思路越清晰”的体验高度一致。

然而,常规GRPO算法在这里彻底失灵。数据显示,在Monet-SFT基础上进一步使用GRPO,并不能带来稳定提升。GRPO主要改善了非隐式思考的性能,对于真正的隐式思考环节,增益微乎其微。
根本原因在于奖励信号的传导路径被切断。
GRPO只能在文本token上计算损失,而隐式嵌入处于文本序列之外——这些“不可见”的向量,无法接收任何奖励信号的直接反馈。这就像老师只能批改学生写在答题纸上的最终答案,却无法纠正他在草稿纸上的中间推理。
VLPO的突破性价值正在于此。它通过估计隐式嵌入的生成概率,巧妙地将这些“不可见”向量纳入损失函数计算,使得强化学习的奖励信号能够真正穿透到潜空间,直接优化模型的“思维过程”本身。
关键证据是:对于分布外任务,只有经过VLPO训练的模型,其隐式思考才展现出测试时缩放定律。这直接印证了一个深层判断——VLPO不是锦上添花的优化技巧,而是解锁潜空间推理潜能的关键钥匙。