现时，测试时延长范式广泛起劲于于增多推理长度。但是，已有商酌标明，跟着推理长度的握续增长，以垂直延长为中枢的联想范式容易堕入探索僵化等问题。因此，从另一维度拓展推理的宽度显得尤为进攻。K2.5、Step3-VL 和 LongCat-Flash-Thinking 等模子已在推理宽度方面开展了故意的探索。

但另一方面，在视觉任务中，深度推理仍靠近严峻挑战：跟着推理序列的拉长，模子对视觉特征的注主张被收敛稀释，导致 “注主张漂移”，进而激发严重的视觉幻觉。

为此，咱们忽视了 Visual Para-Thinker：这一针对大畛域视觉说念话模子的首个并行念念考框架，并分析了该并行念念考框架在视觉任务中施展作用的内在机制。咱们将 Pa-Attention（并行注主张机制）和 LPRoPE （分段学习位置编码）机制融入到咱们的治安中，从而终分解不同推理旅途隐蔽性、无偏性和可区分性。

论文标题：Visual Para-Thinker: Divide-and-Conquer Reasoning for Visual Comprehension

论文一语气: https://arxiv.org/abs/2602.13310

主页一语气: https://github.com/xuhaoran1/Visual-Para-Thinker

并行推理旅途：以视觉为中心永诀

过往商酌忽视的并行念念考范式，其中枢在于通过拓展推理宽度以晋升模子性能，基本原则是 “保握推理旅途的万般性”。咱们的 Visual Para-Thinker 一样治服这一原则。但是，针对视觉说念话模子的特点，咱们进一步忽视了一种以视觉为中心的旅途永诀面貌，并以为其推行在于对视觉 token 注主张的从头分派。由此忽视了两种视觉永诀的分派模式：块永诀和扫描永诀。

块永诀：这种计谋是字据特定的区域子图来永诀推理旅途的。在这个建树方面，每条旅途齐会眩惑专有的视觉注主张散布，这种散布网络在指定的子区域，举例左上角、右上角、左下角或右下角等象限，如图 (a) 所示。

扫描永诀：这种治安通过选定不同的视觉扫描轨迹来区分推理旅途。具体而言，每条旅途代表一种专有的视觉注主张分派，这种分派对应于一个预界说的扫描限定，举例从左到右、从上到下、从右到左以及自下而上，如图 (b) 所示。

这两种视觉永诀面貌各有优劣：块永诀诚然概况生成不同的子区域，但可能导致不同旅途之间的联想冗余；而扫描永诀虽结构简略，却容易减弱旅途之间的万般性。为此，咱们选定搀杂试验计谋，将两种永诀面貌生成的数据共同用于模子试验，以终了上风互补。

块永诀面貌下不同旅途的对视觉令牌注主张分派模式可视化

视觉并行念念考框架

基于以上两种视觉旅途的永诀面貌，咱们忽视了视觉并行念念考框架。该框架分为并行念念考阶段和回来阶段，开云体育中国官方网站入口并珍惜了不同并行推理旅途的隐蔽性、无偏性和可区分性。

并行念念考阶段：基于共同的高下文，通过视觉永诀这一理念，分派不同推理旅途的念念考方针

回来阶段：将不同并行推理旅途的配景信息进行整合，并概述辩论这些信息以得出最终论断。

隐蔽性

为了保证推理旅途的隐蔽性，咱们忽视了 Path-aware Attention (旅途感知注主张)，不同于因果注主张，旅途感知注主张通过不同think i的迥殊 token 终了不同旅途的高下文隐蔽范式。

无偏性

为了保证推理旅途的可区分性，过往的作念法将不同旅途的 position id 赋予不同的区间终了旅途的之间的可区分性。但是，由于大说念话模子的固有偏差，此时不同区间的 position id 存在先后限定，会出现 loss in the middle 等状态，不同旅途的念念考权重会存在天生的位置偏差，咱们以为这种治安因为不行将不同推理旅途等同看待，推行上已经是串行念念考。基于以上见解，咱们将不同旅途的 position id 赋予疏浚的区间，J9九游会app2026世界杯中国官方下载具体来说，在并行推理阶段，不同旅途的肇端 token 的 position id 疏浚

而在回来阶段，回来 token 的肇端 token 则取最长的推理旅途的截至 token 的 position id + 1

这使得不同推理旅途在 Visual Para-Thinker 模子看来不存在固有的位置偏差，因而保证了无偏性。

可区分性

但是，上述将不同旅途的位置编码映射为兼并区间的作念法只是保证了其无偏性，但挫伤了不同旅途的可区分性。要是径直使用这种位置编码，会导致 Visual Para-Thinker 玷辱不同的推理旅途，导致临了的成果造作。因而咱们忽视了 Learnable Parallel Rotary Position Embedding (LPRoPE)，具体来说，咱们在不同 token 进行旋转位置编码之前，加入该 token 属于的推理旅途的可学习位置编码，将旋转位置编码和可学习的富余位置编码相集结，最终终了旅途的可区分性。

数据与实验

试验配方

咱们构建了一个包含 163，000 个问题 - 谜底对的并行推理数据集，数据起头包括 LVIS、LAION、Microsoft COCO、PixMoCount、RefCOCO、RefCOCO+ 和 RefCOCOg 等。

在咱们的数据构建框架中，Qwen3-VL-235B-A22BInstruct 充任熏陶模子。咱们通过在温度为 0.1 的条目下实践一种和会了基于块的分区和扫描限定分区的搀杂视觉分区计谋，为每个样本生成四条以视觉为中心的推理旅途。此外，咱们还诓骗高温的 Qwen3-VL-30B-A3B-Instruct 和 InternVL3 5-241B-A28B 来生成更万般化的数据和检查样本。

图一

实验成果

咱们的实验主要在在以视觉为中心的视觉感知类任务中进行，包括计数任务 (Pixmo，CountBench)、视觉搜索 (V*)、幻觉任务 (MMVP、HallusionBench) 及视觉定位 (RefCOCO) 等多种视觉感知任务，通过开展多半实验考证了所提治安的有用性。如图一所示，咱们的治安在 V * 任务上分别在 3B 和 7B 上获取了 12.6 和 6.3 的晋升，另一方面，在幻觉任务上 HallusionBench 上，咱们的治安在 3B 和 7B 上获取了 6.1 和 5.0 的晋升。这充分考证了多模态并行推理在视觉感知类任务上的晋升。另一方面，在 Grounding 任务中，比较于原始的 Qwen2.5-VL，咱们的治安也获取了一定经由上的晋升，这些实验从各个方面考证了咱们的治安的有用性。

图二

此外，咱们还探讨了不同视觉任务对永诀模式的偏好。以计数任务为例，其视觉注主张常常分散于图像各处。若选定块永诀，各旅途的联想成果可能因区域重迭而产生积蓄偏差，进而激发幻觉。因此，在此类任务中，咱们倾向于使用扫描永诀。

从推行上看，块永诀面貌通过将不同图像区域分派给不同旅途，终分解显式的注主张分派；而扫描永诀面貌则通过改革模子对视觉 token 的注释限定与面貌，酿成一种隐式的注主张分派机制，最终一样映射为万般化的推理旅途。前者体现了从全局到局部的联想念念路，后者则仍保留全局视角。

块永诀面貌可能导致不同推理重复联想

写在临了

Visual Para-Thinker 是将并行念念考框架应用于视觉说念话领域的投砾引珠之作，之后咱们会将并行念念考 RL，多轮念念考，Agentic RL 等治安络续应用在 Visual Para-Thinker 中，将 Visual Para-Thinker 终了更快更好的延长。跟着 K2.5，Step3-VL 和 LongCat-Flash-Thinking 等基座模子关爱到并行念念考这一范式，咱们折服这一范式日后会爆发出弘远后劲。

作家简介

许浩然，浙江大学硕士。商酌方针为 Multi-Agent、Multi-Modal、RL等。以第一/共一作家身份在 ICML、ACL、CVPR、AAAI、ICLR等国外顶级会议发表多篇论文。通信单元为小米MiLMPlus团队。通信作家为李佳泽，现任小米高等算法工程师J9九游会2026世界杯(中国)IOS/安卓官方下载，商酌方针为Multi-Agent， Agentic RL。