| 东说念主类在面临浅易发问时经常不联想索径直求教体育游戏app平台，惟有碰到复杂难题才会淡雅推理。 要是 AI 模子也能像东说念主相同决定"要不要想考"，效力是否会大大栽培？ 近日，香港汉文大学统一新加坡国立大学 Show Lab 的权衡者提议了一种名为TON（Think Or Not）的新颖采取性推理框架，让视觉谈话模子（VLM）不错自主判断是否需要显式推理。 践诺标明，在不铁心准确率的前提下，该法子显贵减少了生成的想考链长度，使模子推理进程更高效。 
△图 1："要不要想考"的表示 左侧示例问题浅易，无需完好推理即可径直得出谜底；而传统法子如 GRPO 仍然生成了冗长的推理进程。右侧示例问题复杂，需要慢慢推理才能取得正确谜底。 TON 框架令模子冒昧像东说念主类相同，对浅易问题径直作答（跳过冗余想考），对艰难问题则给出安然的推理进程。 中枢改动：引入"是否想考"的决议 TON 框架的灵感源自东说念主类决议进程：并非逢问必细想，而是视问题难易采取想考或不想考。 现存强化学习法子（如GRPO，Group Relative Policy Optimization）强调让模子在求教前生成完好的推理链。这种"一刀切"的作念法天然提高了复杂任务的推理才智，但也导致对浅易任务的筹算浮滥——模子不管易题难题王人冗长"自言自语"一番。 比较之下，TON 的改动之处在于让模子最初判断"要不要想考"。这一采取性推理政策意味着模子将推理与否视作一项寂寥时候来学习，而非默许老是扩充推理。 正如作家所言，他们热心的是" When to think "而非传统法子权衡的" How to think "。 
△图 2: GRPO 与 TON 的采样进程对比表示图 其中，q_1 表示问题，{o_1, … , o_5} 为生成的反应酌量，每个反应包含想维进程 T（圆形）和谜底 S（三角形）。TON 法子冒昧从梦想维 T_{nn} 中进行采样，从而 GRPO 显贵栽培了反应种种性。 为竣事这一看法，权衡者遐想了两阶段考研机制使模子掌抓采取性推理的才能。 第一阶段是有监督微调（SFT）引入的"想想丢弃（Thought Dropout）"。具体来说，他们将模子考研数据华夏本的推理进程立地替换为空内容\n\n。 换言之，模子有约一半概率看到示例是不包含中间想考门径的。这一步相配于教养模子输出一种"不想考"的形貌，让模子知说念径直求教亦然允许的。 值得一提的是，权衡者还用了一个"反向想考"政策来自行构造高质地的想考进程数据，以扶助模子学习何时不错跳过推理。 第二阶段是强化学习的GRPO 优化考研。在这一阶段，模子被饱读舞自主探索何时应该想考、何时跳过，以最大化任务奖励。 具体作念法是：模子针对吞并输入图像和问题生成多个候选反应，其中有的包含完好想考链，有的为梦想（即无想考进程径直求教）。 接着通过比较这些候选的甩掉正确性和形貌，赐与奖励并用 GRPO 算法更新政策，团结模子学会在确保正确率的前提下尽量跳过不必要的推理。 经过这两阶段考研，VLM 模子便掌抓了"一题一策"的采取性想考才智：浅易题跳过推理，复杂题老憨强健推理。 践诺甩掉：想考效力大幅栽培，准确率不降反升 作家在多个具有不同推理难度的视觉 - 谈话任务上考据了 TON 的成果，包括CLEVR（浅易图形推理）、GeoQA（数学几何问答）以及AITZ（Mobile 智能体导航任务）等。 在这些基准上，TON 框架展现出惊东说念主的效力栽培——平均推理输出长度最多减少了 90%！ 举例，在 CLEVR 数据集上，TON 将模子每次求教所需的生成文本长度减少了近九成，而在 GeoQA 上也减少了约 65%。 值得提神的是，模子准确率不仅莫得下落，反而在某些任务上有所提高。 以问答 GeoQA 为例，TON 模子比较持久想考的 GRPO 基线，准确率栽培了最高 17 个百分点。 这意味着，让模子学会"偷懒"跳过无谓想考不仅节俭筹算，还可能带来性能的"免费午餐"。 
△图 3:TON 和 vanilla GRPO 在 CLEVR 和 GeoQA 上的甩掉对比 TON 平均推理长度最多减少了 90%，况且准确率不降反升。 另外，权衡东说念主员对比了 TON 在 AITZ 的分散外数据集上头的成果，成果不错和 vannila grpo 保持一致，然而输出长度从 3k 减少到了 900，愈加高效。 
△图 4: TON 在 AITZ 的不同 domain 测试集上头的推崇。 由图 4 不错看出成果保持一致，然而 task level 的长度从 3k 减少到了 900。 权衡东说念主员进一步测试了考研进程的更多筹谋，发现考研进程中，TON 输出空内容\n\n的比例跟着 reward 的上涨而加多，进而进一步裁减了模子输出的平均长度，然而输出的有内容的想考进程的长度仍然看守不变。 
△图 5: TON 和 vanilla GRPO 在考研进程中的 reward 可视化图 
△图 6: TON 和 vanilla GRPO 在考研进程中的输出梦想考的比例可视化图 另外发现，浅易的任务更容易跳过想考（比如 CLEVR），然而难的任务反而破损易跳过（比如 GeoQA），展现出模子在强化学习的进程中，自适当的针对问题的难易进度，学习何时该想考稳当不想考。 在不裁减准确率的情况下减少快要九成的推理门径，这对大型模子的本色部署带来了切实的益处。 一方面，推理效力的栽培意味着更快的反应速率和更低的算力破钞。这关于需要及时互动的多模态助手、机器东说念主等哄骗尤为热切。 另一方面，TON 展现的"按需想考"花样让 AI 更接近东说念主类的想维民风——该想考时就淡雅想考，该毅然时则不连篇累牍。这种东说念主性化的推理政策有望栽培模子在推理任务上的通用性和可靠性。 总的来说，TON 提议了一个值得热心的看法：并非一味追求更长的想维链，而是先问问我方"要不要想考？"。 将来，这类机制可能成为栽培大模子实用性的一个热切路线。 以下是两个代表性的 TON 系列模子，它们在不同任务上展示了这一机制的本色哄骗成果。 例子 1 
△图 7: GRPO 与 TON 在 GUI agent AITZ 上的对比 TON 在多步迁移导航进程中自适当跳过不必要的想考门径，在保持任务准确性的同期竣事了比 GRPO 更高的解码效力（本例中节俭了 60% 的 token 破钞）。 例子 2 
△图 8: CLEVR 中想考花样与非想考花样的对比图示 TON 展示了采取性激活推理的才智——仅在需要时运转想考机制，而 GRPO 则不加别离地为所有情况生成推理轨迹。 论文地址：https://arxiv.org/abs/2505.16854 代码地址：https://github.com/kokolerk/TON 一键三连「点赞」「转发」「贯注心」 宽待在挑剔区留住你的想法！ — 完 — � � 点亮星标 � � 科技前沿进展逐日见体育游戏app平台
|
