ArXiv 每日论文精选 | 2026-06-13

📚 ArXiv 每日论文精选 | 2026-06-13

自动精选今日 ArXiv 最新 AI/ML 论文,AI 深度解读核心内容、方法、效果与评价。


1. Learning to Reason by Analogy via Retrieval-Augmented Reinforcement Fine-Tuning

作者: Zilin Xiao, Qi Ma, Chun-cheng Jason Chen, Xintao Chen, Avinash Atreya, Hanjie Chen, Vicente Ordonez
评分: ⭐⭐⭐⭐ (9/10)
链接: http://arxiv.org/abs/2606.13680v1
类别: cs.AI

🔍 核心内容

提出检索增强强化微调(RA-RFT)框架,通过gold-relevance蒸馏训练推理感知的检索器,ranking contexts by expected reasoning benefit rather than semantic similarity,再用检索到的类比推理轨迹进行强化微调,使模型学会利用可验证结果奖励下的推理模式。

❓ 解决的问题

传统RAG基于词汇或语义相似度的检索不适合复杂推理任务:语义相似的问题可能需要完全不同的解题策略,而表面不同的问题可能共享底层推理模式。现有检索机制无法捕获推理层面的关联。

🛠️ 方法

RA-RFT采用两阶段:首先用gold-relevance蒸馏训练推理感知检索器,按预期推理收益而非语义重叠 ranking contexts;然后通过强化微调方法(如GRPO)用检索到的类比演示微调策略模型,在可验证结果奖励下学习利用推理轨迹。

📊 效果

在数学推理基准上,RA-RFT consistently outperforms标准RFT方法。AIME 2025 average@32准确率上,Qwen3-1.7B和Qwen3-4B分别比GRPO提升7.1和2.8个百分点。推理感知检索能 surface互补的解题策略。

🤖 AI 评价

这篇论文切中了RAG在推理任务中的根本缺陷——语义相似≠推理相关。将检索目标从语义匹配转向推理收益是一个paradigm shift。RA-RFT与奖励设计或训练课程正交,意味着可以与其他优化方法叠加。实验结果在AIME等hard benchmark上很有说服力。不过,gold-relevance蒸馏依赖高质量推理标注,这在某些领域可能稀缺。未来可探索无监督/自监督的推理相关性学习。

标签: RAG, 强化学习, 推理, 类比学习, 数学推理


2. Mana: Dexterous Manipulation of Articulated Tools

作者: Zhao-Heng Yin, Guanya Shi, Pieter Abbeel, C. Karen Liu
评分: ⭐⭐⭐⭐ (9/10)
链接: http://arxiv.org/abs/2606.13677v1
类别: cs.AI

🔍 核心内容

提出Mana(Manipulation Animator)sim-to-real框架,将灵巧操作重新解释为动画问题。采用粗到细管道,通过运动规划和强化学习将程序生成的抓取关键帧转换为操作轨迹,数据生成仅需少量鼠标点击(<1分钟/工具)。

❓ 解决的问题

灵巧操作关节工具是机器人学的重大挑战,需协调内部自由度与丰富接触交互。现有工作多关注刚性物体,关节工具因物理复杂性和学习功能性抓取-操作策略的难度而未被充分探索。

🛠️ 方法

受计算机动画启发,Mana采用粗到细管道:生成程序化的抓取关键帧→通过运动规划生成操作轨迹→强化学习优化。数据生成高度自动化,仅需数次鼠标点击指定功能 affordances。在四种不同尺度和关节类型的工具上验证。

📊 效果

在四种关节工具上实现零样本sim-to-real迁移,包括抓取和手中操作。数据生成仅需<1分钟/工具。展示了可扩展的灵巧关节工具操作方法。

🤖 AI 评价

将动画技术引入机器人操作是跨领域创新的典范。关键帧+运动规划+RL的粗到细管道巧妙解决了接触丰富操作中的复杂性。数据生成的高效性(<1分钟/工具)极具实用价值。零样本sim-to-real是该领域的holy grail,Mana在此取得突破。局限:仅在四种工具上验证,通用性有待更广泛验证;对affordance的初始标注仍有少量人工依赖。未来方向:扩展至更多工具类别,探索完全自动化的affordance检测。

标签: 机器人灵巧操作, sim-to-real, 关节工具, 动画, 强化学习


3. Modality Forcing for Scalable Spatial Generation

作者: Bardienus Pieter Duisterhof, Deva Ramanan, Jeffrey Ichnowski, Justin Johnson, Keunhong Park
评分: ⭐⭐⭐⭐ (9/10)
链接: http://arxiv.org/abs/2606.13676v1
类别: cs.CV

🔍 核心内容

提出Modality Forcing,一种简单、可扩展的后训练方法,通过单一DiT模型在稀疏深度数据上实现联合图像-深度生成。为每种模态分配独立噪声水平,支持任意排列的条件/联合生成,并继承T2I预训练的可扩展性。

❓ 解决的问题

T2I模型包含丰富的空间先验,但现有深度预测方法需密集深度数据和复杂训练流程。如何有效利用T2I的空间先验进行深度预测,同时保持可扩展性,是空间感知生成的核心挑战。

🛠️ 方法

Modality Forcing通过为图像和深度模态分配独立噪声水平,实现任意排列的条件/联合生成。每种模态使用独立解码器,可在稀疏真实深度数据上训练。继承T2I预训练可扩展性:从370M到3.3B参数模型的实验表明,更大模型+更多图像数据→更准确的深度预测。

📊 效果

最强模型在AbsRel指标上比现有联合图像-深度生成模型降低57%,与SOTA单目深度估计器竞争。从370M到3.3B参数,模型规模与深度精度呈正相关,证明图像生成是空间感知的可扩展预训练目标。

🤖 AI 评价

Modality Forcing的简洁性是其最大亮点——不需要复杂的多模态架构,仅通过噪声水平分配就实现联合生成。稀疏深度训练降低数据门槛,独立解码器避免模态间的干扰。可扩展性实验(370M→3.3B)强有力地证明图像生成预训练对空间感知的迁移价值。这为多模态生成模型提供了一个优雅的统一框架。局限:在极端复杂场景(如透明物体、动态场景)中的表现未知;稀疏深度数据的获取在某些场景仍有挑战。

标签: 扩散模型, 深度估计, 多模态生成, DiT, 空间感知


4. SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning

作者: Seokju Cho, Ryo Hachiuma, Abhishek Badki, Hang Su, Byung-Kwan Lee, Chan Hee Song, Sifei Liu, Subhash…
评分: ⭐⭐⭐⭐ (9/10)
链接: http://arxiv.org/abs/2606.13673v1
类别: cs.AI

🔍 核心内容

提出SpatialClaw,一种训练自由的代码即动作界面的空间推理框架。维护有状态的Python内核,预加载输入帧和感知/几何基元,让VLM-backed Agent每步编写一个可执行单元,基于所有先前输出灵活组合和操控感知结果,适应中间文本和视觉观察。

❓ 解决的问题

空间推理(3D/4D中物体位置、关系和移动)是VLM的基本挑战。工具增强Agent通过专用感知模块增强VLM,但效果受限于工具调用的动作界面。现有方案要么单步代码执行(缺乏中间反馈),要么结构化工具调用(灵活性不足),均不适合开放式复杂空间推理。

🛠️ 方法

SpatialClaw采用代码作为动作界面:维护有状态Python内核,预加载输入帧和感知/几何基元库;VLM-backed Agent每步编写一个可执行单元,基于所有先前输出和观察进行条件化;支持灵活组合操作、调整分析策略。

📊 效果

在20个空间推理基准(涵盖静态和动态3D/4D任务)上平均准确率59.9%,比近期SOTA空间Agent提升+11.2个百分点。在6个VLM骨干(两个模型家族)上均获得一致增益,无需任何基准或模型特定适配。

🤖 AI 评价

SpatialClaw的代码即动作界面是空间推理的范式创新。相比结构化工具调用,Python代码提供无限的组合灵活性,这是解决开放式空间推理的关键。有状态内核设计让Agent能逐步积累感知结果,避免单步执行的信息丢失。59.9%的平均准确率和跨模型的consistent gains非常令人信服。训练自由的特性意味着零额外成本。局限:代码执行的安全性和沙箱化未详细讨论;在极端复杂动态场景(如高速运动、遮挡)中的表现未知。未来可探索与专用3D视觉模型的更深度集成。

标签: 空间推理, VLM Agent, 代码即动作, 3D/4D推理, 工具增强


5. $\texttt{WEAVER}$, Better, Faster, Longer: An Effective World Model for Robotic Manipulation

作者: Arnav Kumar Jain, Yilin Wu, Jesse Farebrother, Gokul Swamy, Andrea Bajcsy
评分: ⭐⭐⭐⭐ (9/10)
链接: http://arxiv.org/abs/2606.13672v1
类别: cs.RO

🔍 核心内容

提出WEAVER(World Estimation Across Views for Embodied Reasoning),多视图世界模型架构,通过流匹配损失训练预测未来潜变量和奖励值。同时满足 fidelity(真实相关)、consistency(长程连贯)、efficiency(快速生成)三个需求,在机器人操作任务上提供SOTA结果。

❓ 解决的问题

世界模型(WM)对机器人有深远影响(策略评估、改进、测试时规划),但需同时满足三个要求:fidelity(模拟轨迹与现实相关)、consistency(长程连贯)、efficiency(快速生成)。现有WM在至少一个方面存在不足,尤其难以处理长程动态操作任务。

🛠️ 方法

WEAVER是多视图WM,通过流匹配损失训练预测未来潜变量和奖励值。蒸馏模型架构、记忆机制和预测目标的关键设计决策,解锁长程动态操作任务。应用于真实机器人硬件进行策略评估、改进和测试时规划。

📊 效果

策略评估:与现实成功率相关性ρ=0.870;策略改进:在π0.5机器人基础模型上提升38%真实成功率;测试时规划:提升14%成功率,速度比先前沿WM快5-10倍;在分布外场景中表现优于先前沿WM。

🤖 AI 评价

WEAVER同时满足三个desiderata是world modeling领域的重要突破。流匹配+多视图的设计在效率和一致性之间取得平衡,ρ=0.870的评估相关性证明高保真度。38%的策略提升和5-10倍加速是惊人的实际价值。这项工作展示了世界模型从研究到实际硬件部署的maturity。局限:对多视图输入的依赖在某些场景(如单摄像头机器人)可能受限;计算资源需求未详细说明。未来方向:扩展至非操作任务(如导航、交互),探索与在线适应的结合。

标签: 世界模型, 机器人操作, 流匹配, 多视图, 策略评估


6. EvoArena: Tracking Memory Evolution for Robust LLM Agents in Dynamic Environments

作者: Jundong Xu, Qingchuan Li, Jiaying Wu, Yihuai Lan, Shuyue Stella Li, Huichi Zhou, Bowen Jiang, Lei Wa…
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2606.13681v1
类别: cs.CL

🔍 核心内容

提出EvoArena动态环境基准测试套件和EvoMem补丁式记忆范式,通过记录记忆的结构化更新历史,使LLM Agent能够推理环境演化。涵盖终端、软件和社会偏好三个动态域,填补当前静态评估与现实动态部署之间的鸿沟。

❓ 解决的问题

现有LLM Agent评估多在静态环境中进行,而真实世界部署面临持续变化的环境和任务条件,Agent需不断对齐知识、技能和行为。当前Agent缺乏对动态演化的建模和适应能力。

🛠️ 方法

构建EvoArena基准,将环境变化建模为跨域的渐进式更新序列;提出EvoMem补丁式记忆范式,以结构化更新历史记录记忆演化,使Agent通过记忆变化推理环境演化。

📊 效果

当前Agent在EvoArena上平均准确率仅39.6%;EvoMem带来平均1.5%提升,在GAIA和LoCoMo标准基准上分别提升6.1%和4.8%,链级准确率提升3.7%。机制分析显示EvoMem改善了记忆中对演化环境状态的完整保留。

🤖 AI 评价

这项工作非常务实,直击LLM Agent从实验室走向生产的核心痛点——动态适应性。EvoArena填补了评估空白,EvoMem的记忆演化思想很有创意,将版本控制理念引入Agent记忆。不足之处在于1.5%的绝对提升看似 modest,但考虑到动态环境的复杂性和39.6%的基线,这已是显著进步。未来方向:可扩展至更多动态域(如实时信息、用户偏好漂移),并探索与持续学习(continual learning)的结合。

标签: LLM Agent, 动态环境, 记忆机制, 基准测试, 演化建模


7. InterleaveThinker: Reinforcing Agentic Interleaved Generation

作者: Dian Zheng, Harry Lee, Manyuan Zhang, Kaituo Feng, Zoey Guo, Ray Zhang, Hongsheng Li
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2606.13679v1
类别: cs.CV

🔍 核心内容

提出首个多Agent管道InterleaveThinker,赋予现有图像生成器交错式文本-图像序列生成能力。包含Planner Agent组织图文序列、Critic Agent评估输出并修正指令,通过SFT冷启动和GRPO强化学习实现逐步指令校正。

❓ 解决的问题

现有图像生成器在单图生成和编辑上表现优异,但架构限制使其无法实现交错式生成(text-image序列),这在视觉叙事、指导和具身操作中有重要应用。开源统一多模态模型(UMMs)在此方面表现有限。

🛠️ 方法

设计多Agent管道:Planner Agent组织图文输入序列并指导每步执行;Critic Agent评估输出、识别偏离计划的样本并修正指令。构建Interleave-Planner-SFT-80k和Interleave-Critic-SFT-112k进行格式冷启动,再用Interleave-Critic-RL-13k通过GRPO强化逐步指令校正。提出accuracy reward和step-wise reward解决长轨迹优化难题。

📊 效果

InterleaveThinker在多种图像生成器上均提升性能,在交错生成基准上达到与Nano Banana和GPT-5相当的性能。在推理基准上也有显著提升,如4-step FLUX.2-klein在WISE和RISE上取得大幅增益。单次生成交错轨迹可能涉及25+次生成器调用。

🤖 AI 评价

多Agent协作解决交错生成是创新的架构设计,将复杂的序列生成问题分解为规划和批评两个角色。SFT+RL的两阶段训练策略合理,step-wise reward的设计巧妙解决了长轨迹计算不可行的问题。与GPT-5 comparable的结果令人印象深刻。潜在局限:每次生成需要25+次调用,计算成本较高;对基础生成器的依赖意味着性能上限受基础模型制约。未来可考虑减少调用次数的优化。

标签: 多Agent, 图像生成, 交错生成, GRPO, 视觉叙事


8. Improving Robotic Generalist Policies via Flow Reversal Steering

作者: Andy Tang, William Chen, Andrew Wagenmaker, Chelsea Finn, Sergey Levine
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2606.13675v1
类别: cs.RO

🔍 核心内容

提出Flow Reversal Steering(FRS),针对流匹配通用机器人策略。通过将次优但合理的动作反向传入流策略找到潜噪声,再映射到附近通用策略的action modes,实现将语义引导转化为高质量机器人动作。

❓ 解决的问题

通用机器人策略可从多样化数据集中学习广泛技能,但直接命令策略在挑战性任务上往往失败。需要一种方法从策略丰富的行为先验中推断并调用适当动作,尤其在直接控制失败时。

🛠️ 方法

FRS针对流匹配通用策略:接收次优但合理的动作→反向通过流策略找到潜噪声→映射到附近通用策略的action modes。可将人类或VLM的粗略语义引导转化为优质动作;通过行为克隆蒸馏,训练辅助策略输出通用策略映射到好动作的噪声;支持用语义知识引导强化学习进行策略改进。

📊 效果

在模拟和真实操作场景中验证:FRS可将语义引导转化为零样本控制,提升任务成功率;蒸馏后辅助策略在不到1分钟训练内带来高达95%的绝对任务成功率提升;FRS引导的RL在标准RL失败的任务上实现改进。

🤖 AI 评价

FRS是解决通用策略「知道很多但做不好」问题的巧妙方案。流反转的数学直觉很清晰:在流模型的潜空间中找到通往好动作的路径。将语义引导转化为动作的能力极具实用价值,VLM+FRS的组合可实现自然语言驱动的机器人控制。95%的成功率提升非常惊人,但需注意这是绝对提升(relative to baseline)。局限:FRS专门为流匹配设计,对其他架构(如diffusion policies、autoregressive policies)的适用性未验证;对「合理」次优动作的定义有一定模糊性。未来可探索跨架构的通用steering方法。

标签: 机器人策略, 流匹配, 语义引导, 强化学习, 行为克隆


9. RepWAM: World Action Modeling with Representation Visual-Action Tokenizers

作者: Junke Wang, Qihang Zhang, Shuai Yang, Yiming Luo, Yujun Shen, Zuxuan Wu, Yu-Gang Jiang, Yinghao Xu
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2606.13674v1
类别: cs.CV

🔍 核心内容

提出RepWAM,基于表征视觉-动作tokenizers的表征中心世界动作模型(WAM)。训练表征视觉-动作tokenizer将视觉输入映射为对齐的视觉和潜动作tokens,预训练WAM联合建模未来视觉状态和语言指令下的潜动作,并适配真实机器人轨迹进行闭环操作。

❓ 解决的问题

现有WAM多继承自视频生成模型的重建导向视频tokenizer,虽保留视觉保真度,但像素重建 alone 对连接未来预测与机器人控制的指令遵循动力学学习 guidance 有限。需要语义视觉-动作潜空间来支持表征中心的世界动作建模。

🛠️ 方法

训练表征视觉-动作tokenizer,将视觉输入映射为对齐的视觉和潜动作tokens。预训练WAM联合建模未来视觉状态和语言指令下的潜动作。通过适配真实机器人轨迹实现闭环操作。语义tokenization替代重建导向方案。

📊 效果

在真实操作任务和模拟基准上表现强劲,消融实验显示语义视觉-动作tokenization优于重建导向替代方案。为通用机器人策略建立表征视觉-动作tokenization作为有前景的基础。

🤖 AI 评价

RepWAM的核心洞见是:对世界建模而言,语义理解比像素重建更重要。这与人类认知一致——我们规划动作时依赖语义表征而非像素级重建。表征视觉-动作tokenizer的设计巧妙,将视觉和动作统一在共享潜空间中。实验结果强有力,消融实验尤其有说服力。局限:代码和权重尚未发布,复现性待验证;在更复杂、长程任务中的表现未知。未来方向:与具身基础模型(如π0)结合,探索更大规模的预训练。

标签: 世界模型, 机器人操作, 视觉-动作表征, tokenization, 闭环控制


10. Understanding Truncated Positional Encodings for Graph Neural Networks

作者: James Flora, Mitchell Black, Weng-Keen Wong, Amir Nayyeri
评分: ⭐⭐⭐ (7/10)
链接: http://arxiv.org/abs/2606.13671v1
类别: cs.LG

🔍 核心内容

首次系统研究截断位置编码(Truncated PEs)的理论性质。证明在截断条件下,谱方法(如Laplacian eigenspaces)和游走方法(adjacency矩阵多项式)在表达能力上存在根本性差异;截断谱PE不再强于1-WL测试;k-harmonic distances谱PE族展示了即使密切相关的截断PE也有不同表达能力。

❓ 解决的问题

谱PE和游走PE在「完整」版本下理论等价(表达能力介于1-WL和3-WL之间),但完整版本需O(n³)复杂度。实践中使用截断变体(如前k个特征空间或邻接矩阵幂),但其理论性质完全未知。这导致实践中的PE选择缺乏理论指导。

🛠️ 方法

理论分析截断PE的表达能力:证明截断条件下不同PE族存在根本性差异;推导截断谱PE不再强于1-WL测试的推论;研究k-harmonic distances谱PE族展示密切相关截断PE的表达能力差异;实验验证混合截断PE在实际数据集上优于单一PE族。

📊 效果

理论证明截断条件下谱PE和游走PE不再等价,截断谱PE表达能力下降;k-harmonic distances作为谱PE的特殊案例展示不同行为;实验表明混合截断PE在实际数据集上优于任何单一PE族。

🤖 AI 评价

这是GNN基础理论的重要贡献,填补了截断PE的理论空白。论文揭示了一个关键的实践-理论鸿沟:大家用了很久的截断PE,却不知道它们在理论上和完整版本完全不同。证明截断谱PE不再强于1-WL是一个 impactful的结果,直接影响PE的选择策略。混合PE优于单一PE的实验发现为实际应用提供了明确指导。局限:实验主要在标准图分类数据集上,在大规模图(如社交网络、知识图谱)上的验证不足;对截断参数k的选择策略未提供明确指导。未来可探索自适应截断策略。

标签: 图神经网络, 位置编码, 表达能力, WL测试, 谱方法


📈 今日统计

  • 论文总数: 10 篇
  • 数据来源: ArXiv RSS (cs.AI, cs.LG, cs.CL, cs.CV, cs.RO)
  • 更新时间: 2026-06-13

本报告由 AI 自动生成,仅供参考。论文观点不代表本站立场。