ArXiv 每日论文精选 | 2026-07-14

July 14, 2026 3-minute read

AI的感想

arXiv • 论文阅读 • AI研究 • 每日精选 • 机器学习

📚 ArXiv 每日论文精选 | 2026-07-14

自动精选今日 ArXiv 最新 AI/ML 论文，AI 深度解读核心内容、方法、效果与评价。

1. A Single Diffusion-Policy Controller for Multi-Task Block Pushing with Zero-Shot Sim-to-Real Transfer

作者: Haitong Ma, Haldun Balim, Yang Hu, Bo Dai, Na Li
评分: ⭐⭐⭐⭐ (9/10)
链接: http://arxiv.org/abs/2607.10892v1
类别: cs.RO

🔍 核心内容

本文探索从零开始用强化学习训练扩散策略，实现多任务方块推送的机器人控制。提出一种简化的策略损失函数（基于行为克隆的加权证据下界），结合反向课程生成和以目标为中心的表征，解决无演示数据时的探索难题，并实现零样本仿真到真实迁移。

❓ 解决的问题

扩散策略在机器人行为克隆中表现出色，但依赖演示数据；强化学习虽无需演示，但在高维动作空间和稀疏奖励下探索困难。如何结合两者优势实现多任务操作且能零样本迁移到真实环境是关键挑战。

🛠️ 方法

设计兼容RL的证据下界策略损失函数；2) 反向课程生成解决无演示时的探索问题；3) 以目标为中心的表征学习；4) 训练单一扩散策略处理多种形状的方块推送任务。

📊 效果

在仿真环境中成功学习多任务方块推送策略，并在真实世界中零样本迁移，验证了在目标位置、方块形状/重量、表面摩擦等变化条件下的鲁棒性。

🤖 AI 评价

该研究的创新在于将扩散策略与强化学习结合，突破了传统扩散策略依赖演示数据的限制。反向课程生成和以目标为中心的表征是解决稀疏奖励下探索问题的巧妙设计。零样本Sim-to-Real迁移在实际机器人上验证了方法的实用性。然而，任务相对简单（2D平面推送），尚未验证在更复杂6DoF操作中的有效性。总体来说，为扩散策略的RL训练开辟了新方向。

标签: 扩散策略, 强化学习, 机器人操作, Sim-to-Real, 多任务学习

2. 3D Scene Graph Prediction: Generating Hierarchical Models from Partially Observed Environments

作者: Siyi H, Jared Strade, Hyungtae Lim, Luca Carlone
评分: ⭐⭐⭐⭐ (9/10)
链接: http://arxiv.org/abs/2607.10879v1
类别: cs.RO

🔍 核心内容

本文提出一种自上而下的分层3D场景图合成框架，用于从部分观测环境中预测未探索区域。框架包含房间层（混合域图扩散模型预测房间类别、边界和可通行性）和物体层（离散-连续扩散模型预测物体布局），支持部分约束输入，并在机器人采集的真实场景数据上验证。

❓ 解决的问题

现有3D场景生成多关注单房间物体布局，缺乏对房间级别结构（平面图、可通行性）的建模。机器人在部分探索环境后，如何预测未探索区域以支持后续任务（如探索、物体搜索）是机器人应用的关键需求。

🛠️ 方法

房间层：混合域图扩散模型联合预测房间类别、地板边界和房间间可通行性，通过corruption和masking支持部分约束；2) 物体层：集成现有离散-连续扩散模型，在给定平面图下预测物体类别、位置、尺寸和朝向。

📊 效果

在标准基准上相比占用学习基线，对分布外部分平面图的泛化能力显著提升。在机器人采集的真实场景数据上展示了超越已探索区域的预测能力。

🤖 AI 评价

该工作填补了场景图预测领域的空白，将生成模型从单房间物体布局扩展到分层场景结构预测。创新性地引入混合域图扩散模型处理房间级别结构，并巧妙利用corruption机制支持部分观测输入。对机器人导航和探索任务具有重要应用价值。局限在于主要验证于室内环境，室外场景的适用性有待验证。整体是一篇具有强实用性的场景理解工作。

标签: 3D场景图, 场景预测, 扩散模型, 机器人感知, 室内导航

3. X-GuideAR: An Augmented Reality Framework to Mitigate Radiation Exposure during Fluoroscopic Guidance

作者: Mingxu Liu, Zixuan Liu, Ruchen Cai, Yu-Chen Ku, Suxi Gu, Amit Jain, Alejandro Martin-Gomez, Mehran A…
评分: ⭐⭐⭐⭐ (9/10)
链接: http://arxiv.org/abs/2607.10873v1
类别: cs.RO

🔍 核心内容

本文提出X-GuideAR增强现实框架，用于减少骨科手术中透视引导过程的辐射暴露。系统通过生成合成X射线预览加速透视搜寻过程，在获取真实X射线后将钻孔轨迹预览叠加其上，辅助精准置钉。在S2AI螺钉置入的初步研究中，X射线数量减少62.3%。

❓ 解决的问题

骨科手术中为实现最佳螺钉置入，需频繁进行X射线透视对齐检查（fluoro-hunting），导致患者和手术团队承受过量辐射。如何在保证置钉精度的同时最小化辐射暴露是重要临床需求。

🛠️ 方法

生成合成X射线预览，无辐射地辅助识别最佳透视视角；2) 确定所需解剖视图后获取真实X射线；3) 将钻孔轨迹预览增强叠加到真实X射线上，引导精准置钉；4) 以S2AI螺钉置入为例验证框架。

📊 效果

8例S2AI轨迹的初步研究显示X射线数量减少62.3%；X-GuideAR辅助轨迹的平均安全螺钉直径12.95mm，显著优于传统流程的5.9mm，表明改善的骨包裹性和潜在生物力学优势。

🤖 AI 评价

这是一个将AR技术成功应用于临床手术导航的典型案例。62.3%的辐射减少具有显著的临床价值，更大的安全螺钉直径意味着更好的手术效果。该框架的实用性很强，且合成X射线预览+AR叠加的技术路线清晰可行。局限性在于样本量较小（8例），需要更大规模的临床试验验证。此外，系统依赖术前规划和精准的AR配准。总体而言，为手术导航和辐射防护提供了有前景的方向。

标签: 增强现实, 手术导航, 医疗机器人, 辐射防护, 骨科手术

4. D-SafeMPC: Diffusion-Driven Safe Model Predictive Control with Discrete-Time Control Barrier Functions

作者: Erdi Sayar, Ersin Daş, Joel W. Burdick, Alois Knoll, Erdal Kayacan
评分: ⭐⭐⭐⭐ (9/10)
链接: http://arxiv.org/abs/2607.10842v1
类别: cs.RO

🔍 核心内容

本文提出D-SafeMPC框架，解决扩散模型在机器人规划中无法保证安全和动力学约束的问题。方法通过控制障碍函数(CBF)和控制李雅普诺夫函数(CLF)引导反向扩散过程，并在每步去噪时用MPC迭代投影细化轨迹，使采样偏向安全目标区域并提供可靠的MPC热启动。

❓ 解决的问题

扩散模型在机器人规划中的关键限制是无法固有地强制执行安全或动力学约束，导致输出可能物理不可行或不安全。现有混合MPC方法因扩散模型的不良轨迹初始化而不稳定，难以收敛到安全可行解。

🛠️ 方法

用CBF和CLF引导反向扩散过程；2) 迭代投影机制：每步去噪时用MPC细化轨迹；3) 将扩散采样引导至安全目标区域；4) 为MPC提供可靠的热启动。在Franka机械臂的仿真和真实实验验证。

📊 效果

在静态障碍和三种动态障碍场景的Franka仿真中，以及真实Franka机器人上的sim-to-real实验，D-SafeMPC在安全性、任务成功率和规划效率上均优于SOTA基线。

🤖 AI 评价

该工作巧妙地将扩散模型的表达能力和MPC的安全性保证结合，通过CBF/CLF引导+迭代投影的机制解决了两者协同的关键难题。从仿真到真实机器人的完整验证展示了方法的实用价值。开源代码也促进了可复现性。局限在于计算复杂度较高（每步去噪都需MPC优化），实时性可能受限。此外，CBF的设计依赖于特定任务。总体来说，这是扩散模型安全机器人规划的重要进展。

标签: 扩散模型, 模型预测控制, 机器人安全, 控制障碍函数, 运动规划

5. Action Map Policy: Learning 3D Closed-loop Manipulation via Pixel Classification

作者: Haojie Huang, Zhang Ye, Linfeng Zhao, Boce Hu, Mingxi Jia, Yu Qi, Ahmed Agha, Dian Wang, Robert Plat…
评分: ⭐⭐⭐⭐ (9/10)
链接: http://arxiv.org/abs/2607.10706v1
类别: cs.RO

🔍 核心内容

本文提出Action Map Policy (AMP)，将3D闭环操作策略学习转化为图像空间的分类问题。通过将3D动作投影到相机图像平面，将每个像素位置视为离散类别，在控制维度的同时保留多模态性。该方法支持毫米级精度的高维动作预测，单次前向传播即可预测整个动作块，推理速度显著快于扩散策略。

❓ 解决的问题

机器人学习中的动作空间通常高维、长时程且多模态。离散化连续动作会导致词汇表爆炸，而扩散策略虽有效但推理速度慢。如何在保持多模态性和精度的同时实现高效推理是关键挑战。

🛠️ 方法

将3D动作投影到相机图像平面；2) 每个像素位置作为离散类别进行分类；3) 单次前向传播预测整个动作块；4) 保留像素级视觉信号进行空间推理。

📊 效果

在各种操作任务上优于强基线，实现更高的成功率、更快的推理速度和增强的空间推理能力。支持毫米级精度的高维动作预测。

🤖 AI 评价

AMP的核心创新在于将动作表示从复杂的高维连续空间转化为直观的图像空间分类问题，既避免了词汇表爆炸，又保留了多模态性。单次前向传播的设计使其推理速度远超扩散策略，这对实时机器人控制至关重要。像素级视觉信号的保留增强了空间推理能力。局限在于依赖相机视角，对于遮挡严重或视角受限的场景可能受限。此外，投影到2D可能丢失部分3D信息。总体而言，这是一个实用且高效的机器人操作策略，对实际部署具有吸引力。

标签: 机器人操作, 动作策略, 像素分类, 闭环控制, 模仿学习

6. Mapping Pamir: Multi-Session Visual-Inertial SLAM and 3D Reconstruction of an Underwater Shipwreck

作者: Michalis Chatzispyrou, Luke Horgan, Hyunkil Hwang, Harish Sathishchandra, Chinmay Burgul, Monika Roz…
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2607.10925v1
类别: cs.RO

🔍 核心内容

本文提出了一种多会话水下环境建图框架，使用低成本运动相机结合潜水电脑的深度记录，通过SVIn2视觉惯性SLAM生成轨迹和稀疏重建，再利用COLMAP进行全局优化和稠密重建。该方法首次对巴巴多斯海岸一艘沉船的外部结构和可进入内部进行了三维建图。

❓ 解决的问题

水下三维重建面临设备成本高、环境复杂（光线、能见度）、多会话数据融合困难等挑战，特别是对于大型水下结构（如沉船）的完整建图缺乏经济高效的解决方案。

🛠️ 方法

采用分层重建策略：1) SVIn2 VI-SLAM处理每个会话数据生成关键帧和相机位姿；2) COLMAP进行全局SfM优化和稠密重建；3) 利用固定位置的标定靶估计不同会话间的坐标变换，实现多会话统一坐标系对齐。

📊 效果

成功实现了巴巴多斯沉船的多会话三维重建，首次同时覆盖外部和内部结构，三会话数据（含双相机不同视场角）融合到统一坐标系，证明了低成本方案的可行性。

🤖 AI 评价

该方法的核心优势在于使用现成低成本硬件（运动相机+潜水电脑）实现专业级水下三维重建，通过多会话策略解决大范围场景覆盖问题。创新性体现在将视觉惯性SLAM与SfM框架有机结合，并引入深度辅助和标定靶对齐机制。局限性在于依赖固定标定靶进行会话间对齐，在开放海域可能受限。整体而言，为水下考古和海洋探索提供了实用且经济的解决方案。

标签: SLAM, 三维重建, 水下机器人, 计算机视觉, 多会话建图

7. TOLiD: Bridging the Architecture Gap in Vision Foundation Model to LiDAR Pretraining via Token Lifting for Distillation

作者: Sutharsan Mahendran, Darshana Priyasad, Kaushik Roy, Tharindu Fernando, Sridha Sridharan, Clinton Fo…
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2607.10762v1
类别: cs.RO

🔍 核心内容

本文提出TOLiD自监督预训练方法，解决视觉基础模型(VFM)到LiDAR骨干网络的跨模态蒸馏中的架构差距问题。方法通过将LiDAR骨干与学生ViT耦合（从冻结VFM教师初始化），使用视锥池化和视锥注意力将点特征转换为token，进行token级蒸馏；部署时通过掩码双线性采样将token特征提升回逐点表示。

❓ 解决的问题

现有跨模态蒸馏将VFM作为冻结特征源，训练异构3D骨干匹配固定图像嵌入，迫使学生同时弥合模态差距和架构差距（密集ViT token vs 稀疏3D编码器）。如何有效对齐不同架构的表示是关键挑战。

🛠️ 方法

LiDAR骨干与学生ViT耦合，从冻结VFM教师初始化；2) 视锥池化+视锥注意力将图像视锥内点特征转为token；3) 带可见性掩码的token级蒸馏；4) 部署时用掩码双线性采样将token提升回逐点特征。

📊 效果

在五个异构LiDAR数据集和四个跨传感器适配对上评估，展示了冻结骨干和轻量头部的改进迁移能力。

🤖 AI 评价

TOLiD的核心贡献在于通过token lifting机制巧妙弥合了ViT和稀疏3D编码器之间的架构差距，使蒸馏过程更加兼容。视锥池化和视锥注意力的设计充分利用了图像和LiDAR的几何对应关系。在多个数据集和跨传感器场景上的广泛验证增强了说服力。局限在于需要图像-LiDAR配准数据进行预训练，且推理时的token-to-point提升可能引入信息损失。总体而言，是3D场景理解自监督预训练的重要进展。

标签: LiDAR, 自监督预训练, 知识蒸馏, 视觉基础模型, 3D感知

8. Traj-VLN: Learning Pixel-Space Interaction via Autoregressive Trajectory Generation

作者: Changfei Fu, Guangcheng Chen, Wenjun Xu, Hong Zhang
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2607.10744v1
类别: cs.RO

🔍 核心内容

本文提出Traj-VLN方法，通过自回归轨迹生成在2D像素空间学习导航交互，解决视觉语言模型(VLM)在视觉语言导航(VLN)中难以理解3D空间交互的问题。模型根据语言指令和历史观测，从当前观测底部中心开始顺序预测像素坐标序列，绘制导航轨迹。

❓ 解决的问题

VLN要求具身智能体按照自然语言指令在未见过环境中导航。VLM虽在VLN中展现出泛化能力，但难以处理涉及深度方向的3D空间交互（如走到沙发尽头左转），因为VLM预训练主要基于RGB图像对话。

🛠️ 方法

将导航任务分解为子任务序列；2) 微调VLM在2D像素空间自回归生成轨迹坐标；3) 从当前观测底部中心顺序预测像素坐标序列；4) 避免显式引入深度或3D几何信息，直接学习像素空间交互。

📊 效果

像素空间轨迹监督显著增强VLN性能，旗舰模型在相对有限的计算资源和训练数据下达到SOTA水平。

🤖 AI 评价

该工作的创新在于巧妙地绕过了VLM缺乏3D理解能力的问题，直接在2D像素空间学习导航交互。自回归轨迹生成的方式既保留了VLM的预训练优势，又避免了复杂的3D表示学习。在有限资源下达到SOTA的结果令人印象深刻。然而，纯像素空间方法在复杂3D环境（如多层建筑、高度变化）中可能受限。此外，轨迹生成依赖历史观测的累积，可能存在误差累积问题。总体来说，是VLN领域简洁而有效的解决方案。

标签: 视觉语言导航, 自回归模型, 像素空间, VLM, 具身智能

9. Learning Roller-Skating Motions of Humanoid Robots Based on Adversarial Motion Priors

作者: Yunkang Cheng, Yutong Wu, Menghan Li, Shihe Zhou, Mingguo Zhao
评分: ⭐⭐⭐ (7/10)
链接: http://arxiv.org/abs/2607.10815v1
类别: cs.RO

🔍 核心内容

本文提出基于对抗运动先验(AMP)的强化学习框架，用于学习人形机器人的轮滑运动。针对Pump Glide和Push Glide两种步态，独立采集运动捕捉数据并重定向到人形机器人，通过独立的AMP训练流程（分开的参考数据集、策略和奖励架构）学习两种轮滑步态。

❓ 解决的问题

人形机器人轮滑极具挑战性，需要协调全身平衡、滚动接触和速度相关的姿态调节。传统方法难以处理这种高动态、接触丰富的运动技能学习问题。

🛠️ 方法

运动捕捉采集两种轮滑步态数据；2) 重定向到人形机器人并平滑重采样；3) 独立的AMP训练流程，每种步态有单独的参考数据集、策略和奖励架构；4) 仿真评估步态质量、速度跟踪、转弯能力。

📊 效果

在仿真中成功学习两种轮滑步态，实验评估了步态质量、速度跟踪、转弯能力，并进行了特定步态的奖励消融研究。

🤖 AI 评价

该工作展示了AMP在学习复杂人形运动技能方面的有效性，轮滑作为高动态接触运动是一个具有挑战性的测试平台。独立的训练流程设计清晰，便于分别优化不同步态。然而，目前仅在仿真中验证，缺乏真实机器人实验；且两种步态独立训练，未探索步态切换和过渡。作为概念验证工作有一定价值，但从仿真到真实的迁移将是关键挑战。

标签: 人形机器人, 强化学习, 对抗运动先验, 轮滑, 运动技能学习

10. Is Energy Guidance All You Need? Training-Free Norm Injection for Driving World Models

作者: Xiyan Su, Frank Diermeyer, Markus Lienkamp
评分: ⭐⭐⭐ (7/10)
链接: http://arxiv.org/abs/2607.10781v1
类别: cs.RO

🔍 核心内容

本文探索了驾驶世界模型的无训练可控性方法。基于Open-Sora 2.0 MM-DiT构建的矫正流驾驶世界模型，在采样时通过可微能量函数编码驾驶规范来引导轨迹，无需重新训练扩散主干。研究发现生成视频尚未通过联合自注意力跟随被引导的轨迹，指出跨流耦合是端到端可控性的关键需求。

❓ 解决的问题

基于大型视频扩散主干的驾驶世界模型虽能生成逼真场景，但难以控制：强制执行交通规范通常需要重新训练主干或依赖手工布局条件。如何实现无需训练的可控性是一个开放问题。

🛠️ 方法

构建基于Open-Sora 2.0 MM-DiT的矫正流驾驶世界模型，联合生成未来视频和自车轨迹；2) 在采样时注入编码驾驶规范的可微能量函数；3) 分析跨流耦合对端到端可控性的影响。

📊 效果

成功在采样时通过能量引导使模型在反事实目标处刹车，验证了无需训练即可实现轨迹控制的可行性。但发现生成视频尚未完全跟随被引导的轨迹。

🤖 AI 评价

该工作提出了一个有趣的问题：可控性是否必须依赖训练？实验表明采样时能量引导确实能影响轨迹规划，这是一个有价值的发现。然而，生成视频与轨迹的不一致揭示了当前架构的根本限制——跨流耦合不足。这意味着虽然部分可控性无需训练，但要实现真正的端到端可控rollouts，可能仍需要架构层面的改进。研究问题明确，但解决方案尚不完整，属于探索性工作。

标签: 驾驶世界模型, 扩散模型, 能量引导, 可控生成, 自动驾驶

📈 今日统计

论文总数: 10 篇
数据来源: ArXiv RSS (cs.AI, cs.LG, cs.CL, cs.CV, cs.RO)
更新时间: 2026-07-14

本报告由 AI 自动生成，仅供参考。论文观点不代表本站立场。