ArXiv 每日论文精选 | 2026-06-27

June 27, 2026 3-minute read

arXiv • 论文阅读 • AI研究 • 每日精选 • 机器学习

📚 ArXiv 每日论文精选 | 2026-06-27

自动精选今日 ArXiv 最新 AI/ML 论文，AI 深度解读核心内容、方法、效果与评价。

1. Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards

作者: Ritesh Thawkar, Shravan Venkatraman, Omkar Thawakar, Abdelrahman Shaker, Fahad Khan, Hisham Cholakka…
评分: ⭐⭐⭐⭐ (9/10)
链接: http://arxiv.org/abs/2606.27376v1
类别: cs.CV

🔍 核心内容

提出了一种自进化训练框架，使统一的大型多模态模型（LMM）能够仅使用无标签图像自主提升视觉理解和图像生成能力。框架包含三个内部角色：生成视觉问题的Proposer、回答和评估问题的Solver、以及合成图像的Generator。

❓ 解决的问题

现有的统一LMM在支持视觉理解和图像生成时，仍依赖人工标注、偏好标签或外部奖励模型等精心策划的后训练监督。如何仅使用无标签图像实现模型的自主进化是一个开放问题。

🛠️ 方法

设计了基于自一致性奖励的训练框架，引入Solver Token Entropy（STE）作为基于token级预测不确定性的连续难度信号。对于图像生成，设计了结合问答保真度评分与循环一致标题的多尺度内部评估方案。框架兼容扩散、修正流和自回归三种架构。

📊 效果

在8个理解指标上均优于基线模型。在BAGEL上，MMMU绝对提升3.5%，GenEval图像生成性能从82%提升至85%。代码和模型已开源。

🤖 AI 评价

这是自进化多模态学习领域的重要进展。核心贡献在于完全摆脱了对外部监督（人工标注、偏好标签、外部奖励模型）的依赖，仅通过模型内部的自一致性信号实现进化。Solver Token Entropy的设计尤为巧妙，在样本级一致性不可靠时仍能提供有效的学习信号。框架的跨架构通用性（扩散、修正流、自回归）也很实用。不过，自进化方法的效果天花板可能受限于模型自身的初始能力。

标签: 多模态模型, 自进化学习, 无监督学习, 视觉理解, 图像生成

2. Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models

作者: Shravan Venkatraman, Ritesh Thawkar, Omkar Thawakar, Rao Muhammad Anwer, Hisham Cholakkal, Salman Kh…
评分: ⭐⭐⭐⭐ (9/10)
链接: http://arxiv.org/abs/2606.27373v1
类别: cs.CV

🔍 核心内容

提出VISE（Visual Invariance Self-Evolution），一种纯无监督的自进化框架，通过几何不变性奖励和语义不变性奖励直接正则化模型的视觉条件策略，解决现有自进化LMM中存在的’视觉欠条件’问题。

❓ 解决的问题

现有自进化LMM通过多角色自博弈和自一致性奖励优化答案一致性，但无法确保解码器关注视觉内容，导致解码器依赖语言先验而非图像进行生成。这种’视觉欠条件’现象使模型在图像描述和视觉问答等任务上表现不佳。

🛠️ 方法

VISE通过两种互补的不变性奖励直接正则化视觉条件策略：几何不变性奖励（在已知变换下强制空间一致性）和语义不变性奖励（通过要求模型在预测区域被扰动时识别证据缺失，惩罚与证据无关的生成）。在单模型内运行，无需专家角色、外部奖励模型或标注。

📊 效果

在18个基准上验证有效。以Qwen3-VL-2B为基线，COCO上CIDEr提升+16.85，TextCaps上提升+19.66，物体幻觉减少5.0 Chair-I点。可泛化到四个模型家族和不同规模。

🤖 AI 评价

VISE精准地识别并解决了自进化LMM中的核心问题——视觉欠条件。两种不变性奖励的设计非常巧妙：几何不变性确保空间一致性，语义不变性防止证据无关生成。完全无监督、无需外部模型的特性使其具有很强的实用性。在图像描述和视觉问答上的显著提升证明了方法的有效性。不过，不变性奖励的设计依赖于特定的图像变换策略，对于某些类型的视觉任务可能需要调整。代码和模型已开源，对社区贡献很大。

标签: 多模态模型, 自进化学习, 视觉注意力, 无监督学习, 视觉问答

3. Reinforcement Learning without Ground-Truth Solutions can Improve LLMs

作者: Yingyu Lin, Qiyue Gao, Nikki Lijing Kuang, Xunpeng Huang, Kun Zhou, Tongtong Liang, Zhewei Yao, Yi-A…
评分: ⭐⭐⭐⭐ (9/10)
链接: http://arxiv.org/abs/2606.27369v1
类别: cs.LG

🔍 核心内容

提出了RiVER（Ranking-induced VERifiable framework），一种无需真实解即可训练LLM的强化学习框架。使用确定性执行反馈作为连续值监督，通过实例级比较和强调顶级排名求解器的校准奖励塑造来解决连续奖励中的尺度主导和频率主导问题。

❓ 解决的问题

基于可验证奖励的强化学习（RLVR）训练LLM通常依赖真实答案来分配奖励，这限制了其在无真实解任务（如启发式优化）中的应用。如何在没有真实解的情况下通过分数优化任务训练LLM？

🛠️ 方法

识别出组相对RL应用于连续奖励时的两个关键挑战：尺度主导（未校准的分数幅度扭曲策略更新）和频率主导（重复采样的次优解超过罕见但更优的候选）。通过实例级比较的校准奖励塑造来解决，强调顶级排名求解器同时保留其他有效解的有界反馈。

📊 效果

在12个AtCoder启发式竞赛任务上训练，在ALE-Bench上Qwen3-8B和GLM-Z1-9B-0414分别提升8.9%和9.4%。更重要的是，尽管仅在无真实解的分数任务上训练，RiVER在LiveCodeBench和USACO等精确解基准上分别获得2.4%和3.5%的绝对提升，而基线方法无法实现这种迁移。

🤖 AI 评价

RiVER是一个非常有洞察力的工作。核心贡献在于证明了无真实解的分数优化任务结合适当的奖励校准，可以作为通用编码能力的有效训练环境。校准奖励塑造的设计（解决尺度主导和频率主导）是关键创新。跨领域迁移能力（从启发式竞赛到精确解基准）尤其令人印象深刻，说明模型学到了通用的解决问题能力而不仅是特定任务的策略。不过，方法目前主要在编程竞赛上验证，在其他领域的适用性有待进一步探索。

标签: 大语言模型, 强化学习, 无监督训练, 代码生成, 奖励校准

4. Autoregressive Boltzmann Generators

作者: Danyal Rehman, Charlie B. Tan, Yoshua Bengio, Avishek Joey Bose, Alexander Tong
评分: ⭐⭐⭐⭐ (9/10)
链接: http://arxiv.org/abs/2606.27361v1
类别: cs.AI

🔍 核心内容

提出了ArBG（Autoregressive Boltzmann Generators），一种新颖的自回归建模框架，用于替代传统的基于流的玻尔兹曼生成器。ArBG绕过了流的拓扑约束，支持顺序推理时干预，并利用大语言模型中有效的架构实现增强的可扩展性。

❓ 解决的问题

分子系统在热力学平衡下的高效采样是统计物理的核心挑战。现有玻尔兹曼生成器主要依赖归一化流（NF），但NF要么因严格可逆性约束而表达能力受限（离散时间），要么似然计算昂贵（连续时间）。

🛠️ 方法

从基于流的BG范式转向自回归建模。ArBG规避了流的拓扑约束，支持顺序推理时干预。利用在大语言模型中证明有效的架构来提升可扩展性。引入Robin（1.32亿参数可迁移模型），使用ArBG框架训练。

📊 效果

在所有基准上显著优于基于流的模型，尤其在10残基Chignolin等较大肽系统中。Robin在8残基系统上将零样本能量误差E-W2降低超过60%，优于先前最先进方法。

🤖 AI 评价

这是一篇跨领域（LLM架构→统计物理）的创新性工作。将自回归架构引入玻尔兹曼生成器是一个大胆而有效的尝试。Yoshua Bengio的参与也表明了这项工作的重要性。核心优势在于克服了归一化流的拓扑约束和计算瓶颈。Robin模型的零样本迁移能力（在8残基系统上降低60%能量误差）令人印象深刻。不过，自回归生成的顺序性可能在某些分子系统中引入偏差，这是需要注意的潜在局限。对于计算化学和药物发现领域，这项工作具有重要价值。

标签: 玻尔兹曼生成器, 自回归模型, 分子模拟, 统计物理, 药物发现

5. DanceOPD: On-Policy Generative Field Distillation

作者: Wei Zhou, Xiongwei Zhu, Zelin Xu, Bo Dong, Lixue Gong, Yongyuan Liang, Meng Chu, Leigang Qu, Lingdon…
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2606.27377v1
类别: cs.LG

🔍 核心内容

提出了DanceOPD，一种针对流匹配模型的在线策略生成场蒸馏框架，用于统一文本到图像生成、局部编辑和全局编辑等多种能力。通过将每个样本路由到对应的能力场并查询低噪声的学生诱导状态，学生模型从自身 rollout 状态上的场中学习组合专家能力。

❓ 解决的问题

现代图像生成模型需要同时具备文本到图像生成、局部编辑和全局编辑等能力，但这些能力之间往往存在冲突——编辑会降低T2I性能，全局和局部编辑也会互相干扰，如何有效组合这些能力成为核心挑战。

🛠️ 方法

采用在线策略生成场蒸馏框架，将每个能力源定义为共享流状态空间上的速度场。学生模型通过在自己的 rollout 状态上查询专家场来学习组合多种能力。训练使用简单的速度MSE目标，并能够吸收操作者定义的场（如CFG）。

📊 效果

在T2I、编辑、真实感场吸收和CFG吸收等任务上的实验表明，该方法改善了多能力组合，在增强目标能力的同时保持了锚点生成质量，为流匹配模型中的生成场蒸馏建立了实用路径。

🤖 AI 评价

这篇论文提出了一种优雅的框架来解决图像生成中多能力组合的固有问题。核心创新在于将不同能力视为速度场并通过蒸馏统一学习，避免了传统方法中能力冲突的问题。方法设计简洁（仅需MSE损失），且能吸收CFG等操作者定义的场。局限性在于实验规模相对有限，主要在特定能力组合上验证。对于希望构建统一多能力生成模型的研究者而言，这是一个非常有价值的方向。

标签: 图像生成, 流匹配模型, 知识蒸馏, 多任务学习

6. Scalable Behavior Cloning with Open Data, Training, and Evaluation

作者: Arthur Allshire, Himanshu Gaurav Singh, Ritvik Singh, Adam Rashid, Hongsuk Choi, David McAllister, J…
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2606.27375v1
类别: cs.RO

🔍 核心内容

介绍了ABC，一个完全开源的机器人操作行为克隆堆栈。核心贡献包括ABC-130K数据集（最大的开源遥操作数据集，3500小时、13万条片段、195个任务）、开源硬件设置、训练基础设施和仿真流水线，以及400小时的仿真遥操作数据。

❓ 解决的问题

机器人操作领域的研究受限于数据稀缺和评估困难。缺乏大规模开源数据集、可复现的训练方法和可靠的仿真到真实世界的评估代理，导致研究者难以公平比较不同方法。

🛠️ 方法

构建了完整开源生态系统：硬件设置（低成本可获取）、训练基础设施、仿真流水线。提出协同训练方案，产生相关的仿真和真实世界评估结果，作为昂贵真实世界评估前的可靠代理。探索了DiT和VLA模型的多种训练配方和架构选择。

📊 效果

策略成功执行精细操作任务，如折叠盒子和从钱包中提取信用卡。通过提供可复现工具包，为行为克隆研究建立了社区基础。

🤖 AI 评价

这是一项非常有价值的开源基础设施工作。ABC-130K是目前最大的开源遥操作数据集，对机器人操作社区意义重大。完整开源硬件+训练+评估的生态系统设计，让研究者能够站在同一起跑线上进行比较。协同训练方案（sim-teleop co-training）是实用的创新，能够有效降低真实世界评估成本。不过，论文主要聚焦于基础设施而非算法创新，对于追求新方法的研究者来说参考价值主要在实验设置上。

标签: 机器人操作, 行为克隆, 开源数据集, 仿真到真实

7. World Action Models Enable Continual Imitation Learning with Recurrent Generative Replays

作者: Manish Kumar Govind, Dominick Reilly, Smit Patel, Hieu Le, Srijan Das
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2606.27374v1
类别: cs.CV

🔍 核心内容

基于世界动作模型（WAMs）的生成能力，提出了REGEN框架——一种持续模仿学习方法，通过合成伪回放轨迹让机器人策略无需存储原始人类演示即可复习已学任务。在持续适应过程中，REGEN递归查询WAM来合成伪回放轨迹。

❓ 解决的问题

持续学习中的灾难性遗忘是核心挑战。传统方法需要存储原始演示数据进行经验回放，这在存储受限或隐私敏感的场景中不可行。如何利用世界模型的生成能力来替代真实回放数据？

🛠️ 方法

提出Recurrent Generative Replay（REGEN），在持续适应期间，仅基于先前任务指令和当前任务观察，递归查询WAM来合成伪回放轨迹。通过生成式回放让策略复习之前学习的任务。

📊 效果

在仿真和真实世界操作设置中，REGEN将灾难性遗忘降低了高达50%（相对于顺序微调），同时接近需要真实回放数据的特权经验回放方法的性能。识别出生成回放的主要瓶颈：长时程视觉退化和动作-观察不一致。

🤖 AI 评价

这篇论文将世界模型的生成能力与持续学习巧妙结合，REGEN框架在减少存储需求的同时有效缓解了灾难性遗忘。50%的遗忘减少是显著的改进。分析生成回放限制因素（长时程视觉退化和动作-观察不一致）为后续研究指明了方向。然而，方法依赖于WAM的生成质量，如果WAM本身不够准确，伪回放可能引入错误信号。整体而言，这是世界模型在机器人持续学习中很有前景的应用。

标签: 持续学习, 世界模型, 机器人模仿学习, 灾难性遗忘

8. Don’t Settle at the Mode! Mitigating Diversity Collapse in Pretrained Flow Models via Feature Self-Guidance

作者: Pradhaan S Bhat, Rishubh Parihar, Abhijnya Bhat, R. Venkatesh Babu
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2606.27371v1
类别: cs.CV

🔍 核心内容

提出了一种高效、无需训练的自引导机制，通过特征自引导来缓解预训练流模型在相同条件下生成多样样本时的多样性崩溃问题。方法在批次生成期间分散流模型的内部特征，并通过流形正则化将这些分散特征投影回数据流形。

❓ 解决的问题

最先进的流模型在文本或图像提示下生成图像时存在多样性崩溃问题——在相同条件下生成多个样本时多样性不足。现有方法要么通过潜在引导（效果有限），要么依赖外部奖励模型（推理开销大）。

🛠️ 方法

设计了特征自引导机制：在批次生成期间分散流模型的内部特征，并引入流形正则化步骤将分散特征投影回数据流形，确保多样化生成同时不牺牲与输入条件的对齐。作为即插即用模块集成到预训练流模型中。

📊 效果

在多个条件流模型（包括多步和少步文本到图像、深度到图像和参考图像生成）上，显著改善了多样性同时保持了保真度，仅增加边际推理成本。

🤖 AI 评价

这篇论文针对流模型多样性崩溃问题提出了一个优雅的解决方案。核心优势在于完全无需训练和外部奖励模型，仅通过内部特征操作即可实现多样性提升。流形正则化的设计确保分散的特征不会脱离数据分布。作为即插即用模块的实用性很高。不过，多样性提升的具体量化指标和与现有方法的详细对比可以更充分。对于需要批量生成多样图像的应用场景（如创意设计和数据增强），这个方法很有实用价值。

标签: 流模型, 图像生成, 多样性, 自引导, 无需训练

9. PhysiFormer: Learning to Simulate Mechanics in World Space

作者: Yiming Chen, Yushi Lan, Andrea Vedaldi
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2606.27364v1
类别: cs.CV

🔍 核心内容

提出了PhysiFormer，一种用于物理合理3D物体运动的扩散Transformer。与在视图相关像素空间中操作的视频世界模型不同，PhysiFormer将物体表示为世界坐标中的3D网格，给定初始顶点位置、速度和材料类型（刚性或弹性），采样未来顶点轨迹。

❓ 解决的问题

现有的视频世界模型在视图相关的像素空间中操作，难以捕获物理世界中的3D几何和力学规律。神经物理方法通常依赖特定的潜在空间或显式强制刚性和因果性。如何直接在世界坐标中学习物理合理的运动？

🛠️ 方法

将顶点轨迹预测建模为世界坐标中的单一去噪扩散过程，无需特定的归纳偏置。概率公式捕获学习动态中的不确定性，使模型能够从初始条件生成多样合理的未来。注意力在时间上、空间上和物体间分解，实现置换不变的多物体推理。

📊 效果

在超过10万条模拟轨迹上训练，生成刚性和弹性力学，并泛化到混合材料设置、未见过的真实世界几何和更多物体数量。在轨迹精度、刚性保持和基于动量的物理一致性方面显著优于自回归基线。

🤖 AI 评价

PhysiFormer代表了世界模型从像素空间到世界坐标空间的重要转变。直接在3D世界坐标中进行扩散建模的想法简洁而强大，避免了视图相关性的限制。置换不变的多物体推理设计也很巧妙。不过，模型目前仅在模拟数据上训练，在真实世界数据上的泛化能力有限。对于机器人、图形学和物理设计应用，这是一个很有前景的方向，但需要更多真实世界验证。

标签: 世界模型, 物理模拟, 扩散模型, 3D运动, 机器人

10. DnA: Denoising Attention for Visual Tasks

作者: Ron Campos, Subhajit Maity, Xin Li, Srijan Das, Aritra Dutta
评分: ⭐⭐⭐ (7/10)
链接: http://arxiv.org/abs/2606.27372v1
类别: cs.CV

🔍 核心内容

提出了DnA（Denoising Attention），一种新型的注意力机制，通过正负查询分别识别正确类别特征和相关但无关特征，然后将这些交互投影到具有更大主角度的两个不同子空间中，促进子空间分离和判别能力提升。

❓ 解决的问题

标准softmax激活的多头注意力在视觉感知任务中是事实标准，但softmax容易产生噪声注意力模式，稀释相关特征并降低性能。如何设计一种能够去噪的注意力机制？

🛠️ 方法

DnA首先使用正查询识别属于正确类别的图像特征，负查询识别密切相关但不相关的特征。然后将这些交互投影到两个具有更大主角度的不同子空间中，促进子空间分离。这种设计天然具有去噪效果。

📊 效果

使用ViT-B骨干网络，DnA在ImageNet-1K上相比基线获得0.8%的绝对提升。在视频理解（视频transformer提升1.8%，视频LLM提升0.5%）等多个视觉理解任务上也展示了改进。

🤖 AI 评价

DnA是一个简洁而有效的注意力改进。通过引入正负查询和子空间分离，直接解决了softmax注意力中的噪声问题。主角度最大化的设计具有良好的数学基础。实验结果虽然提升幅度不算巨大（ImageNet上0.8%），但在多个任务上的一致性改进证明了方法的通用性。作为一个即插即用的注意力模块，DnA可以方便地集成到现有视觉模型中。不过，论文未详细分析计算开销的增加，这在实际部署中是一个考虑因素。

标签: 注意力机制, 视觉Transformer, 图像分类, 视频理解

📈 今日统计

论文总数: 10 篇
数据来源: ArXiv RSS (cs.AI, cs.LG, cs.CL, cs.CV, cs.RO)
更新时间: 2026-06-27

本报告由 AI 自动生成，仅供参考。论文观点不代表本站立场。