ArXiv 每日论文精选 | 2026-06-29

3-minute read
AI的感想
arXiv • 论文阅读 • AI研究 • 每日精选 • 机器学习

📚 ArXiv 每日论文精选 | 2026-06-29

自动精选今日 ArXiv 最新 AI/ML 论文，AI 深度解读核心内容、方法、效果与评价。

1. Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards

作者: Ritesh Thawkar, Shravan Venkatraman, Omkar Thawakar, Abdelrahman Shaker, Fahad Khan, Hisham Cholakka…
评分: ⭐⭐⭐⭐ (9/10)
链接: http://arxiv.org/abs/2606.27376v1
类别: cs.CV

🔍 核心内容

提出自进化训练框架，让统一多模态模型仅使用无标签图像即可自主提升视觉理解和图像生成能力。框架内设Proposer、Solver和Generator三个角色，通过自一致性信号进行训练，无需任何人工标注或外部奖励模型。

❓ 解决的问题

现有统一多模态模型在支持视觉理解和图像生成时，仍依赖人工标注、偏好标签或外部奖励模型进行后训练监督，限制了模型的自主进化能力和数据利用效率。

🛠️ 方法

设计三个内部角色：Proposer生成视觉问题，Solver回答和评估，Generator合成图像。引入Solver Token Entropy（STE）作为基于token级预测不确定性的连续难度信号。图像生成采用多尺度内部评估，结合问答保真度评分和循环一致描述。

📊 效果

在8个理解指标上持续超越基线模型。BAGEL上MMMU绝对提升3.5%，GenEval图像生成从82%提升至85%。框架适用于扩散、修正流和自回归三种架构。

🤖 AI 评价

纯自监督自进化框架是重要突破，摆脱对外部监督和奖励模型的依赖。跨架构通用性证明其方法论价值。但自一致性奖励可能存在上限，且多角色设计增加了训练复杂度。整体是对多模态自训练领域的有力贡献。

标签: 多模态模型, 自监督学习, 自进化, 视觉理解

2. Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models

作者: Shravan Venkatraman, Ritesh Thawkar, Omkar Thawakar, Rao Muhammad Anwer, Hisham Cholakkal, Salman Kh…
评分: ⭐⭐⭐⭐ (9/10)
链接: http://arxiv.org/abs/2606.27373v1
类别: cs.CV

🔍 核心内容

提出VISE（视觉不变性自进化）框架，针对自进化多模态模型中的视觉欠条件问题。通过几何不变性和语义不变性奖励直接正则化模型的视觉条件策略，无需外部模型或标注。

❓ 解决的问题

现有自进化LMM通过自一致性奖励优化答案一致性，但无法确保解码器关注视觉内容，导致依赖语言先验而非图像的’视觉欠条件’现象。在图像描述和视觉问答等任务上表现不佳。

🛠️ 方法

几何不变性奖励：在已知变换下强制空间一致性。语义不变性奖励：当预测区域被扰动时要求模型识别证据缺失，惩罚证据无关生成。单模型运行，无需专家角色或外部奖励。

📊 效果

Qwen3-VL-2B上COCO CIDEr提升+16.85，TextCaps提升+19.66，物体幻觉减少5.0 Chair-I点。在18个基准上验证，推广到4个模型家族和不同规模。

🤖 AI 评价

诊断精准（视觉欠条件）且方法简洁有力。纯无监督设计，不依赖外部资源，推广性极强。效果提升显著，尤其是在幻觉减少方面。论文与第2篇（Ask, Solve, Generate）来自同一团队，形成互补：前者解决自进化中的视觉注意力问题，后者解决整体框架设计。

标签: 多模态模型, 自监督学习, 视觉注意力, 幻觉减少

3. DanceOPD: On-Policy Generative Field Distillation

作者: Wei Zhou, Xiongwei Zhu, Zelin Xu, Bo Dong, Lixue Gong, Yongyuan Liang, Meng Chu, Leigang Qu, Lingdon…
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2606.27377v1
类别: cs.LG

🔍 核心内容

提出一种在线策略生成场蒸馏框架，针对流匹配模型实现文本到图像、局部编辑和全局编辑等多种能力的统一与协同训练。通过将每个能力源定义为共享流状态空间上的速度场，学生模型从自身rollout状态查询专家场进行学习组合。

❓ 解决的问题

现代图像生成模型需要同时具备文本生成、局部编辑和全局编辑能力，但这些能力往往相互冲突。编辑操作会损害文本生成质量，不同编辑类型也会相互干扰，多能力有效组合成为训练核心挑战。

🛠️ 方法

采用在线策略生成场蒸馏，将每个样本路由到对应能力场，查询低噪声学生诱导状态，使用速度MSE目标训练。框架还能吸收操作者定义场如CFG。学生从自身轨迹状态查询专家场进行学习，避免分布偏移。

📊 效果

在文本到图像、编辑、真实感场吸收和CFG吸收等实验中，方法改善了多能力组合效果，在增强目标能力的同时保持锚定生成质量，为目标能力提供有效提升。

🤖 AI 评价

这项工作为多能力统一图像生成提供了实用的蒸馏路径。创新点在于将能力表达为速度场并通过在线策略学习组合，避免了传统方法中能力冲突的问题。框架简洁且可扩展，但实验规模相对有限，未来需要在更大规模模型上验证。

标签: 图像生成, 流匹配模型, 知识蒸馏, 多任务学习

4. World Action Models Enable Continual Imitation Learning with Recurrent Generative Replays

作者: Manish Kumar Govind, Dominick Reilly, Smit Patel, Hieu Le, Srijan Das
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2606.27374v1
类别: cs.CV

🔍 核心内容

基于世界动作模型（WAM）的REGEN框架，通过生成式伪回放缓冲实现持续模仿学习。机器人无需存储原始人类演示，即可通过WAM合成的伪回放轨迹复习先前任务。

❓ 解决的问题

持续学习中的灾难性遗忘问题。现有方法需要存储原始演示数据用于回放，存储成本高且涉及隐私问题。如何在无存储演示条件下保持已学技能是核心挑战。

🛠️ 方法

REGEN递归查询WAM合成伪回放轨迹，仅基于先前任务指令和当前任务观察作为条件。WAM生成未来视觉观察的能力被用于生成伪演示，策略在合成轨迹上复习。

📊 效果

在仿真和真实操作场景中，REGEN相对于顺序微调减少灾难性遗忘达50%，性能接近需要真实回放数据的特权方法。识别出长期视觉退化和动作-观察不一致是主要瓶颈。

🤖 AI 评价

生成式回放是巧妙创意，解决了一个被忽视但重要的实际问题——无需存储演示的持续学习。WAM作为基础模型的应用前景广阔。但生成回放的质量瓶颈（长期退化）需要进一步解决。整体是机器人持续学习的里程碑式工作。

标签: 持续学习, 世界模型, 机器人模仿学习, 灾难性遗忘

5. Don’t Settle at the Mode! Mitigating Diversity Collapse in Pretrained Flow Models via Feature Self-Guidance

作者: Pradhaan S Bhat, Rishubh Parihar, Abhijnya Bhat, R. Venkatesh Babu
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2606.27371v1
类别: cs.CV

🔍 核心内容

提出无需训练的特征自引导机制，解决预训练流模型在相同条件下生成多样样本时的多样性崩溃问题。通过分散内部特征并引入流形正则化，在保持保真度的同时提升多样性。

❓ 解决的问题

流模型在相同条件下生成多个样本时存在多样性崩溃，即生成结果趋于相似。现有方法通过潜在引导（效果有限）或样本选择（依赖外部奖励模型，推理开销大）解决。

🛠️ 方法

批量生成时分散流模型的内部特征（特征自引导），并引入流形正则化步骤将分散特征投影回数据流形。作为即插即用模块集成到预训练流模型，仅增加少量推理成本。

📊 效果

在多个条件流模型（多步/少步文本到图像、深度到图像、参考图像生成）上显著改善多样性，同时保持保真度。

🤖 AI 评价

非常实用的即插即用方案，无需训练或外部奖励模型，对实际部署友好。解决的是流模型应用中的真实痛点。方法简洁但有效，‘特征分散+流形投影’的组合直觉清晰。与DanceOPD（第1篇）都关注流匹配/流模型，但分别解决不同问题。

标签: 流模型, 多样性生成, 自引导, 图像生成

6. Reinforcement Learning without Ground-Truth Solutions can Improve LLMs

作者: Yingyu Lin, Qiyue Gao, Nikki Lijing Kuang, Xunpeng Huang, Kun Zhou, Tongtong Liang, Zhewei Yao, Yi-A…
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2606.27369v1
类别: cs.LG

🔍 核心内容

提出RiVER框架，在无需真实答案的评分优化任务上训练LLM，使用确定性执行反馈作为连续值监督。通过排名诱导的奖励校准解决规模主导和频率主导问题。

❓ 解决的问题

RLVR（可验证奖励强化学习）通常依赖真实答案分配奖励，限制了在未知真实答案任务（如启发式优化）中的应用。

🛠️ 方法

排名诱导可验证框架：使用实例级比较进行校准奖励塑形，强调排名靠前的解算器同时保留其他有效解的有界反馈。解决规模主导（未校准分数幅度扭曲策略更新）和频率主导（次优解重复采样压倒稀有强候选）问题。

📊 效果

Qwen3-8B和GLM-Z1-9B-0414在ALE评分上分别提升8.9%和9.4%。在仅使用评分任务训练的情况下，在LiveCodeBench和USACO等精确解基准上分别提升2.4%和3.5%。

🤖 AI 评价

拓展了RLVR的应用边界，从’有正确答案’到’仅有评分反馈’。奖励校准方法有深刻的理论洞察。实验设计严谨，证明了评分优化任务对通用编程能力的迁移价值。‘无真实答案’表述略有误导，实际有确定性执行反馈。

标签: 强化学习, LLM训练, 代码生成, 奖励校准

7. PhysiFormer: Learning to Simulate Mechanics in World Space

作者: Yiming Chen, Yushi Lan, Andrea Vedaldi
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2606.27364v1
类别: cs.CV

🔍 核心内容

提出PhysiFormer，一个在世界坐标中直接预测3D网格顶点轨迹的扩散Transformer。无需刚性或因果关系的归纳偏置，通过单一去噪扩散过程实现物理合理的3D物体运动模拟。

❓ 解决的问题

视频世界模型在视角相关的像素空间操作，缺乏几何感知和视角不变性。现有神经物理方法依赖临时潜在空间或显式刚性约束，限制了泛化能力。

🛠️ 方法

在世界坐标中表示3D网格，给定初始顶点位置、速度和材质类型，采样未来顶点轨迹。注意力分解到时间、空间和物体上实现高效推理，无需显式物体编码即可实现置换不变的多物体推理。

📊 效果

在10万+模拟轨迹上训练，生成刚体和弹性力学。在轨迹精度、刚性保持和动量物理一致性上大幅超越自回归基线。泛化到混合材质、未见真实几何和更多物体。

🤖 AI 评价

坐标空间扩散是创新的世界建模方向，对机器人、图形学和物理设计具有深远意义。视角不变性和几何感知是其核心优势。但缺乏与真实物理引擎的定量对比，且10万轨迹规模在实际应用中可能仍显不足。

标签: 物理模拟, 世界模型, 3D几何, 扩散模型

8. Autoregressive Boltzmann Generators

作者: Danyal Rehman, Charlie B. Tan, Yoshua Bengio, Avishek Joey Bose, Alexander Tong
评分: ⭐⭐⭐⭐ (8/10)
链接: http://arxiv.org/abs/2606.27361v1
类别: cs.AI

🔍 核心内容

提出自回归Boltzmann生成器（ArBG），用自回归模型替代归一化流进行分子系统热力学平衡采样。利用LLM架构的可扩展性，在保持精确似然的同时增强表达力和推理灵活性。

❓ 解决的问题

Boltzmann生成器（BG）主要依赖归一化流，但受限于可逆性约束（离散时间表达力受限）或计算昂贵的似然（连续时间）。流的拓扑约束也限制了采样灵活性。

🛠️ 方法

自回归建模框架，绕过流的拓扑约束，实现序列推理时间干预。利用LLM架构实现增强的可扩展性。保持精确似然和重要性采样校正的核心BG优势。

📊 效果

在所有基准上超越流模型，在10残基Chignolin等更大肽系统上显著改进。Robin模型（132M参数）在8残基系统上零样本能量误差降低60%以上。

🤖 AI 评价

ArBG是BG领域的重要范式转变，从流到自回归的迁移直觉清晰。Bengio参与的工作，将LLM架构引入分子物理模拟有前瞻意义。但自回归的序列生成可能在大分子系统上面临效率挑战。Robin模型的可迁移性是亮点。

标签: 分子模拟, 自回归模型, 统计物理, 生成模型

9. Scalable Behavior Cloning with Open Data, Training, and Evaluation

作者: Arthur Allshire, Himanshu Gaurav Singh, Ritvik Singh, Adam Rashid, Hongsuk Choi, David McAllister, J…
评分: ⭐⭐⭐ (7/10)
链接: http://arxiv.org/abs/2606.27375v1
类别: cs.RO

🔍 核心内容

ABC全开源机器人操作栈，包含ABC-130K数据集（3500小时、130K集数、195个任务），配套硬件、训练基础设施和模拟管道。探索Diffusion Transformers和VLA模型的训练配方，并在真实世界评估。

❓ 解决的问题

机器人行为克隆领域缺乏大规模开源数据集和可复现的训练评估基础设施，研究者难以在同等条件下比较不同方法，限制了领域进步。

🛠️ 方法

开源ABC-130K遥操作数据集、硬件设置、训练代码和模拟管道。提供400小时仿真遥操作数据和协同训练方案，实现仿真与真实评估的相关性。系统比较DiT和VLA架构的训练配方。

📊 效果

策略成功执行精细操作如折叠盒子和从钱包中取信用卡。提供可复现工具包，让研究者能在同等基础上比较方法。

🤖 AI 评价

这是社区急需的基础设施贡献，ABC-130K是目前最大开源遥操作数据集。方法创新有限，但工程和数据贡献意义重大。协同训练方案是亮点，为仿真到真实迁移提供可靠代理。对机器人学习民主化有积极推动作用。

标签: 机器人学习, 行为克隆, 开源数据集, VLA模型

10. DnA: Denoising Attention for Visual Tasks

作者: Ron Campos, Subhajit Maity, Xin Li, Srijan Das, Aritra Dutta
评分: ⭐⭐⭐ (7/10)
链接: http://arxiv.org/abs/2606.27372v1
类别: cs.CV

🔍 核心内容

提出去噪注意力（DnA），通过正负查询机制识别正确类特征和相关但无关特征，并将交互投影到主角度更大的两个不同子空间，增强判别性和去噪效果。

❓ 解决的问题

标准softmax注意力在视觉感知任务中会产生噪声注意力模式，稀释相关特征，降低性能。如何设计更干净的注意力机制是视觉Transformer的核心问题。

🛠️ 方法

正查询识别属于正确类的图像特征，负查询识别密切相关但无关的特征。通过将两组交互投影到具有更大主角度的两个不同子空间，促进子空间分离和判别性提升。

📊 效果

ViT-B在ImageNet-1K上绝对提升0.8%，视频理解视频Transformer提升1.8%，视频LLM提升0.5%。广泛的实证分析验证了双交互子空间和去噪效果的设计选择。

🤖 AI 评价

简单有效的注意力改进，有清晰的可解释性。子空间分离思想有理论美感。但提升幅度相对有限，属于渐进式创新。在视频任务上的提升比图像任务更显著，可能更适合时序建模场景。

标签: 注意力机制, 视觉识别, 子空间分离, 去噪

📈 今日统计

  • 论文总数: 10 篇
  • 数据来源: ArXiv RSS (cs.AI, cs.LG, cs.CL, cs.CV, cs.RO)
  • 更新时间: 2026-06-29

本报告由 AI 自动生成，仅供参考。论文观点不代表本站立场。