论文清单：具身数据、VLA、WM、MBRL、WAM 与 Robot Agent¶
📚 按问题和方法阅读论文，先建立主线，再补充相邻方向。
预计阅读：20 min
前置知识：模型基础、机器人学基础和 RL 基础
下一步：具身数据 · Robot Agent · 知识图谱 · WM 专题 · Benchmark 指南
本文路线：模型基础 → 具身数据与 VLA → WM/WAM → Robot Agent → MBRL → Offline/Online RL → 评测
阅读标记¶
- S0｜必读：建立共同语言，建议精读摘要、方法图、损失函数和实验结论。
- S1｜主线：按研究方向选择精读。
- S2｜扩展：遇到具体问题时再读。
S0｜模型基础¶
这些论文先于具体 VLA/WM 论文阅读，用来建立“backbone、训练目标、采样器”三者的边界。配套的张量流见 模型基础。
| 原语 | 论文 | 为什么读 | 代码入口 |
|---|---|---|---|
| Transformer | Attention Is All You Need | self-attention、位置编码、causal mask 与序列建模骨架 | Transformers |
| Diffusion | Denoising Diffusion Probabilistic Models | 前向加噪、反向去噪、噪声预测目标与采样 | Diffusers |
| Flow Matching | Flow Matching for Generative Modeling | probability path、条件速度场和 ODE 生成 | Flow Matching |
| DiT | Scalable Diffusion Models with Transformers | Transformer 作为扩散/视频生成 backbone 的实现范式 | DiT |
S0｜最短主线¶
| 顺序 | 论文 | 为什么读 | 入口 |
|---|---|---|---|
| 1 | Reinforcement Learning: An Introduction, 2nd ed. | MDP、价值函数、TD、策略梯度的统一底座 | Book PDF |
| 2 | Offline Reinforcement Learning: Tutorial, Review, and Perspectives | 理解固定数据集、分布偏移与保守学习 | arXiv |
| 3 | World Models | 理解 latent dynamics + controller 的经典 MBRL 前身 | arXiv · Project |
| 4 | Diffusion Policy | 机器人动作生成、action chunk 与多峰行为的代表作 | arXiv · Code |
| 5 | π0: A Vision-Language-Action Flow Model for General Robot Control | 理解 VLM backbone、flow matching action expert 与通用策略 | arXiv · Project |
| 6 | π0.5: A Vision-Language-Action Model with Open-World Generalization | 异构协同训练、高层语义与开放世界长时程泛化 | arXiv · Project · Code |
| 7 | V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning | 现代 JEPA 世界表征、物理理解与预测能力 | arXiv · Code |
| 8 | World Action Models: The Next Frontier in Embodied AI | 用级联式/联合式框架建立 WAM 的系统分类 | arXiv · Resources |
| 9 | Fast-WAM: Do World Action Models Need Test-time Future Imagination? | 区分训练期视频建模收益和测试期显式想象成本 | arXiv · Project · Code |
| 10 | StarVLA: A Lego-like Codebase for Vision-Language-Action Model Developing | 把 VLA 研究拆为可替换 backbone、action head、训练与部署模块 | arXiv · Code |
| 11 | RLinf: Flexible and Efficient Large-scale Reinforcement Learning via Macro-to-Micro Flow Transformation | 理解 VLA/基础模型 RL 后训练的系统问题 | arXiv · Code |
S1｜VLA 与动作策略¶
| 论文 | 关键点 | 入口 |
|---|---|---|
| OpenVLA: An Open-Source Vision-Language-Action Model | 开源 VLA 训练、微调与评测范式 | arXiv · Code |
| OpenVLA-OFT: An Open-Source Fine-Tuning Recipe for OpenVLA | OpenVLA 的高效微调与推理优化 | Code |
| π0.5: A Vision-Language-Action Model with Open-World Generalization | 异构机器人数据协同、语义子任务与开放世界泛化 | arXiv · Code |
| Open X-Embodiment: Robotic Learning Datasets and RT-X Models | 跨本体数据混合与通用策略 | arXiv · Project |
| Octo: An Open-Source Generalist Robot Policy | 开源通用策略、数据混合与轻量适配 | arXiv · Code |
| Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (ACT) | 动作分块与 CVAE 在双臂长序列控制中的作用 | arXiv · Code |
| Diffusion Policy | 以条件去噪建模多峰连续动作分布 | arXiv · Code |
| A Survey on Vision-Language-Action Models for Embodied AI | 从组件、训练目标、任务和架构补齐全景 | arXiv |
近两年新增工作¶
下面这些工作更接近当前工程问题：模型太大、推理太慢、历史信息没用好，或者还不会提前考虑接触和后续动作。
| 论文 | 它在解决什么问题 | 入口 |
|---|---|---|
| GR00T N1: An Open Foundation Model for Generalist Humanoid Robots（2025） | 用视觉语言模块理解任务，再用 diffusion transformer 生成连续动作；同时混合真实轨迹、人类视频和合成数据 | arXiv · NVIDIA 项目页 |
| Gemini Robotics: Bringing AI into the Physical World（2025） | 将通用多模态模型扩展为直接控制机器人的 VLA，并讨论跨本体适配和具身推理 | arXiv |
| SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics（2025） | 用更小的模型和异步推理降低训练、显存和部署成本，适合先在普通 GPU 上跑通 | arXiv · LeRobot |
| MolmoAct: Action Reasoning Models that can Reason in Space（2025） | 在低层动作前加入可编辑的空间轨迹/中层计划，让策略更容易解释和调整 | arXiv |
| TemporalFlow-VLA: Learning Physically Grounded Execution History for Long-Horizon Robot Manipulation（2026，预印本） | 不只堆历史图像，而是用机器人状态和几何信息训练“执行历史”表征，再服务长时程动作预测 | arXiv |
| FlashVLA: Streaming Action Decoding for Fast and Asynchronous VLA Inference（2026，预印本） | 把不同噪声阶段的动作 chunk 放进流式缓冲区，边执行边解码，目标是降低 flow-matching VLA 的等待时间 | arXiv |
| PHR-VLA: Planning Horizon Reasoning for Vision-Language-Action Models（2026，预印本） | 训练时用未来局部动力学表征监督 VLA，让模型在接触和细粒度操作前多看一步 | arXiv |
S1｜World Model：像素、latent 与 3D/4D¶
| 论文 | 关键点 | 入口 |
|---|---|---|
| V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning | 预测 latent representation 而不是逐像素重建，并连接物理理解与规划 | arXiv · Code |
| Genie: Generative Interactive Environments | 从视频学习可交互的潜在环境与动作条件未来 | arXiv · Project |
| Latent Particle World Models: Self-supervised Object-centric Stochastic Dynamics Modeling（2026，预印本） | 从视频自监督发现对象粒子，以粒子级 latent action 建模随机动态，并支持语言/目标图像条件 | arXiv · Project · Code |
| GWM: Towards Scalable Gaussian World Models for Robotic Manipulation（2025） | 用 latent DiT + 3D VAE 预测动作作用下 Gaussian primitives 的传播，连接 3D 视频预测、模仿学习和 MBRL | arXiv · Project · Code |
| VGGT: Visual Geometry Grounded Transformer | 多视图几何、相机和 3D 场景表征，可作为 3D WM 的结构化前端 | arXiv · Code |
| OccWorld: Learning a 3D Occupancy World Model for Autonomous Driving（2023） | 用离散 occupancy token 和时空 Transformer 预测未来场景与 ego trajectory | arXiv · Code |
| DOME: Taming Diffusion Model into High-Fidelity Controllable Occupancy World Model（2024） | 用时空 diffusion 生成可控的未来 occupancy，强调长时程和轨迹条件 | arXiv · Project |
| PreWorld: Semi-Supervised Vision-Centric 3D Occupancy World Model（2025） | 用 2D 监督辅助 3D occupancy、4D forecasting 和 motion planning | arXiv |
| Delta-Triplane Transformers as Occupancy World Models（2025） | 预测紧凑 triplane 的增量，降低 4D occupancy 的生成成本 | arXiv |
| RoboOccWorld: Occupancy World Model for Robots（2025） | 面向室内机器人场景的 occupancy evolution 与相机位姿条件预测 | arXiv |
| FR3D: Future Dynamic 3D Reconstruction（2026，预印本） | 把相机自运动与环境变化解耦，预测持久 3D latent 的未来动态重建 | arXiv · Project |
| PhysMani: Physics-principled 3D World Model for Dynamic Object Manipulation（2026，预印本） | 学习无散 Gaussian velocity field，并把预测的 3D 动态接入操作策略 | arXiv · Code |
| 3D-Belief: Embodied Belief Inference via Generative 3D World Modeling（2026，预印本） | 在 3D 中维护多假设 belief，更新未观测区域并评测导航/操作 | arXiv |
| IRIS: Transformers are Sample-Efficient World Models（2022） | 离散 VAE + 自回归 Transformer，在 Atari100k 中用少量交互学习可 rollout 的环境模型 | arXiv · Code |
| DIAMOND: Diffusion for World Modeling（2024） | 用像素 diffusion 建模环境未来，研究视觉细节对模型内 RL 的影响 | arXiv · Code · Project |
| Dynalang: Learning to Model the World with Language（2023） | 让描述环境规律的语言参与未来视觉/文本表征预测，并用 imagined rollout 学策略 | arXiv · Code |
| Learning to Simulate Complex Physics with Graph Networks（GNS，2020） | 用粒子图和消息传递学习流体、刚体和可变形物体动力学 | arXiv · Code |
| GAIA-1: A Generative World Model for Autonomous Driving（2023） | 用视频、文本和动作 token 生成可控驾驶场景 | arXiv |
| DriveDreamer: Towards Real-world-driven World Models for Autonomous Driving（2023） | 先学习交通结构约束，再用 diffusion 预测真实驾驶未来 | arXiv · Code |
| Dream to Manipulate: Compositional World Models Empowering Robot Imitation Learning with Imagination（DreMa，2024） | 用 Gaussian Splatting + 物理模拟器构造可组合数字孪生，生成反事实机器人数据 | arXiv · Project |
| Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics（2025） | 用双自回归机制学习部分可观测随机动力学，并在模型中做策略优化 | arXiv |
| DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos（2026，预印本） | 从大规模人类视频学习连续 latent action，再用少量机器人数据校准动作可控性 | arXiv · Project |
| PlayWorld: Learning Robot World Models from Autonomous Play（2026，预印本） | 用机器人自主探索收集长尾接触和失败数据，训练更可靠的操作视频 WM | arXiv · Project |
| World-VLA-Loop: Closed-Loop Learning of Video World Model and VLA Policy（2026，预印本） | 联合预测未来帧和 reward，并让更新后的策略轨迹回流继续校准 WM | arXiv |
| JEDI: Joint Embedding Diffusion World Model for Online MBRL（2026，预印本） | 在联合 embedding 中端到端学习 diffusion dynamics，兼顾 JEPA 表征和多模态 rollout | arXiv |
| Causal-JEPA: Learning World Models through Object-Level Latent Masking（2026，预印本） | 在对象 latent 上做遮挡预测，逼迫模型利用交互关系而非背景捷径 | arXiv · Code |
| WorldEcho / WorldSync: Do Robotic World Models Really Follow Actions?（2026，预印本） | 用 off-expert action、视觉完整性和 \(SE(3)\) 轨迹对齐检查动作跟随，并改进动作干预一致性 | arXiv |
| ReWorld: An Interactive World Model with Long-Horizon Memory（2026，预印本） | 用混合 attention 和位姿索引记忆库兼顾短期交互与长时程回访 | arXiv |
| Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Models（PETS，2018） | 用概率 dynamics ensemble 和 trajectory sampling 将不确定性纳入模型预测控制 | arXiv |
| DayDreamer: World Models for Physical Robot Learning（2022） | 把 Dreamer 直接放到真实四足、机械臂和移动机器人上在线学习，说明 WM 不一定只在仿真器里训练 | arXiv · Project |
| SlotFormer: Unsupervised Visual Dynamics Simulation with Object-Centric Models（2022） | 在无对象标签的 slot 表征上建模对象关系和未来状态，可用于 VQA、目标条件规划和模型内决策 | arXiv · Project |
| FOCUS: Object-Centric World Models for Robotics Manipulation（2023） | 用对象中心 WM 产生探索奖励，主动寻找机器人-物体交互，而不是只拟合专家轨迹 | arXiv |
| IRASim: A Fine-Grained World Model for Robot Manipulation（2024） | 在视频扩散 Transformer 的每个 block 注入逐帧动作条件，专门改善机械臂与物体接触的时序对齐 | arXiv |
| FlowDreamer: A RGB-D World Model with Flow-based Motion Representations for Robot Manipulation（2025） | 先预测显式 3D scene flow，再生成未来 RGB-D；把运动几何从渲染过程里单独拿出来建模 | arXiv |
| WorldEval: World Model as Real-World Robot Policies Evaluator（2025） | 用 latent action 驱动视频 WM，在线比较真实机器人策略和 checkpoint；重点是策略评测，不是替代真实执行 | arXiv · Project |
| WorldGym: World Model as An Environment for Policy Evaluation（2025） | 用动作条件视频 WM 做 Monte Carlo policy rollout，并检验模型内排名与真实成功率的相关性 | arXiv |
| H-WM: Robotic Task and Motion Planning Guided by Hierarchical World Model（2026，预印本） | 将高层逻辑状态预测和低层视觉状态预测分开，再用层级中间目标减少长时程误差累积 | arXiv |
| ViTacWorld: Scaling Visuo-Tactile World Models for Contact-Rich Robot Manipulation（2026，预印本） | 同时预测视觉和触觉未来，服务接触丰富任务的数据扩增与策略评测；提醒读者相机看不到的接触信息也要建模 | arXiv · Project |
| Robot-Factored World Models via Robot Rendering（2026，预印本） | 将 action 先通过控制器和 URDF 渲染成机器人几何，再让 WM 学习物体响应，减少动作执行过程和未来状态泄漏 | arXiv |
| Bird's Eye View Based Pretrained World model for Visual Navigation（2023） | 在 BEV 表征上预训练导航世界模型，说明移动机器人 WM 可以预测地图/视角演化，而不只生成第一视角视频 | arXiv |
| A Comprehensive Survey on World Models for Embodied AI | 从表征、时间建模、空间建模和决策用途区分 WM 路线 | arXiv |
这里的 WM 是广义环境表征/预测/生成范式；JEPA、视频、物理模拟和 3D/4D 路线不要求自带 planner 或 actor-critic。Occupancy、驾驶、游戏和动态重建论文常来自不同领域，阅读时要核对动作格式、坐标系和任务类型。只有加入动作条件与决策收益证据，才应进一步主张其控制价值。
S1｜WAM：世界与动作联合建模¶
WAM 关注的是“未来世界表征”和“机器人动作”是否在同一个闭环里。下面的工作分别代表三种近期路线：用人类视频做任务条件、异步地想象未来、或者直接把世界演化和动作写进一个因果模型。
| 论文 | 关键点 | 入口 |
|---|---|---|
| Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization（2026，预印本） | 把人类视频当成新任务的上下文提示，不更新参数也能尝试未见任务 | arXiv |
| WAM-TTT: Steering World-Action Models by Watching Human Play at Test Time（2026，预印本） | 冻结 WAM，只用无标注的人类视频更新轻量记忆，在测试时改变任务偏好 | arXiv |
| GlanceWAM: Sparse Test-Time Imagination for World-Action Models（2026，预印本） | 把未来想象放到控制关键路径之外，后台生成少量前瞻表征，避免同步视频生成拖慢动作 | arXiv |
| Riemann-1.0: An Embodied World Action Model for Physical AI（2026，预印本） | 用统一的因果序列同时建模多视角视觉、机器人状态和动作，把策略与可交互世界模拟放进一个模型 | arXiv |
| Making Latent Evolution Explicit: Operator-Structured Transitions for World Action Models（2026，预印本） | 用结构化算子描述 latent 的演化，试图让 WAM 的状态转移更容易分析和控制 | arXiv |
S1｜Robot Agent：工具编排、记忆与恢复¶
Robot Agent 位于 VLA/WAM 和任务执行之间。阅读时重点看 planner 能调用哪些类型化工具、执行结果如何回流、记忆如何写入和检索，以及提升是否来自更好的编排而不是更大的调用预算。工程边界和公平基线见 Robot Agent 专题。
| 论文/项目 | 关键点 | 入口 |
|---|---|---|
| Harness VLA: Steering Frozen VLAs into Reliable Manipulation Primitives via Memory-Guided Agents（2026，预印本） | 冻结 VLA，通过 reference-seed exploration 学习原语调用、Task Specific Memory、Global Memory 和失败恢复 | arXiv · Project |
| RPent: Agentic Infrastructure for the Physical World | 将感知、推理、记忆、VLA/WAM/解析原语和环境执行拆为可组合服务；适合沿代码追踪完整 physical-agent 闭环 | Code · Docs |
S1｜Model-based RL¶
| 论文 | 关键点 | 入口 |
|---|---|---|
| World Models | latent dynamics 与 controller 的经典 MBRL 前身 | arXiv · Project |
| PlaNet: Learning Latent Dynamics for Planning from Pixels | 从像素学习潜空间动力学并做在线规划 | arXiv |
| Dream to Control: Learning Behaviors by Latent Imagination | 在潜空间 imagined rollout 上学习 actor-critic | arXiv |
| DreamerV3: Mastering Diverse Domains through World Models | 统一超参数、跨域扩展与稳定训练 | arXiv · Code |
| MuZero: Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model | 只学习决策所需的动态、奖励与价值 | arXiv |
| MBPO: When to Trust Your Model | 短模型 rollout 如何权衡模型偏差和样本效率 | arXiv |
| TD-MPC2: Scalable, Robust World Models for Continuous Control | 隐式潜空间动力学、价值学习与 MPC 的结合 | arXiv · Project · Code |
S1｜Offline / Online RL¶
| 类别 | 论文 | 核心问题 | 入口 |
|---|---|---|---|
| Online, on-policy | Proximal Policy Optimization Algorithms (PPO) | 如何用 clipped surrogate 稳定策略更新 | arXiv |
| Post-training, group-relative | DeepSeekMath（GRPO） | 用组内相对奖励代替 Value Critic，并以 clip 与 KL 正则更新序列策略 | arXiv |
| Post-training, soft-gated | Soft Adaptive Policy Optimization（SAPO） | 用 sigmoid 软门控与正负非对称温度平滑控制 token-level 更新 | arXiv |
| Online, off-policy | Soft Actor-Critic (SAC) | 最大熵目标、样本复用与连续控制 | arXiv |
| Online, value-based | Human-level control through deep reinforcement learning (DQN) | 离散动作 Q-learning、target network 与 replay buffer | Nature · Code |
| Offline, value-based | Conservative Q-Learning (CQL) | 通过保守 Q 估计抑制 OOD 动作过估计 | arXiv |
| Offline, value-based | Implicit Q-Learning (IQL) | 不显式查询数据外动作的价值学习 | arXiv |
| Offline, sequence | Decision Transformer | 把控制重写为回报条件序列建模 | arXiv · Code |
| Offline, model-based | MOPO | 用不确定性惩罚模型 rollout 的分布外区域 | arXiv |
| Offline, model-based | COMBO | 保守价值学习与模型生成数据结合 | arXiv |
机器人策略后训练的新方向¶
这些工作不是新的通用 RL 教科书算法，而是把 RL 接到已经训练好的机器人策略上。重点看它们如何处理失败数据、动作 chunk 和大模型推理延迟。
| 论文 | 关键点 | 入口 |
|---|---|---|
| Beyond Imitation: Self-Improving Robot Policies via Off-Policy Q-Planning（2026，预印本） | 冻结行为克隆策略，只训练一个小的 off-policy Q 函数，用成功和失败 rollout 做 Q 引导与自我改进 | arXiv |
| Learning to Act While Waiting: RL Finetuning of Generalist Robot Policies Under Inference Latency（2026，预印本） | 用已提交动作和推理中的中间观测补回近似 Markov 状态，让 RL 能在 VLA 推理等待时继续学习 | arXiv |
| PAC-ACT: Post-training Actor-Critic for Action Chunking Transformers（2026，预印本） | 在 action chunk 层面做 actor-critic，并保留行为先验，减少接触任务在线探索时的动作漂移 | arXiv |
| GRAFT: Grounded and Efficient Online Reinforcement Adaptation for Fine-Grained Robot Manipulation（2026，预印本） | 用任务相关的局部视觉 grounding 和缓存的视觉语言前缀，降低真实机器人在线适配成本 | arXiv |
S2｜数据、基准与评测¶
采集协议、Human-to-Robot 对齐质量检查、切分标注和训练 mixture 见 具身数据专题。
| 论文/项目 | 用途 | 入口 |
|---|---|---|
| D4RL: Datasets for Deep Data-Driven Reinforcement Learning | Offline RL 经典数据与评测协议 | arXiv · Code |
| Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models | 表示、相机坐标系运动和行为对齐；包含 egocentric human-to-robot 合成与跨本体 action mask | arXiv · Official Repo |
| MimicPlay: Long-Horizon Imitation Learning by Watching Human Play | 用 human play 学习高层计划，再用少量遥操作示范学习低层控制 | arXiv · Code |
| Universal Manipulation Interface | 用手持夹具和视觉定位采集野外操作示范，再映射到机器人执行 | arXiv · Code |
| DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation | 便携式手腕/手指动捕、三维环境观测、运动学 retarget 和人机纠偏 | arXiv · Code |
| EgoMimic: Scaling Imitation Learning via Egocentric Video | 将第一视角人类视频与机器人演示共同用于模仿学习 | arXiv · Code |
| Open-TeleVision: Teleoperation with Immersive Active Visual Feedback | VR/XR 主动视觉反馈与人形机器人遥操作采集 | arXiv · Code |
| AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System | 统一多种手臂、手、相机配置与仿真/真机环境的视觉遥操作 | arXiv · Project |
| GELLO: A General, Low-Cost, and Intuitive Teleoperation Framework for Robot Manipulators | 用与目标机械臂运动学结构相近的低成本主控制器采集示范 | arXiv · Code |
| RoboTurk: A Crowdsourcing Platform for Robotic Skill Learning through Imitation | 通过移动设备和远程操作者众包采集 6-DoF 机器人示范 | arXiv |
| A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning | DAgger 经典论文；在策略诱导的状态分布上迭代收集专家纠偏 | arXiv |
| RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in One-Shot | 同步视觉、力、音频和动作，并配套人类示范视频与语言描述 | arXiv · Project |
| DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset | 分布式、多场景真实机器人操作采集和统一数据组织 | arXiv · Project |
| LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning | 语言条件操作与知识迁移评测 | arXiv · Project |
| CALVIN: A Benchmark for Language-Conditioned Policy Learning for Long-Horizon Robot Manipulation Tasks | 语言条件长时程闭环与任务链 | arXiv · Code |
| ManiSkill2 | 大规模操作任务、数据生成与仿真评测 | arXiv · Code |
| Meta-World: A Benchmark and Evaluation for Multi-Task and Meta Reinforcement Learning | 多任务操作与组合泛化 | Project · Code |
| RoboDojo: A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies（2026，预印本） | 统一仿真与真实世界的通用机器人操作评测；覆盖 42 个仿真任务和 18 个真实任务，关注泛化、记忆、精细操作、长时程执行与开放词汇指令 | arXiv · Website · Code |
| RoboTwin 2.0 | 双臂数字孪生、数据生成与跨场景泛化 | Code |
| RoboCasa | 家庭厨房中的长时程操作与接触任务 | Code |
| Open X-Embodiment | 跨机器人数据规模化与跨本体迁移 | arXiv · Project |