具身智能章节式学习路线¶
🧭 按章节从机器人基础、具身数据走到 VLA、World Model、RL/MBRL、WAM 和 Robot Agent。
预计阅读：25 min
前置知识：Python、基础深度学习
下一步：机器人学基础 · 模型基础
本文路线：基础概念与控制 → 具身数据 → RL/MBRL、VLA 与 WM/WAM → Robot Agent → 综合实践
不用严格从第 1 章读到第 10 章。先读共同基础与具身数据，再按自己的研究问题选择路线；遇到不懂的概念，回来查对应章节即可。
总览¶
| 章节 | 主题 | 路线 |
|---|---|---|
| 第 1 章 | MDP、机器人学与控制 | 共同基础 |
| 第 2 章 | 模型基础、动作策略与 benchmark 协议 | 共同基础 |
| 第 3 章 | 具身数据：采集、处理与训练配比 | 数据底座 |
| 第 4 章 | Model-free RL：Online 与 Offline | RL/MBRL |
| 第 5 章 | Model-based RL（MBRL） | RL/MBRL |
| 第 6 章 | VLM → VLA | VLA |
| 第 7 章 | World Model：像素、latent 与 3D/4D | WM |
| 第 8 章 | WAM 与 Fast-WAM | WAM/交叉 |
| 第 9 章 | Robot Agent：规划、工具、记忆与恢复 | Agent/交叉 |
| 第 10 章 | RL 后训练与综合项目 | 交叉/可选 |
实操路线与依赖¶
第 1–2 章是共同基础，第 3 章给所有数据驱动路线建立统一的数据契约。之后可以按目标并行推进：想做 RL 就走第 4–5 章，想做 VLA 就走第 6 章，想做世界模型就走第 7 章；需要长时程任务编排与失败恢复时，再进入第 8–9 章。
flowchart TD
F["第 1–2 章：共同基础"] --> D["第 3 章：具身数据<br/>采集契约 + 对齐 + 配比"]
F --> R["RL/MBRL 路线：第 4–5 章<br/>DQN/PPO/SAC/IQL + dynamics/MPC"]
D --> R
D --> V["VLA 路线：第 6 章<br/>策略闭环 + benchmark"]
D --> W["WM 路线：第 7 章<br/>pixel / latent / 3D-4D"]
V --> A["WAM 路线：第 8 章<br/>未来表征 × 动作生成"]
W -. "仅在用于决策时" .-> R
V -. "可选 RL 后训练" .-> R
V -. "动作与未来联合" .-> A
W -. "未来表征接动作" .-> A
V --> G["第 9 章：Robot Agent<br/>规划 + 工具 + 记忆 + 恢复"]
A --> G
R --> G
G --> E["第 10 章：RL 后训练与交叉项目<br/>GRPO / SAPO"]
V --> E
W --> E
R --> E
A --> E第 1 章｜MDP、机器人学与控制¶
项目链接¶
- Modern Robotics：运动学、动力学和控制教材。
- ModernRobotics：教材配套实现。
- Pinocchio：刚体运动学、动力学和自动微分。
- MoveIt 2 Humble Tutorials：官方 RViz 2 quickstart、规划和执行示例。
- ROS 2 geometry2 Humble examples：官方 TF2 Python 广播和监听示例。
- MuJoCo：接触动力学仿真。
- MuJoCo 仿真教程：从常见的 URDF 资产入口过渡到 MJCF，运行仿真循环并接入 Gymnasium。
- CleanRL MuJoCo PPO：用一个 Gymnasium 连续动作 PPO 文件跑通训练循环。
- Isaac Sim 仿真教程：导入 URDF 到 USD 场景，读取 Articulation/传感器并了解 Isaac Lab。
- XPolicyLab 教程：用统一的策略适配器、websocket 服务和 debug 后端连接 RoboDojo。
- ROS 2 Humble 文档：节点、topic、TF/tf2 和工具链；本仓库机器人学章节统一以 Ubuntu 22.04 + ROS 2 Humble 为基线。
- MoveIt 2 Humble 文档：URDF/SRDF、Planning Scene、规划与轨迹执行。
- 机器人学基础：将 TF、
rclpy、RViz 2、MoveIt 2 和控制流程串成一个可排查的闭环。
第 2 章｜模型基础、动作策略与 benchmark¶
项目链接¶
- 模型基础：Transformer、diffusion、flow matching 与 DiT。
- Transformers：Transformer backbone 与多模态模型调用方式。
- Diffusers：diffusion、scheduler 和 DiT 工具链。
- Flow Matching：probability path、velocity field 和 ODE 采样。
- DiT：Transformer diffusion backbone。
- Diffusion Policy：连续动作 chunk 策略。
- OpenPI：π0/π0.5 开源实现。
- GR00T N1、SmolVLA、MolmoAct：分别看人形基础模型、小模型低延迟部署和空间动作推理。
第 3 章｜具身数据：采集、处理与训练配比¶
本章先建立“类型划分 → 任务协议 → 采集 → 对齐 → 处理 → 混合训练”的数据闭环。五类主线是 Ego + 人手、Ego 人手到机械臂的运动学/动作对齐、UMI + Ego、VR/XR 遥操作和主从臂遥操作；自主交互、纠偏、众包、仿真和合成数据作为补充。
| 学习步骤 | 本章要得到的结果 |
|---|---|
| 1. 采集前协议 | task spec、annotation schema、标签字典、标定和安全约束 |
| 2. 五类主采集路线 | Ego + 人手、运动学/动作对齐、UMI + Ego、VR/XR 和主从臂 |
| 3. 人机/本体对齐 | 检查时间、坐标、动作语义、运动学和任务效果，并按用途分级 |
| 4. 采集与处理标注 | 采集中事件标记，episode/segment/step 切分，语言/对象/动作/结果标注与复核 |
| 5. 训练配比 | 按 WM、VLA/WAM、目标本体和 Agent 目标设置 sample/chunk mixture |
五类主路线的详细流程，以及补充类型、采集前/中/后标注、触觉/力矩模态、Human-to-Robot 对齐质量检查、Agent 轨迹和四阶段配比见 具身数据专题。论文与代码入口集中在该页和资源清单。
第 4 章｜Model-free RL：Online 与 Offline¶
先阅读强化学习基础，用数据来源、价值对象、bootstrap target、策略改进和稳定性机制这五个问题统一理解 DQN、DDPG、TD3、TD3+BC、SAC、PPO 与 IQL；GRPO/SAPO 放在第 10 章的基础模型/VLA 后训练语境中学习。
项目链接¶
- Gym：经典 Gym 环境 API（维护状态以仓库说明为准）。
- Gymnasium：统一环境 API。
- Stable-Baselines3：PPO、SAC、DQN 等实现。
- CleanRL：PPO、SAC、DQN 等单文件实现。
- d3rlpy：IQL、CQL 等 offline RL 实现与数据处理。
- Implicit Q-Learning：IQL 参考实现。
- Minari：离线轨迹数据 API。
第 5 章｜Model-based RL（MBRL）¶
项目链接¶
- TD-MPC2：潜空间动力学、价值学习与 MPC。
- DreamerV3：latent dynamics、imagined rollout 与 actor-critic。
- World Models：latent dynamics + controller 的经典项目。
- PlaNet：潜空间动力学与规划。
- DMControl：连续控制与 MBRL 环境。
- ManiSkill：GPU 并行操作环境。
- Isaac Sim 仿真教程：理解 Isaac Sim 场景、传感器与脚本生命周期。
- Isaac Lab：建立在 Isaac Sim 之上的机器人学习框架。
第 6 章｜从 VLM 到 VLA¶
项目链接¶
- OpenVLA：开源 VLA 基线与推理/微调代码。
- OpenVLA-OFT：OpenVLA 的优化微调与推理实现。
- OpenPI：π0/π0.5 开源实现。
- StarVLA：模块化 VLA 研究平台。
- LIBERO：语言条件操作评测。
- CALVIN：长时程语言条件操作评测。
第 7 章｜World Model：像素、latent 与 3D/4D¶
项目链接¶
- V-JEPA 2：JEPA latent predictive learning。
- LPWM：对象中心 latent particles、粒子级 latent action 和随机动力学。
- Cosmos Predict2：视频世界模型与 physical AI 生成。
- GWM：动作条件的 3D Gaussian world model 与 neural simulator。
- VGGT：多视图几何与 3D 场景表示。
- 3D Gaussian Splatting：可渲染 3D 场景表示。
- OccWorld：3D occupancy token 与未来场景/ego trajectory 预测。
- SparseWorld：稀疏 4D occupancy world model，适合看效率和长时程预测。
- HY-World 2.0：多模态生成可导航 3D 世界的完整工程入口。
- PhysMani：物理约束 3D Gaussian 动力学与动态操作策略。
- IRIS：离散 VAE + 自回归 Transformer 世界模型。
- DIAMOND：像素 diffusion 世界模型与模型内 RL。
- Dynalang：语言条件 latent WM。
- GNS：图网络物理模拟器。
- DriveDreamer：真实驾驶场景 diffusion WM。
- DayDreamer：真实机器人在线 WM/MBRL，观察少量真实交互如何进入 imagined rollout。
- SlotFormer 和 FOCUS：对象 slot 动力学与对象中心探索。
- IRASim 和 FlowDreamer：细粒度动作-帧对齐与显式 3D scene flow。
- ViTacWorld：视觉-触觉动作条件 WM。
- WorldEval 和 WorldGym：用 WM 做策略 rollout 和部署前评测。
- WM 其他方向：统一记录输入、动作、预测目标、时间跨度、决策用法和证据。
第 8 章｜WAM 与 Fast-WAM¶
项目链接¶
- FastWAM：WAM 训练与推理代码。
- Awesome-WAM：WAM 论文和项目索引。
- V-JEPA 2：未来表征参考实现。
- Cosmos Predict2：视频未来生成参考实现。
- 近期继续看 Zero-WAM、WAM-TTT 和 GlanceWAM：它们分别对应人类视频上下文、测试时记忆适配和异步未来想象。
第 9 章｜Robot Agent：规划、工具、记忆与恢复¶
本章以 RPent 为主框架，将 Robot Agent 理解为 VLA/WAM 和实时控制器之上的运行时编排层。先做类型化工具、执行后验证和固定调用预算，再加入失败恢复、记忆、WAM 查询和主动感知；planner 不能绕过 watchdog、急停和实时安全控制器。
| 学习步骤 | 本章要得到的结果 |
|---|---|
| 1. 分层 | belief、planner、tool registry、executor、evaluator、memory 和安全层边界 |
| 2. Harness VLA 案例 | 将冻结 VLA 作为可重试的接触丰富原语，与固定解析技能组合 |
| 3. 恢复与记忆 | 失败分类、task/global memory 的写入门禁、过期和污染控制 |
| 4. WAM 与主动感知 | 候选未来筛选、失败预演、恢复规划和信息价值查询 |
| 5. 公平评测 | 固定 VLA、seed、环境步、工具/模型调用、token 和墙钟预算 |
完整接口、Harness VLA 证据边界、Agent 训练轨迹配比、安全层和消融矩阵见 Robot Agent 专题。代码入口见 RPent 文档和资源清单。
第 10 章｜RL 后训练与综合项目¶
先比较 PPO 的 Value Critic + GAE、GRPO 的组内相对 Advantage + hard clip，以及 SAPO 的 group-based Advantage + soft gate。GRPO/SAPO 用于 VLA 时，要验证同组 rollout 是否具有可比任务条件、奖励是否可靠、动作概率比是否定义正确，以及成组采样成本是否可接受，不能直接假设 LLM 后训练收益会迁移到具身闭环。
项目链接¶
- DeepSeekMath：GRPO 的原始定义、group-relative Advantage、clip 与 KL 正则。
- Soft Adaptive Policy Optimization：SAPO 的 sigmoid soft gate 与正负非对称温度。
- RLinf：VLA/基础模型 RL 后训练基础设施。
- StarVLA：模块化 VLA 基座。
- LIBERO、ManiSkill、RoboTwin 2.0：操作评测环境。
- bimanual-vla：双臂真机部署入口。
- 近期机器人策略后训练可对照 Q-Planning、ARLI、PAC-ACT 和 GRAFT，重点看失败数据、action chunk 和推理延迟怎么进入 RL。