代码仓、具身数据、Robot Agent 与基准¶
🛠️ 按研究路线查找可运行代码、数据集、仿真环境和基准实现。
预计阅读：15 min
前置知识：Git、Python 环境和基础命令行
下一步：学习路线 · MuJoCo 教程 · Isaac Sim 教程
本文路线：核心仓库 → 模型/策略 → Robot Agent → RL/MBRL → WM/WAM → 仿真、数据与真机
1. 核心仓库¶
| 项目 | 定位 | 推荐入口 |
|---|---|---|
| StarVLA | 模块化 VLA 研究与工程平台 | GitHub · Docs/Project · Paper |
| RLinf | 面向具身/智能体基础模型的可扩展 RL 后训练基础设施 | GitHub · Docs · Paper |
| FastWAM | Fast-WAM 官方训练与评测代码 | GitHub · Project · Paper |
| RPent | 组合 planner、VLA/WAM/解析原语、记忆、模拟器和真机的 Robot Agent 基础设施 | GitHub · Docs · Harness VLA |
| OpenPI | Physical Intelligence 的 π0 / π0.5 开源实现与模型入口 | GitHub · π0.5 Paper |
| bimanual-vla | 双臂 VLA 真机部署入口与运行参考 | GitHub |
| XPolicyLab | 策略适配、服务化部署与跨 benchmark 评测连接 | GitHub · Website · 教程 |
| Piper ROS | AgileX Piper 机械臂的 ROS 2 Humble 驱动、URDF、MoveIt 2、Gazebo、MuJoCo 与 CAN 配置资源 | GitHub humble · 上游 README |
ROS 2 Humble 的基础机器人学工程建议组合使用以下官方仓库，而不是寻找一个把 TF、RViz 2、MoveIt 2 和控制器全部揉在一起的仓库：
| 组件 | 用途 | 推荐版本/入口 |
|---|---|---|
| MoveIt 2 Tutorials | Panda 配置、RViz 2 quickstart、规划与执行示例 | GitHub · RViz quickstart |
| ROS 2 geometry2 | TF2 Python 广播、监听、等待变换和 frame dump 示例 | GitHub |
| MoveIt Resources | Panda、Fanuc、PR2 等 URDF 和 MoveIt 配置资源 | GitHub |
| ros2_control_demos | ros2_control 和控制器的 RRBot 等示例；不是 MoveIt 教程本身 |
GitHub |
| MoveIt Calibration | MoveIt 维护的手眼标定工具入口，支持 eye-in-hand 与 eye-to-hand 的标定流程 | GitHub |
| hand-eye_calibration | ROS 2 Humble 社区实现，带 PyQt5 GUI、ArUco 和多种求解器；硬件支持以项目 README 为准 | GitHub |
StarVLA 与 RLinf 的直接组合示例：
2. 模型基础¶
这些仓库用于理解模型本身。
| 项目 | 原语 | 简介 | 链接 |
|---|---|---|---|
| Transformers | Transformer backbone | token、attention、mask、预训练模型和 [B,L,D] 张量流 |
GitHub · Docs |
| Diffusers | Diffusion / DiT 工具链 | scheduler、epsilon/x0/v 参数化和扩散模型实验 | GitHub · Docs |
| Flow Matching | Flow matching | probability path、velocity field 和 ODE 采样实现 | GitHub |
| DiT | Diffusion Transformer | Transformer 作为 latent diffusion backbone 的基础研究代码 | GitHub |
3. VLA 与动作策略¶
| 项目 | 简介 | 链接 |
|---|---|---|
| OpenVLA | 阅读一个完整开源 VLA 的训练、微调和部署 | GitHub |
| OpenVLA-OFT | OpenVLA 的效率优化微调与推理 | GitHub |
| OpenPI | π0 / π0.5 的开源实现、配置与推理调用 | GitHub · Docs |
| Octo | 通用机器人策略与多数据集预训练/微调 | GitHub |
| Isaac GR00T | NVIDIA 的人形机器人基础模型、数据管线与训练入口 | GitHub · 项目页 |
| Diffusion Policy | diffusion 动作策略的官方实现 | GitHub |
| ACT | 低成本双臂操作与 action chunking | GitHub |
| LeRobot | Hugging Face 的低成本机器人学习工具链，包含 SmolVLA、数据采集和策略训练入口 | GitHub · Docs |
4. Robot Agent 与工具编排¶
| 项目 | 适合学习什么 | 入口 |
|---|---|---|
| RPent | service-oriented 的 planner、工具注册、环境/VLA server、任务记忆与真机扩展 | GitHub · Docs |
| Harness VLA | 冻结 VLA 外围的 reference-seed exploration、原语编排、任务/全局记忆和失败模型 | Project · Paper |
开始实践时先跑通一个冻结 VLA + 类型化工具 + 执行后验证闭环，再增加记忆和恢复。完整里程碑见 Robot Agent 专题。
5. RL 与 MBRL¶
| 项目 | 类型 | 链接 |
|---|---|---|
| RLinf | VLA/基础模型的大规模 RL 后训练 | GitHub |
| AReaL | 支持 GRPO、SAPO 等基础模型 RL 后训练算法 | GitHub · 算法文档 |
| CleanRL | 单文件 RL 实现，包含 PPO/SAC/DQN 等算法 | GitHub · Docs |
| CleanRL MuJoCo PPO | Gymnasium MuJoCo 连续动作 PPO 单文件示例；默认 HalfCheetah-v4 |
代码 · MuJoCo 依赖 |
| RL Baselines3 Zoo | 基于 Stable-Baselines3 的训练、评测、调参和视频脚本；适合批量比较环境/算法 | GitHub · Docs |
| Stable-Baselines3 | 易用的经典 model-free RL 基线 | GitHub · Docs |
| DQN Zoo | DQN 及其变体的参考实现 | GitHub |
| d3rlpy | Offline RL 算法与数据处理 | GitHub · Docs |
| Implicit Q-Learning | IQL 参考实现 | GitHub |
| TD-MPC2 | 潜空间动力学 + MPC 的 MBRL 基线 | GitHub · Project |
| DreamerV3 | 用 latent dynamics 做 imagined rollout 和 actor-critic 更新的 MBRL | GitHub |
| Minari | Offline RL 数据集 API 与数据目录 | GitHub · Docs |
WAM 相关的代码和索引入口：
- FastWAM：测试时未来想象成本与动作生成的基线。
- Awesome-WAM：WAM 论文和项目索引。
近期论文中的新方法不一定已经有公开代码。要复现时，先从论文清单的 arXiv 页面进入，再确认作者仓库、checkpoint、数据和评测脚本是否真的公开。
6. World Model：像素、latent 与 3D/4D¶
World Model 在这里是广义的环境表征、未来预测和场景生成路线；动作决策能力根据各仓库的任务和评测单独记录。
| 项目 | 方向 | 推荐用途 | 链接 |
|---|---|---|---|
| V-JEPA 2 | JEPA / latent predictive learning | 未来表征、物理理解与动作条件研究入口 | GitHub · Paper |
| Cosmos Predict2 | 视频世界模型 / physical AI 生成 | 视频未来预测、数据生成与世界模型连接方式探索 | GitHub · Project |
| LPWM | 对象中心 latent world model | 从视频发现 latent particles，学习随机、动作/语言/目标条件动态 | GitHub · Paper · Project |
| GWM | 3D Gaussian world model | 在 Gaussian primitives 上预测动作条件未来，可作视觉表征或 neural simulator | GitHub · Paper · Project |
| VGGT | 3D 几何与多视图场景表示 | 相机/深度/点云几何，为 3D WM 提供结构化表征 | GitHub |
| 3D Gaussian Splatting | 3D 场景表示与新视角合成 | 动态/可渲染场景表示的基础组件，不等于完整 WM | GitHub |
| OccWorld | 3D occupancy world model | 读取离散 occupancy token，预测未来场景和 ego trajectory；适合学习 4D occupancy 基线 | GitHub · Paper |
| SparseWorld | 稀疏 4D occupancy world model | 用稀疏、动态 query 预测未来 occupancy，关注效率和长时程场景生成 | GitHub · Paper |
| HY-World 2.0 | 多模态 3D world generation | 文本/图像/视频生成可导航 3DGS，并提供交互式 3D 场景工具链 | GitHub · Paper |
| PhysMani | 物理约束的 3D Gaussian WM | 复现动态操作中的 Gaussian velocity field 与策略融合 | GitHub · Paper |
| IRIS | 离散 token 自回归 WM | Atari100k 少样本环境建模、离散 latent rollout 与模型内 RL | GitHub · Paper |
| DIAMOND | 像素 diffusion WM | 在 Atari/视频环境中研究视觉细节、交互式神经游戏引擎和模型内 RL | GitHub · Paper · Project |
| Dynalang | 语言条件 latent WM | 让环境规律描述参与未来表征预测和 imagined rollout | GitHub · Paper |
| GNS | 图网络物理模拟器 | 粒子级流体、刚体和可变形物体动力学；作为物理 WM 前端 | GitHub · Paper |
| DriveDreamer | 驾驶视频 diffusion WM | 交通结构约束、动作条件驾驶视频预测和数据生成 | GitHub · Paper |
| DreamDojo | 人类视频预训练机器人 WM | 用连续 latent action 迁移交互知识，再用少量机器人数据做动作校准 | Project · Paper |
| PlayWorld | 自主探索机器人 WM | 用机器人 autonomous play 收集长尾接触/失败数据，训练操作视频模拟器 | Project · Paper |
| Causal-JEPA | 因果/对象级 latent WM | 对象级 masking 和关系预测，研究干预与规划所需的结构化表征 | Paper · Code |
| WorldEcho/WorldSync | 动作跟随与 WM 安全评测 | 测量 off-expert action 是否真的改变未来，并接入风险 head/shield | Paper |
| ReWorld | 长时程交互式视频 WM | 混合 attention + 位姿索引记忆库，学习长时程回访和实时交互 | Paper |
| PETS | 概率 dynamics + 采样式 MBRL | ensemble dynamics、不确定性传播和 trajectory sampling | Paper |
| DayDreamer | 真实机器人在线 WM/MBRL | 在四足、机械臂和移动机器人上直接收集数据并做 Dreamer imagined rollout | Project · Paper |
| SlotFormer | 对象中心 slot dynamics | 在无对象标签的 slot 表征上预测对象关系和未来状态 | Project · Paper |
| FOCUS | 对象中心探索 WM | 用对象级预测误差构造探索奖励，主动收集机器人-物体交互 | Paper |
| IRASim | 细粒度动作条件视频 WM | 逐帧 action conditioning，强调机械臂-物体接触和策略评测 | Paper |
| FlowDreamer | RGB-D + scene-flow WM | 显式预测 3D 运动流，再生成未来 RGB-D 帧 | Paper |
| WorldEval | WM 策略评测环境 | 用 latent action 生成策略 rollout，评估真实机器人策略和 checkpoint | Project · Paper |
| WorldGym | WM policy evaluation | 用动作条件视频模型做 Monte Carlo rollout，比较模型内外策略排名 | Paper |
| ViTacWorld | 视觉-触觉 WM | 预测动作条件下的视觉和触觉未来，服务接触任务的数据扩增和评测 | Project · Paper |
7. 仿真、环境与基准¶
| 项目 | 特点 | 推荐用途 | 链接 |
|---|---|---|---|
| MuJoCo | 成熟、通用的接触动力学仿真 | 经典控制与轻量 RL 原型 | GitHub · Docs · 仿真教程 |
| Gymnasium | 标准 RL 环境 API | 算法调用与小实验 | GitHub · Docs |
| ManiSkill | GPU 并行机器人操作、数据生成与评测 | 单机仿真操作、VLA/RL 评测 | GitHub · Project |
| Isaac Lab | 基于 Isaac Sim 的 GPU 加速机器人学习框架 | 大规模 RL、sim-to-real、复杂传感器 | GitHub · Docs |
| Isaac Sim | 基于 USD/PhysX 的机器人仿真平台 | 高保真传感器、复杂场景与 GPU 仿真 | GitHub · Docs · 仿真教程 |
| robosuite | MuJoCo 机器人操作任务框架 | 操作控制器、数据生成与仿真对比 | GitHub · Docs |
| LIBERO | 语言条件、知识迁移与 lifelong 操作 | VLA 标准化评测 | Project · GitHub |
| CALVIN | 长时程语言条件操作 | VLA 闭环与任务链评测 | GitHub · Paper |
| Meta-World | 多任务机械臂操作 | 多任务/组合泛化与 RL success rate | Project · GitHub |
| RoboDojo | 统一仿真与真实世界的通用机器人操作评测 | sim-to-real、泛化、记忆、精细操作和长时程评测 | Website · GitHub · Docs |
| RoboTwin 2.0 | 数字孪生数据生成与双臂操作任务 | 操作泛化与大规模数据 | GitHub |
| RoboCasa | 家庭厨房与长时程操作 | WM/WAM、VLA 与 RL 的复杂接触任务 | GitHub |
| DMControl | 连续控制任务套件 | MBRL 原型、动力学和规划对比 | GitHub |
8. 具身数据采集、处理与数据集¶
| 数据/工具 | 内容 | 链接 |
|---|---|---|
| Qwen-RobotManip | egocentric human-to-robot 合成、相机坐标系末端动作和跨本体 action mask；官方 README 当前未提供模型权重 | Official Repo · Report |
| MimicPlay | 从 human play 学高层计划，用少量遥操作示范训练低层控制 | GitHub · Paper |
| Universal Manipulation Interface | UMI 式手持夹具、视觉定位、野外数据采集和机器人复现 | GitHub · Project |
| DexCap | 便携式手腕/手指动捕、三维场景记录、retarget 与人机纠偏 | GitHub · Paper |
| EgoMimic | egocentric human video 与机器人演示的联合模仿学习 | GitHub · Paper |
| Open-TeleVision | VR/XR 沉浸式主动视觉反馈与遥操作采集 | GitHub · Project |
| AnyTeleop | 面向多种手臂、手、相机和仿真/真机环境的视觉手部遥操 | Project · Paper |
| GELLO | 与目标机械臂运动学结构相近的低成本主控制器 | GitHub · Paper |
| ACT/ALOHA | 低成本主从臂双臂遥操作、同步相机/关节数据和 action chunking | GitHub · Paper |
| robomimic | 离线人类示范数据、行为克隆/offline RL 算法与可复现实验 | GitHub · Paper |
| RH20T | 视觉、力、音频、动作、人类视频与语言组成的多模态真机数据 | Project · Paper |
| Open X-Embodiment | 多机构、多本体机器人轨迹与 RLDS 数据生态 | Project |
| DROID | 大规模、场景多样的真实机器人操作数据 | Project · Code |
| BridgeData V2 | 通用机器人操作轨迹 | Project |
采集前任务协议、采集后切分/标注/对齐，以及分阶段训练配比见 具身数据专题。
9. 按目标选技术栈¶
| 目标 | 基础组合 | 原因 |
|---|---|---|
| 第一次跑 VLA 闭环评测 | OpenVLA/OpenVLA-OFT + LIBERO | 有公开 checkpoint、任务定义与成功判定 |
| 设计具身数据管线 | Qwen-RobotManip/UMI/Open-TeleVision/GELLO/ACT + RLDS/LeRobot | 覆盖 Ego 与动作对齐、UMI、VR、主从臂、同步、标注和 loader |
| 构建 Robot Agent | RPent + 冻结 VLA + LIBERO-Pro/RoboCasa | planner、类型化工具、记忆、失败恢复和闭环评测链路完整 |
| 单机 GPU 做操作 RL | ManiSkill + CleanRL/SB3 | GPU 并行环境与算法基线组合直接 |
| 学 MBRL | TD-MPC2 + DMControl/ManiSkill | 动力学模型、imagined rollout、价值和 MPC 路径清晰 |
| 学 WM 表征/视频/3D | V-JEPA 2 + LPWM + Cosmos Predict2 + GWM + VGGT | 对比全局 latent、对象中心 latent、视频生成和 3D Gaussian，再接动作条件验证 |
| 学开源 VLA | OpenVLA/OpenVLA-OFT/OpenPI + LIBERO | 代码可读，并有常见评测入口 |
| 做 VLA 的 RL 后训练 | StarVLA + RLinf + LIBERO/ManiSkill | 已有直接集成示例 |
| 研究 WAM 推理效率 | FastWAM + LIBERO/RoboTwin | 对应论文的训练/测试设定 |
| 大规模 sim-to-real | Isaac Lab + RL 框架 | 高吞吐仿真与传感器/机器人生态 |
| 双臂真机部署 | bimanual-vla + 已完成 benchmark 的 VLA checkpoint | 沿用仓库的硬件连接、启动流程和安全检查 |