Dreamer
⚠️ 版本已过时（2026-10-02 核实）
最新是 Dreamer 4（论文 2025-09/10，arXiv 2509.24527）。
首个纯离线数据在 Minecraft 挖到钻石的模型——不需要看视频、不需要动作序列，纯靠离线数据学世界模型。
本笔记此前记的 Dreamer V1/V2/V3 已不是最新。
一句话
DeepMind（Danijar Hafner 等）的「世界模型 + 强化学习」智能体系列（Dreamer V1/V2/V3）——先在学到的世界模型里「想象」练手、再落回真实环境，是循环网络路线世界模型的代表。
核心能力
- 模型基座强化学习：把经验压进循环网络世界模型（RSSM），训练主要在「想象」中进行，样本效率远高于无模型方法
- DreamerV3 通用性：一套超参数横跨上百种任务（游戏、控制、机器人），首个零人类数据采到 Minecraft 钻石的算法
- 学在想象、用在世界：真实交互只用来采集数据、更新世界模型，控制策略在模型内自监督训练
- 开源：DreamerV3 代码开源（JAX / Torch 两版），论文 2025 年发表于 Nature
官方链接
- 项目页：https://danijar.com/project/dreamerv3/
- 开源仓库：https://github.com/danijar/dreamerv3
- 论文（arXiv）：https://arxiv.org/abs/2301.04104
相关笔记
相关日记
- 2026-09-14 - 讲世界模型三大流派时提到（循环网络路线代表）