使用强化学习解决实际问题时常常避不开环境模拟或者使用离线强化学习算法，两者分别有什么优缺点？ 第1页

TLDR：

我对离线强化学习（Offline RL）比较熟悉，所以回答会侧重于这一块。

离线强化学习是 RL 这两年特别火的一个研究方向，motivation 很明确。样本效率一直是传统强化学习被诟病的问题，所以强化学习在过去主要是在可获取无限样本的游戏领域上取得成功。离线强化学习针对的就是难以跟环境进行真实交互或者真实交互的开销难以接受的场景，比如医疗，金融，广告等等，在这些领域我们或许有一些先前记录的数据，在监督学习上，大模型+大数据已经取得了巨大的成功，如果我们也能直接利用这些数据学习决策，那自然是极好的。

另一方面，对于复杂的现实场景，建立 simulator 是很难的一件事情，开销不会低，建立 high fidelity 的 simulator 更是如此（比如推荐，要 simulate 用户的行为那可真是太难了，买和不买，看和不看，有太多的随机性了），如果 simulator 不够好，那么做 sim2real 的时候就很难把在 simulator 上训练的 agent 迁移到现实中，在 simulator 上玩儿的风生水起的 agent 可能一到现实就废了。离线强化学习是直接对应真实世界得来的数据学的，可以绕过这一点。

既然离线强化这么优秀，那 RL 是不是终于可以在应用领域大杀四方了？很遗憾，目前成功应用离线强化学习的例子还很少（有推荐，车辆调度和派单等等，更详细的可以参考 Sergey 那篇 tutorial：Offline reinforcement learning: Tutorial, review, and perspectives on open problems）。大部分离线强化学习算法都在解决一个叫“distributional shift”的问题，有的文章会用“extrapolation error”或者“bootstrapping error”来描述这个问题。这是因为在离线环境下，agent 无法跟环境交互，所以它遇到数据集里没有的状态，或者在一个状态下执行数据集中没有的动作时，它就宕机了，无法获得反馈就无法得知自己的行为是否合适。没有正确的反馈怎么办呢？agent 就只能根据自己的猜测来更新猜测，由于错误无法被纠正，所以错误的猜测会随着传播变得越来越大。尽管传统的强化学习中也会用类似的方式学习，但错误的猜测可以通过和环境进行交互得到纠正（错误的行为无法取得奖励，甚至会被惩罚）。目前已经有不少的工作，包括理论工作，研究了这个问题，但仍未有一个突破性的方法可以解决它，所以离线强化学习仍然难以应用。

简单点说，如果一个应用的场景容易搭建 simulator，那么在 simulator 上使用传统的强化学习来学策略会是更好的选择。如果 dynamics 是完全清晰的，甚至可以直接用 planning 解决问题。如果数据充足，质量也不错，那离线强化学习或者离线模仿学习就有用武之地了。

Silver 讲过“AGI=DL+RL”，如果 AGI 真的有实现的一天，那么 RL 里面一定有 Offline RL 的一片地。除了试错，我们的知识有很多是通过观测得到，如果有一天我们可以很好地将二者结合起来，那么 AGI 就有机会实现了哈哈。

写完综述有空再来补充，待续。