offline RL | TD3+BC：在最大化 Q advantage 时添加 BC loss 的极简算法

• 题目：A Minimalist Approach to Offline Reinforcement Learning ，NeurIPS 2021，8 7 7 5。
• pdf 版本：https://arxiv.org/pdf/2106.06860.pdf
• html 版本：https://ar5iv.labs.arxiv.org/html/2106.06860 （感觉写的蛮好服务器托管网的）
• open review：https://openreview.net/forum?id=Q32U7dzWXpc
• github：https://github.com/sfujim/TD3_BC

---

---

0 abstract

Offline reinforcement learning (RL) defines the task of learning from a fixed batch of data. Due to errors in value estimation from out-of-distribution actions, most offline RL algorithms take the approach of constraining or regularizing the policy with the actions contained in the dataset. Built on pre-existing RL algorithms, modifications to make an RL algorithm work offline comes at the cost of additional complexity. Offline RL algorithms introduce new hyperparameters and often leverage secondary components such as generative models, while adjusting the underlying RL algorithm. In this paper we aim to make a deep RL algorithm work while making minimal changes. We find that we can match the performance of state-of-the-art offline RL algorithms by simply adding a behavior cloning term to the policy update of an online RL algorithm and normalizing the data. The resulting algorithm is a simple to implement and tune baseline, while more than halving the overall run time by removing the additional computational overheads of previous methods.

• 背景：
  • Offline RL 定义了从 a fixed batch of data 中学习的任务。
  • 由于 OOD action 的 value estimation error，大多数 offline RL 算法使用 ID action 去约束或正则化策略。
  • 因此，可以说建立在原来的 online RL 算法之上，让它变成 offline RL，是以增加复杂性为代价的： offline RL 算法引入了新的超参数，并且通常利用生成模型（generative models）等辅助组件，同时还会调整底层的 RL 算法。
• method & result：
  • 本文的目标是，让 DRL 算法在最小更改下 work。
  • 我们发现，只需在 online RL 算服务器托管网法的策略更新中，添加行为克隆项（behavior cloning term）并 normalize 数据，就可匹配 sota offline RL 算法的性能。
  • 我们的算法是易于实现和 tune 的 baseline，同时，通过消除先前 offline 方法的额外计算开销，将总体运行时间缩短了一半以上。

4 Challenges in Offline RL – offline RL 中的挑战

• Implementation and Tuning Complexities – 算法实现与微调的复杂度。
• Extra Computation Requirement – 额外的计算需求。
  • CQL 好像会有 log sum exp 的操作，计算量大。
• Instability of Trained Policies – 训出来的策略的不稳定性。
  • 在 online RL 中，如果当前策略不尽如人意，我们可以使用策略先前迭代的 checkpoint，或者干脆继续训练。
  • 但是，在 offline RL 中，根据定义，评估应该只发生一次，这大大增加了评估时单个策略的重要性。
  • 我们重点介绍了 offline RL 中的两种不稳定性。
  • 图 2 显示，offline trained policy 在单次评估期间表现出巨大的 performance 差异。因此，即使平均表现合理，agent 在某些 episode 上仍可能表现不佳。
  • 图 3 表示了一组评估（应该是同一 episode 内）的不稳定性，这意味着 agent 的 performance 可能取决于，为 evaluation 选择的特定停止点。（可能是猎豹跑着跑着就栽了嘛？）

5 A Minimalist Offline RL Algorithm – 极简 Offline RL 算法

• 主要的 method 就是公式 3 4 5，其中：
  • 公式 3 纳入了一个 behavior cloning 的 loss；
  • 公式 4 是 observation 归一化；
  • 公式 5 让 Q advantage 跟 behavior cloning 的 loss 可比。

6 Experiments

• settings：
  • 主要使用两个 baselines： CQL、Fisher-BRC。
  • 其他 baselines： BRAC 和 AWAC（据作者说算法简单）、Behavior Cloning。
  • benchmark： D4RL benchmark of OpenAI gym MuJoCo tasks。
• results：
  • 看图就好了。
  • 比较了算法们的训练时间，TD3 + BC 训练时间最短。
  • 图 2 3 显示的稳定性问题。（见上面 section 4 的笔记）
• ablation：
  • 师兄提到的一点：可以预见的是，删除 state normalization 的影响是最小的，但它仍然有好处，并且只是一个微小的调整。对应 Figure 5 最后一张图。

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
机房租用，北京机房租用，IDC机房托管， http://www.fwqtg.net

相关推荐: mr-library 开源嵌入式驱动框架

背景 随着国产微控制器的崛起，市场上的微控制器种类越来越多。然而，以前的微控制器开发往往忽略了整体框架和程序分层，导致更换微控制器型号往往需要更改应用层代码，这使得开发工作变得繁重且乏味。常见的开发方式大多分为两种:常见的开发方式通常分为两种：裸机编程和RTO…