深度强化学习中稀疏奖励问题Sparse Reward

Sparse Reward

推荐资料

• 《深度强化学习中稀疏奖励问题研究综述》¹
• 李宏毅深度强化学习Sparse Reward⁴

---

​ 强化学习算法在被引入深度神经网络后，对大量样本的需求更加明显。如果智能体在与环境的交互过程中没有获得奖励，那么该样本在基于值函数和基于策略梯度的损失中的贡献会很小。

​ 针对解决稀疏奖励问题的研究主要包括：¹

• Reward Shaping：奖励设计与学习

• 经验回放机制

• 探索与利用

• 多目标学习和辅助任务

  ---

1. Reward Shaping

人为设计的 “密集”奖励。

例如，在机械臂“开门”的任务中，原始的稀疏奖励设定为：若机械臂把门打开，则给予“＋１”奖励，其余情况下均给予“０”奖励。然而，由于任务的复杂性，机械臂从随机策略开始，很难通过自身探索获得奖励。为了简化训练过程，可以使用人为设计的奖励：１)在机械臂未碰到门把手时，将机械臂与门把手距离的倒数作为奖励；２)当机械臂接触门把手时，给予“＋0.１”奖励；３)当机械臂转动门把手时，给予“＋０.５”奖励；４)当机械臂完成开门时，给予“＋１”奖励。这样，通过人为设计的密集奖励，可以引导机械臂完成开门的操作，简化训练过程。

2. 逆向强化学习

针对人为设计奖励中存在的问题，Ng等²提出了从最优交互序列中学习奖励函数的思路，此类方法称为”逆强化学习”。

3. 探索与利用（好奇法）：

在序列决策中，智能体可能需要牺牲当前利益来选择非最优动作，期望能够获得更大的长期回报。

在 DRL领域中使用的探索与利用方法主要包括两类：基于计数的方法和基于内在激励的方法。其目的是构造虚拟奖励，用于和真实奖励函数共同学习。由于真实的奖励是稀疏的，使用虚拟奖励可以加快学习的进程。

ICM³（逆环境模型）—— 改进的基于内在激励的方法

• Network 1：预测的状态S与实际状态S差别越大，回报r越大，鼓励冒险
• Network 2：输入 \(S_t\) 和 \(S_{t+1}\) ，预测动作 \(a_t\)​​ ，与真实动作差别大时，表示无关紧要的状态。​​
• ICM 通过学习可以在特征空间中去除与预测动作无关的状态特征，在特征空间中构建环境模型可以去除环境噪声。

4. 多目标学习——层次强化学习

• 智能体可以从已经到达的位置来获得奖励。在训练中使用虚拟目标替代原始目标，使智能体即使在训练初期也能很快获得奖励，极大地加速了学习过程。
• 将一个单一目标，拆解为多个阶段的多层级的目标。

5. 辅助任务

在稀疏奖励情况下，当原始任务难以完成时，往往可以通过设置辅助任务的方法加速学习和训练。

• Curriculum Learning，“课程式”强化学习：

  当完成原始任务较为困难时，奖励的获取是困难的。此时，智能体可以先从简单的、相关的任务开始学习，然后不断增加任务的难度，逐步学习更加复杂的任务。

• 直接添加辅助任务：第二类方法是直接在原任务的基础上添加并行的辅助任 务，原任务和辅助任务共同学习。

参考文献

• [1] 杨惟轶,白辰甲,蔡超,赵英男,刘鹏.深度强化学习中稀疏奖励问题研究综述[J].计算机科学,2020,47(03):182-191.

• [2] Ng A Y, Russell S J. Algorithms for inverse reinforcement learning[C]//Icml. 2000, 1: 2.

• [3] Pathak D, Agrawal P, Efros A A, et al. Curiosity-driven exploration by self-supervised prediction[C]//International conference on machine learning. PMLR, 2017: 2778-2787

• [4] 李宏毅深度强化学习Sparse Reward