Lec2 交互学习策略和度量（MAB问题）

Chapter 2 MAB问题

参考：动手学强化学习,建议读者去看看原文

2.1 简介

• 智能体与环境交互学习，试错型学习。
• 多臂lh机（后简称MAB）问题，是一种简化的强化学习问题。
  • 不存在状态信息，仅存在动作和奖励，是最简单的交互学习形式。
  • 主要有探索和利用问题。

2.2 问题介绍

2.2.1 定义问题

• MAB问题中有一个有K根拉杆的lh机。
• 每个拉杆具有一个关于奖励的概率分布 \(\mathcal{R}\). 每次拉动一次一根拉杆，就从该概率中获得一个奖励 \(r\)。
• 需要在操作 \(T\) 次拉杆后获得最大奖励。

2.2.2 形式化描述

• 一个元组 \(<\mathcal{A},\mathcal{R}>\)。
• \(\mathcal{A}\) 是动作集合，一个动作就是拉动一根杆。我们有：\(\mathcal{A} = \{a_1,\cdots,a_K\}\)
• \(\mathcal{R}\) 奖励概率分布，每次拉动一根拉杆的动作有 \(\mathcal{R}(r|a_i)\) 的奖励概率分布。下标标识了分布对于每根杆不相同。
• 每次只能拉一根，因此目标为：\(\max\sum\limits_{t=1}^Tr_t~,~r_t\sim\mathcal{R}(\cdots|a^i_t)\)。\(a^i_t\)为在第 \(t\) 时间步拉动第 \(i\) 根拉杆的动作。\(r_t\) 表示动作 \(a_t\) 获得的奖励。

2.2.3 累积懊悔

• 对于动作 \(a\) 的期望奖励为 \(Q(a)=\mathbb{E}_{r\sim\mathcal{R}(\cdot|a)}[r]\)
• 将最优奖励表示成 \(Q^*=\max\limits_{a\in\mathcal{A}}Q(a)\)
• 当前奖励与最优奖励的差距为 \(R(a)=Q(a)-Q^*\)，称为懊悔。这样累积总量就是累积懊悔。
• 累积懊悔为拉动T次拉杆后的总量。有：\(\sigma_R=\sum\limits_{t=1}^TR(a_t)\)
• MAB目标为最大化累计奖励，也就是最小化累积懊悔。

2.2.4 估计期望奖励

• 算法流程如下：

• 更新的期望公式解释如下：

\[\begin{aligned}
Q_{n+1}(a^i)&:=\dfrac{1}{n}\sum\limits_{i=1}^{n}r_i
\\
&=\dfrac{1}{n}(r_n+\sum\limits_{i=1}^{n-1}r_i)
\\
&=\dfrac{1}{n}r_n+\dfrac{n-1}{n}Q_n\\
&=Q_n(a^i)+\dfrac{1}{n}(r_n-Q_n)
\end{aligned}
\]

• 增量式更新时间复杂度和空间复杂度均为 \(O(n)\).

2.3 探索(Exploration)和利用(Exploitation)

• 探索：尝试更多的拉杆。
• 利用：拉动已知奖励最大的那根拉杆。
• 目标是设计一个算法进行权衡。

2.4 \(\varepsilon\)-贪心算法

• 完全贪婪：仅有利用而没有探索。
• 进行稍微的修改，增加噪声，使得算法具有探索的能力。
• 这样算法将会以 \(\varepsilon\) 的概率随机选择一根杆子(探索)，以 \(1-\varepsilon\) 的概率选择最大奖励拉杆(利用)。
• 随着探索次数增加，我们应该减少探索的次数。这样我们就可以衰减 \(\varepsilon\) 实现降低探索的概率。

完全贪心和\(\varepsilon\)-贪心算法对比

2.5 衰减贪心策略

• \(\varepsilon\) 随着时间衰减
• 理论上对数渐进收敛
• 最优的衰减方式：\(\text{regret} R(T)=O(\frac{L}{\Delta}\log{T})\)
• \(c\geqslant 0~,~\Delta=\min\limits_{a\cdot\Delta_a>0}\Delta_a~,~\varepsilon_t=\min\{1,\frac{c|\mathcal{A}|}{\Delta^2 t}\}\)

乐观初始化

• 给 \(Q(a^i)\) 一个较高的初始化的值。
• 增量式蒙特卡洛估计更新 \(\hat{Q}(a^i):=\hat{Q}(a^i)+\dfrac{1}{N(a^i)}(r_t-\hat{Q}(a^i))\)
• 有偏估计，但是随着采样增加，偏差将会越来越小。

2.6 UCB：置信上界算法

不确定性越大的老虎臂 \(Q(a^i)\) 越具有探索的价值，越有可能是最好的策略。

• 不确定性度量 \(U(a)\)，随着动作尝试的次数增加而减少。
• UCB(Upper confidence bound),置信上界算法，基于经典的Hoeffding不等式。

Hoeffding 不等式：

\(X_1,\ldots,X_n\) 为 \(n\) 个独立同分布的随机变量，取值范围为 \([0,1]\)。这样我们具有经验期望 \(\bar{x}_n=\dfrac{1}{n}\sum\limits_{j=1}^{n}X_j\), 我们有：

\[\mathbb{P}(\mathbb{E}[X]\geqslant \bar{x}_n+u)\leqslant e^{-2nu^2}
\]

• \(\hat{Q}_t(a)\) 代入 \(\bar{x}_t\). 不等式中的参数 \(u=\hat{U}_t(a)\). 给定概率 \(p=e^{-2N_t(a)U_t(a)^2}\)。
• 这样 \(Q_t(a) < \hat{Q}_t(a) + \hat{U}_t(a)\) 至少以 \(1-p\) 的概率成立。 \(p\) 很小时就得到了我们的上界 \(\hat{Q}_t(a) + \hat{U}_t(a)\).
• 选取上界最大的动作，我们将会选择 \(a=\argmax_{a\in\mathcal{A}}[\hat{Q}(a)+\hat{U}(a)]\).其中 \(\hat{U}_t(a)=\sqrt{\dfrac{-\log p}{2N_t(a)}}\).

2.7 汤普森采样算法

• 假设拉动每根拉杆的奖励服从一个特定的概率分布，然后根据拉动每根拉杆的奖励进行选择。
• 根据当前每个动作\(a\)的奖励概率分布进行一轮采样，得到一组各根拉杆的奖励样本，再选择样本中奖励最大的动作。
• 我们通常用 Beta 分布对当前每个动作的奖励概率分布进行建模。
• 具体来说，若某拉杆被选择了 \(k\) 次，其中 \(m_1\) 次奖励为 1，\(m_2\) 次奖励为 0，则该拉杆的奖励服从参数为 \((m_1+m_2)\)的 Beta 分布。