Ⅶ. Policy Gradient Methods

Dictum:

Life is just a series of trying to make up your mind. -- T. Fuller

不同于近似价值函数并以此计算确定性的策略的基于价值的RL方法，基于策略的RL方法将策略的学习从概率集合$P(a|s)$变换成策略函数$\pi(a|s)$，并通过求解策略目标函数的极大值，得到最优策略$\pi^*$，主要用的是策略梯度方法(Policy Gradient Methods)。

策略梯度方法直接对随机策略$\pi$进行参数化为$\pi(a|s,\theta)=\Pr\{A_t=a|S_t=s,\theta_t=\theta\}$，其中$s\in\mathcal{S}$，$a\in\mathcal{A}(s)$，权重参数向量$\theta\in\mathbb{R}^{d^\prime}(d^\prime<<|\mathcal{S}|)$，参数化后的策略不再是一个概率集合，而是一个近似函数。

相比于基于价值的RL方法，策略梯度方法的优势如下：

基于价值的RL方法依赖于价值函数的估计；而对策略梯度方法，价值函数可以用于学习策略的参数，但没有直接的依赖关系
基于价值的RL方法为了寻找最优策略，使用了$\epsilon$-贪心策略以$\epsilon$的概率选择随机动作；而策略梯度方法可以直接近似一个确定的策略，因此，具有更好的收敛性
基于价值的RL方法更适用于离散的动作、状态空间，即使一些改进也需要将连续的动作空间离散化，但这样的映射呈指数形式，增加求最优解的难度；而策略梯度方法在高维或连续动作空间中有效
基于价值的RL方法通常只能学习最优策略是确定的，而策略梯度方法可以学习本身就具有随机性的最优策略

缺点如下：

策略梯度方法使用梯度上升，容易收敛到局部最优解
同时，对策略难以进行有效评估，因为它具有很高的方差

策略梯度定义

策略函数

策略函数是在确定在时序$t$的状态$s$下，采取任何科恩那个动作的具体概率，可以看作概率密度函数。假设策略被参数化为$\pi(a|s,\theta)$，要求$\pi(a|s,\theta)$对参数$\theta$的偏导存在，则策略梯度

\[\begin{aligned}
\triangledown\pi(a|s,\theta) & =\pi(a|s,\theta)\frac{\triangledown \pi(a|s,\theta)}{\pi(a|s,\theta)}\\
&=\pi(a|s,\theta)\triangledown\log \pi(a|s,\theta)
\end{aligned} \tag{7.1}
\]

$\triangledown \log\pi(a|s,\theta)$是得分函数(score function)。

Softmax Policy

针对离散且有限的动作空间，可以使用softmax策略，对每一个“状态-动作”二元组估计一个参数化的数值偏好$h(s,a,\theta)\in\mathbb{R}$，然后利用softmax函数对动作加权，如

\[\pi(a|s,\theta)\doteq \frac{e^{h(s,a,\theta)}}{\sum_b e^{h(s,b,\theta)}}
\]

此时，每个动作的概率正比于指数权重$\pi(a|s,\theta)\propto e^{h(s,a,\theta)}$。若参数化的偏好值为特征$x(s,a)$的线性组合，则$h(s,a,\theta)=\theta^\top x(s,a)$，此时得分函数为

\[\triangledown\log\pi(a|s,\theta)=x(s,a)-\mathbb{E}_\pi [x(s,\cdot)]
\]

Gaussian Policy

针对庞大或连续的动作空间，不能直接计算每一个动作的概率，但可以学习概率分布的统计。通常可以使用Gaussian策略，即对应的动作服从高斯分布$a\sim\mathcal{N}(\mu,\sigma^2)$，则策略可以表示为

\[\pi(a|s,\theta)\doteq \frac{1}{\sigma(s,\theta)\sqrt{2\pi}}\exp\bigg(-\frac{\big(a-\mu(s,\theta)\big)^2}{2\sigma(s,\theta)^2}\bigg)
\]

其中，均值$\mu:\mathcal{S}\times\mathbb{R}^{d^\prime}\to\mathcal{R}$和方差$\sigma:\mathcal{S}\times\mathbb{R}^{d^\prime}\to\mathcal{R}^+$是两个参数化的函数近似器。因此，参数向量可以分为两部分$\theta=[\theta_\mu,\theta_\sigma]^\top$，同时特征向量也分为两部分$x=[x_\mu,x_\sigma]$，均值部分可以直接使用线性函数近似，而标准差部分要求为正数，可以使用线性函数的指数形式近似

\[\mu(s,\theta)\doteq\theta_\mu^\top x_\mu(s)\text{ 和 }\sigma(s,\theta)\doteq\exp\Big(\theta_\sigma^\top x_\sigma(s)\Big)
\]

此时得分函数为

\[\triangledown\log\pi(a|s,\theta)=\frac{(a-\mu(s))x(s)}{\sigma^2}
\]

性能度量

有了策略函数，还要定义性能度量来衡量策略的好坏。一般将智能体累积折扣奖励的期望作为目标函数，用$J(\theta)$表示。利用相关策略的目标函数$J(\theta)$的梯度上升更新$\theta$，从而最大化奖励的期望：

\[\theta_{t+1}=\theta_t+\alpha\triangledown\widehat{J(\theta_t)} \tag{7.2}
\]

在幕式任务和连续任务这两种不同的情况下，性能度量的定义是不同的：

起始价值(start value)

针对幕式任务，将性能度量定义为该幕起始状态的价值，即

\[J_1(\theta)\doteq v_{\pi_\theta}(s_0)=\mathbb{E}_{\pi_\theta}[v_0]
\]

其中，$v_{\pi_\theta}$是执行策略$\pi_\theta$的真实的价值函数。适用于能够产生完整经验轨迹的环境，即从状态$s_0$开始，以一定的概率分布达到终止状态时序段内，智能体获得的累积奖励。

平均价值(average value)

在连续任务中，智能体没有明确的起始状态，可以基于智能体在时序$t$的状态分布，针对每个可能的状态计算从$t$开始持续与环境交互所能获得的奖励，并按其状态的概率分布求和，即

\[J_{avgV}(\theta)\doteq\sum_{s\in\mathcal{S}}d_{\pi_\theta}(s)v_{\pi_\theta}(s)
\]

其中，$s\sim d_{\pi_\theta}(s)$表示状态$s$服从根据策略$\pi_\theta$生成的马尔科夫链的状态分布。

每时序平均奖励(average reward per time-step)

平均价值使用时序$t$下状态的平均价值，而每个时序的平均奖励使用时序$t$的状态下所有动作的期望，即在时序$t$先计算出智能体所有状态的可能性，然后计算出在每一种状态下采取所有可能动作获得的即时奖励，并按其对应的概率求和，即

\[\begin{aligned}
J_{avgR}(\theta)\doteq\mathbb{E}_{\pi_\theta}[r] &=\sum_{s\in\mathcal{S}}d_{\pi_\theta}(s)\sum_{a\in\mathcal{A}}\pi_\theta(a|s)r_{s,a} \\
&=\sum_s d_{\pi_\theta}(s)\sum_a\pi(a|s)\sum_{s^\prime,r}p(s^\prime,r|s,a)r
\end{aligned}
\]

其中，$d_{\pi_\theta}(s)=\lim_{t\to\infty}\Pr\{s_t=s|s_0,\pi_\theta\}$是策略$\pi_\theta$下状态的稳态分布，$s_0$独立于所有策略，$r_{s,a}$是状态$s$下执行动作$a$得到的即时奖励。它实际上是单步MDPs，也就是从状态$s\sim d(s)$开始，根据策略$\pi$执行动作$a$，此时得到了一个奖励值$r$，完成了一个时序后结束。

策略梯度定理

已经给出了策略函数和性能度量，但通过调整策略参数$\theta$来保证性能得到改善仍存在疑点，主要在于策略的性能既依赖于动作的选择，也依赖于动作选择时所处的状态分布，而策略$\pi(a|s)$的定义是已知状态$s$下动作$a$的概率，因此策略对状态分布的影响未知。这里就引出了策略梯度定理(policy gradient theorem)。

Policy Gradient Theroem

对任何可微策略$\pi(a|s,\theta)$，任意目标函数$J(\theta)$的梯度都可以表示为

\[\triangledown J(\theta)\propto\sum_s\mu(s)\sum_a\triangledown_\theta q_\pi(s,a)\pi(a|s,\theta) \tag{7.3}$$在幕式情况下，比例常数为幕的平均长度；在连续情况下，比例常数为1。$\mu(s)$是同步策略下的状态分布。

证明见Append。

## 策略梯度算法

### REINFORCE：Monte Carlo Policy Gradient

REINFORCE是一种蒙特卡洛算法，一般应用于幕式任务，也需要在每个幕达到终止状态后才能进行更新。

根据策略梯度定理$(7.3)$，REINFORCE的目标函数梯度可以写成
\]

\begin{aligned}

\triangledown J(\theta)

&\propto\sum_s\mu(s)\sum_a\triangledown\pi(a|s,\theta)q_\pi(s,a) \

&=\mathbb{E}\pi \bigg[\sum_a q\pi (S_t,a) \triangledown \pi(a|S_t,\theta)\bigg] \

&=\mathbb{E}\pi \bigg[\sum_a \pi(a|S_t,\theta)q\pi(S_t,a)\frac{\triangledown \pi(a|S_t,\theta)}{\pi(a|S_t,\theta)}\bigg] \

&(A_t\sim\pi，因此\sum_a \pi(a|S_t,\theta)q_\pi(S_t,a)可以用q_\pi(S_t,A_t)代替)\

&=\mathbb{E}\pi\bigg[q\pi(S_t,A_t)\frac{\triangledown \pi(a|S_t,\theta)}{\pi(a|S_t,\theta)}\bigg]\

&(根据q_\pi的定义，q_\pi(S_t,A_t)=\mathbb{E}\pi[G_t|S_t,A_t]，G_t是回报值)\

&=\mathbb{E}\pi\bigg[G_t\frac{\triangledown \pi(A_t|S_t,\theta)}{\pi(A_t|S_t,\theta)}\bigg]

\end{aligned}

\[
根据式$(7.2)$的随机梯度上升，可以得到参数的更新如下
\]

\begin{aligned}

\theta_{t+1}

&\leftarrow \theta_t+\alpha G_t\frac{\triangledown \pi(A_t|S_t,\theta_t)}{\pi(A_t|S_t,\theta_t)} \

&\leftarrow\theta_t+\alpha G_t\triangledown \ln \pi(A_t|S_t,\theta_t) \

\end{aligned}

\[
参数向量$\theta$更新的大小正比于回报$G_t$，使更新朝着更利于产生最大回报动作的方向；同时，它反比于策略$\pi(A_t|S_t,\theta)$，减少非最优动作因选择频率过大导致的性能影响。

### REINFORCE with Baseline

带基线的REINFORCE算法可以看作是一种推广形式，它是在策略梯度定理$(7.3)$上添加一个不随动作$a$变化的任意基线$b(s)$，形式如下
$$\triangledown J(\theta)\propto\sum_s\mu(s)\sum_a\big(q_\pi(s,a)-b(s)\big)\triangledown_\theta \pi(a|s,\theta)\]

基线$b(s)$不会影响策略的梯度，因为梯度方向的单位向量之和为0，即$\triangledown_\theta \sum_a\pi(a|s,\theta)=\triangledown_\theta 1=0$。通常可以将状态价值函数近似$\hat{v}(S_t,w)$，$w\in\mathbb{R}^m$作为基线，改良后的REINFORCE算法参数更新为

\[w_{t+1}\leftarrow w_t+\alpha^w \gamma^t \big(G_t-\hat{v}(S_t,w)\big)\triangledown_w \hat{v}(S_t,w)$$$$\theta_{t+1}\leftarrow \theta_t+\alpha^\theta \gamma^t \big(G_t-\hat{v}(S_t,w)\big)\triangledown_\theta \ln \pi(A_t|S_t,\theta)
\]

Append

策略梯度定理(证明)

幕式情况

\[\begin{aligned}
\triangledown J(\theta)
&=\triangledown v_\pi(s) \\
&=\triangledown \bigg[\sum_a \pi(a|s)q_\pi(s,a)\bigg] \\
&=\sum_a\Big[\triangledown\pi(a|s)q_\pi(s,a)+\pi(a|s)\triangledown q_\pi(s,a)\Big] \\
&=\sum_a \Big[\triangledown\pi(a|s)q_\pi(s,a)+\pi(a|s)\triangledown \sum_{s^\prime,r}p(s^\prime|s,a)(r+v_\pi(s^\prime))\Big] \\
&=\sum_a\Big[\triangledown\pi(a|s)q_\pi(s,a)+\pi(a|s)\sum_{s^\prime}p(s^\prime|s,a)\triangledown v_\pi(s^\prime)\Big] \\
&=\sum_a\Big[\triangledown\pi(a|s)q_\pi(s,a)+\pi(a|s)\sum_{s^\prime}p(s^\prime|s,a)\sum_{a^\prime}[\triangledown\pi(a^\prime|s^\prime)q_\pi(s^\prime,a^\prime)+\pi(a^\prime|s^\prime)\sum_{s^{\prime\prime}}p(s^{\prime\prime}|s^\prime,a^\prime)\triangledown v_\pi(s^{\prime\prime})]\Big] \\
&=\sum_{x\in\mathcal{S}}\sum_{k=0}^\infty \Pr(s\to x,k,\pi)\sum_a\triangledown\pi(a|x)q_\pi(x,a) \\
&\propto\sum_s \mu(s)\sum_a\triangledown\pi(a|s)q_\pi(s,a) \\
\end{aligned}
\]

其中，$\Pr(s\to x,k,\pi)$表示在策略$\pi$下的$k$步内，状态$s$转移到状态$x$的概率。

连续情况

\[\begin{aligned}
\triangledown v_\pi(s)
&=\triangledown \Big[\sum_a \pi(a|s)q_\pi(s,a)\Big] \\
&=\sum_a \Big[\triangledown\pi(a|s)q_\pi(s,a)+\pi(a|s)\triangledown q_\pi(s,a)\Big] \\
&=\sum_a\Big[\triangledown\pi(a|s)q_\pi(s,a)+\pi(a|s)\triangledown\sum_{s^\prime,r}p(s^\prime,r|s,a)\big(r-r(\theta)+v_\pi(s^\prime)\big)\Big] \\
&=\sum_a\Big[\triangledown\pi(a|s)q_\pi(s,a)+\pi(a|s)[-\triangledown r(\theta)+\sum_{s^\prime}p(s^\prime|s,a)\triangledown v_\pi(s^\prime)]\Big] \\
\end{aligned}
\]

由上可以得到

\[\triangledown r(\theta)=\sum_a\Big[\triangledown\pi(a|s)q_\pi(s,a)+\pi(a|s)\sum_{s^\prime}p(s^\prime|s,a)\triangledown v_\pi(s^\prime)\Big]-\triangledown v_\pi(s)
\]

目标函数的梯度为

\[\begin{aligned}
\triangledown J(\theta)
&=\triangledown r(\theta) \\
&=\sum_a\Big[\triangledown\pi(a|s)q_\pi(s,a)+\pi(a|s)\sum_{s^\prime}p(s^\prime|s,a)\triangledown v_\pi(s^\prime)\Big]-\triangledown v_\pi(s) \\
&(对前一项添加状态的权重\mu(s)，\sum_s\mu(s)=1，不影响梯度)\\
&=\sum_s\mu(s)\sum_a\Big[\triangledown\pi(a|s)q_\pi(s,a)+\pi(a|s)\sum_{s^\prime}p(s^\prime|s,a)\triangledown v_\pi(s^\prime)\Big]-\triangledown v_\pi(s) \\
&=\sum_s\mu(s)\sum_a \triangledown\pi(a|s)q_\pi(s,a)+\mu(s)\sum_a\pi(a|s)\sum_{s^\prime}p(s^\prime|s,a)\triangledown v_\pi(s^\prime)-\mu(s)\sum_a \triangledown v_\pi(s) \\
&=\sum_s\mu(s)\sum_a\triangledown\pi(a|s)q_\pi(s,a)+\sum_{s^\prime}\mu(s^\prime)\triangledown v_\pi(s^\prime)-\sum_s\mu(s)\triangledown v_\pi(s) \\
&=\sum_s\mu(s)\sum_a\triangledown \pi(a|s)q_\pi(s,a)
\end{aligned}
\]

References

Richard S. Sutton and Andrew G. Barto. Reinforcement Learning: An Introduction (Second Edition). 2018.

Csaba Szepesvári. Algorithms for Reinforcement Learning. 2009.

Richard S. Sutton et al. Policy Gradient Methods for Reinforcement Learning with Function Approximation. 2000.

Course: UCL Reinforcement Learning Course (by David Silver)