强化学习8-时序差分控制离线算法Q-Learning

Q-Learning和Sarsa一样是基于时序差分的控制算法，那两者有什么区别呢？

这里已经必须引入新的概念

时序差分控制算法的分类：在线和离线

在线控制算法：一直使用一个策略选择动作和更新价值函数，如Sarsa

离线控制算法：两个策略，一个选择新的动作，一个更新价值函数，如Q-Learning

Q-Learning简介

在S下基于ε-贪心策略选择动作A，执行A，获得奖励R，并进入下一个状态S’，

接下来如果是Sarsa，将继续基于ε-贪心策略选择动作A’，利用Q(S',A')更新价值函数，并在下一轮执行A’，这就是在线算法，学到什么就执行什么

但是Q-Learning则不同，它将基于贪心策略选择动作A’，利用Q(S',A')更新价值函数，但是在下一轮并不执行A'，而是又基于ε-贪心策略选择动作，这就是离线算法，学到什么不一定执行什么

价值更新方式　　Q(S,A)=Q(S,A)+α(R+γmax_aQ(S′,a)−Q(S,A))

对比Sarsa　　　 Q(S,A)=Q(S,A)+α(R+γQ(S′,A′)−Q(S,A))

对比MC　　　　 Q(S,A)=Q(S,A)+(1/N)(G_t−Q(S,A))

在更新q值时，选择什么就执行什么，

在选择动作时，sarsa选择什么就执行什么，Q-Learning选择什么不一定执行什么

Q-Learning算法描述

输入：{S A R γ α ε}，迭代轮数T

输出：所有的状态和动作对应的价值Q

1. 随机初始化所有的状态和动作对应的价值Q. 对于终止状态其Q值初始化为0.

2. for i from 1 to T，进行迭代。

　　a) 初始化S为当前状态序列的第一个状态。

　　b) 用 ε-贪婪法 在当前状态S选择动作A

　　c) 在状态S执行当前动作A，得到新状态S’和奖励R

　　d) 更新价值函数Q(S,A)=Q(S,A)+α(R+γmax_aQ(S′,a)−Q(S,A))

　　e) S=S′

　　f) 如果S'是终止状态，当前轮迭代完毕，否则跳转到步骤b)

Q-Learning解决Windy GridWorld

for i in range(10000):
    # 10000 轮
    while True:
        maxq0, r0, stat_0, action0 = choose(start)              # e 贪心
        if stat_0 == end:
            start = [3, 0]
            break

        maxq, r, stat_1, action = choose_max(stat_0)            # 贪心
        q[get_q_x(start), actions.index(action0)] += alpha * (r0 + maxq - q[get_q_x(start), actions.index(action0)])
        start = stat_0

结果同Sarsa

Sarsa 与 Q-Learning 的比较

Sarsa在学习最优策略的同时还在做探索，而Q-Learning直接学习最优策略

这使得

1. Sarsa在训练时，为了保证收敛，需要设定规则，逐渐减小探索率，Q-Learning则不需要

2. Q-Learning直接学习的最优策略，而最优策略是基于当前数据的，这等于放弃了其他更好的机会，可能收敛于局部最优，Q-Learning的强化版Deep Q-Learning也有这个问题

3. Sarsa属于保守型，Q-Learning属于激进派

　　// 好比传销的洗脑，骗子告诉你今天干得好能挣1000块钱，明天干得好能挣5000块钱，但是如果不好好干，可能只有100块，Sarsa听了，觉得干好了才能多挣钱，万一干不好，哎，慢慢来吧，而Q-Learning听了，一算，我今天挣1000，明天5000，发财了，于是立即成为忠实的传销分子，这就是急于求成，容易出错

　　// 对应到算法上，就是Sarsa训练的模型比较平滑，而Q-Learning陡峭，可能局部最优

4. 在实际应用中，如果在模拟环境中训练模型，推荐Q-Learning，如果在真实环境中训练模型，推荐Sarsa

总结

Q-Learning和Sarsa一样，很灵活，但是不适合解决大规模问题