在强化学习(十八) 基于模拟的搜索与蒙特卡罗树搜索(MCTS)中,我们讨论了MCTS的原理和在棋类中的基本应用.这里我们在前一节MCTS的基础上,讨论下DeepMind的AlphaGo Zero强化学习原理. 本篇主要参考了AlphaGo Zero的论文, AlphaGo Zero综述和AlphaGo Zero Cheat Sheet. 1. AlphaGo Zero模型基础 AlphaGo Zero不需要学习人类的棋谱,通过自我对弈完成棋力提高.主要使用了两个模型,第一个就是我们上一节介绍MC…

在强化学习(十五) A3C中,我们讨论了使用多线程的方法来解决Actor-Critic难收敛的问题,今天我们不使用多线程,而是使用和DDQN类似的方法:即经验回放和双网络的方法来改进Actor-Critic难收敛的问题,这个算法就是是深度确定性策略梯度(Deep Deterministic Policy Gradient,以下简称DDPG). 本篇主要参考了DDPG的论文和ICML 2016的deep RL tutorial. 1. 从随机策略到确定性策略 从DDPG这个名字看,它是由D(Dee…

在强化学习(十四) Actor-Critic中,我们讨论了Actor-Critic的算法流程,但是由于普通的Actor-Critic算法难以收敛,需要一些其他的优化.而Asynchronous Advantage Actor-critic(以下简称A3C)就是其中比较好的优化算法.本文我们讨论A3C的算法原理和算法流程. 本文主要参考了A3C的论文,以及ICML 2016的deep RL tutorial. 1. A3C的引入 上一篇Actor-Critic算法的代码,其实很难收敛,无论怎么调参…

在强化学习(十三) 策略梯度(Policy Gradient)中,我们讲到了基于策略(Policy Based)的强化学习方法的基本思路,并讨论了蒙特卡罗策略梯度reinforce算法.但是由于该算法需要完整的状态序列,同时单独对策略函数进行迭代更新,不太容易收敛. 在本篇我们讨论策略(Policy Based)和价值(Value Based)相结合的方法:Actor-Critic算法. 本文主要参考了Sutton的强化学习书第13章和UCL强化学习讲义的第7讲. 1. Actor-Critic…

事务是什么?事务关键在与其原子性.原子性概念是指可以把一些事情当作一个执行单元来看待.从数据库角度看待.他是指应该全部执行或者全部不执行一条或多条语句的最小组合.当处理数据时候经常确保一件事发生另一件事也随之发生.或者二件事都不发生.实际上可能达到程度是有几十件事情或者更多的事情都必须一起发生或者都不发生.来看一个一个经典事例.这个事例各大书籍讲事务都有.就是你去银行转帐给朋友.转了100元sql如下:你的帐号扣了100元,你朋友帐号加了100元.看起来很完美.其实有个BUG存在,你的帐号被扣1…

保险业务 : 表结构 : sql语句 : /*1. 根据投保人电话查询出投保人 姓名 身份证号 所有保单 编号 险种 缴费类型*/SELECTt2.cust_name,t2.idcard,t4.pro_id,t5.pay_type_name,t6.protype_nameFROMcontact t1, -- 联系表customer t2, -- 客户表holder t3, --product t4,pay_type t5,protype t6WHEREt1.contact_text = '159…

在强化学习(十七) 基于模型的强化学习与Dyna算法框架中,我们讨论基于模型的强化学习方法的基本思路,以及集合基于模型与不基于模型的强化学习框架Dyna.本文我们讨论另一种非常流行的集合基于模型与不基于模型的强化学习方法:基于模拟的搜索(Simulation Based Search). 本篇主要参考了UCL强化学习课程的第八讲,第九讲部分. 1. 基于模拟的搜索概述 什么是基于模拟的搜索呢?当然主要是两个点:一个是模拟,一个是搜索.模拟我们在上一篇也讨论过,就是基于强化学习模型进行采样,得到样…

在强化学习(十一) Prioritized Replay DQN中,我们讨论了对DQN的经验回放池按权重采样来优化DQN算法的方法,本文讨论另一种优化方法,Dueling DQN.本章内容主要参考了ICML 2016的deep RL tutorial和Dueling DQN的论文<Dueling Network Architectures for Deep Reinforcement Learning>(ICML 2016). 1. Dueling DQN的优化点考虑 在前面讲到的DDQN中,…

一.经典选课题A 1.1.请同时使用GUI手动与SQL指令的形式创建数据库.表并添加数据. 题目:设有一数据库,包括四个表:学生表(Student).课程表(Course).成绩表(Score)以及教师信息表(Teacher).四个表的结构分别如表1-1的表(一)~表(四)所示,数据如表1-2的表(一)~表(四)所示.用SQL语句创建四个表并完成相关题目. 表1-1数据库的表结构 表(一)Student (学生表) 属性名 数据类型 可否为空 含 义 Sno Char(3) 否 学号(主码) S…

(十二)分组查询 将数据表中的数据按某种条件分成组,按组显示统计信息 查询各班学生的最大年龄.最小年龄.平均年龄和人数 分组 SELECT <字段名表1> FROM <表名> -- 这里字段名表1 应该 是 按照字段名表2 分组以后 能够产生唯一值的 字段(如:班级) [WHERE <条件> ] GROUP BY <字段名表2> [HAVING <条件> ] [ORDER BY <字段名列表3> ] --例1 查询各班学生的最大年龄.…