基本上讲,Adam就是将day8.2提到的momentum动量梯度下降法和day8.3提到的RMSprop算法相结合的优化算法 首先初始化 SdW = 0 Sdb = 0 VdW = 0 Vdb = 0 On iteration t: compute dw,db using current Mini-batch VdW = β1vdW  +  (1-β1)dW Vdb  = β1vdb +  (1-β1)db    先做momentum SdW = β2SdW  +  (1-β2)dW2 Sdb…

所谓Mini-batch梯度下降法就是划分训练集和测试集为等分的数个子集,比如原来有500W个样本,将其划分为5000个baby batch,每个子集中有1000个样本,然后每次对一个mini-batch进行梯度下降 mini-batch大小 = m: 极限情况下,当mini-batch的单个子集样本数量和原集合大小一致都为m时,也就是说对原样本只划分一个子集,这意味着没有划分,此时的梯度下降法为原始的Batch梯度下降 batch方法意味着每次迭代对大量的数据进行处理,这意味着在进行深度神经网…

在mini-batch梯度下降法中,我们曾经说过因为分割了baby batch,所以迭代是有波动而且不能够精确收敛于最小值的 因此如果我们将学习率α逐渐变小,就可以使得在学习率α较大的时候加快模型训练速度,在α变小的时候使得模型迭代的波动逐渐减弱,最终收敛于一个较小的区域来得到较为精确的结果 首先是公式1学习率衰减的标准公式: 其中decay rate即衰减率,epoch-num指的是遍历整个训练集的次数,α0是给定的初始学习率 其次是公式2指数衰减公式: 其中,0.95是一个小于1的初始值,可…

RMSprop: 全称为root mean square prop,提及这个算法就不得不提及上篇博文中的momentum算法 首先来看看momentum动量梯度下降法的过程: 在RMSprop中: Compute dW,db on the current mini-batch SdW = βSdW  +  (1-β)dW2 Sdb  = βSdb +  (1-β)db2 W = W - α(dW / sqrt.SdW+ε),b = b - α(db / sqrt.Sdb+ε) 所以也就是说RMS…

首先感谢吴恩达老师的免费公开课,以下图片均来自于Andrew Ng的公开课 指数加权平均法 在统计学中被称为指数加权移动平均法,来看下面一个例子: 这是伦敦在一些天数中的气温分布图 Vt = βVt-1 + (1 - β)θt  β指的是加权系数 0<β<1 θt 指的是当前时刻的温度 当β=0.9的时候 1/1-β = 10 所以看到上图的红线其实就是考虑了10天之内的平均气温,其拟合度较好 当β=0.98的时候 1/1-β = 50 所以上图中的绿线是考虑了50天之内的平均气温,于是这种平…

Python之路,Day8 - Socket编程进阶   本节内容: Socket语法及相关 SocketServer实现多并发 Socket语法及相关 socket概念 socket本质上就是在2台网络互通的电脑之间,架设一个通道,两台电脑通过这个通道来实现数据的互相传递. 我们知道网络 通信 都 是基于 ip+port 方能定位到目标的具体机器上的具体服务,操作系统有0-65535个端口,每个端口都可以独立对外提供服务,如果 把一个公司比做一台电脑 ,那公司的总机号码就相当于ip地址, 每个…

第二章 置信区间估计 估计量和估计值的写法? 估计值希腊字母上边有一个hat 点估计中矩估计的原理? 用样本矩来估计总体矩,用样本矩的连续函数来估计总体矩的连续函数,这种估计法称为矩估计法.Eg:如果一阶矩则样本均值估计总体均值 公式化之后的表达: 其中的μ1的表达式: 矩估计和最大似然估计最终估计的特点是什么? 二项分布的均值两种估计都相同,正态分布的均值两种估计都相同.但是其他分布仍存在不同的现象. 无偏性是什么? 估计值的均值与总体均值相同,除中间值之外的部分是随机误差. 均值的无偏性特殊…

生物统计与实验设计-统计学基础-2&区间估计-1 正态分布参数:均值和方差 其中,选择1d是因为好算:通常,95%区分大概率事件和小概率事件, 当总体是正态分布时,可以利用常用抽样分布估计出样本参数: 抽样分布是样本估计量是样本的一个函数,在统计学中称作统计量(这就是说,统计量由样本值计算得到),因此抽样分布也是指统计量的分布.以下是当总体满足正态分布时,样本均值也满足正态分布(抽样分布是样本均值的分布,此处是正态分布)样本均值的均值与方差和总体参数之间的关系: 如上式,若得到一次实验的样本,样…

下面我来举个例子说明如何用Grid或DockPanel来实现自适应窗体. 让我们新建一个WPF工程,完成后我们打开对应的XAML文件,可以看到VS已经自动添加了<Grid></Grid>这一对标签,下面我就以Grid为例展示如何实现窗体自适应(如果需要使用DockPanel只需把<Grid></Grid>换成<DockPanel></DockPanel>即可). <Window x:Class="Auto_Match_…

Windows 7上Ubuntu 16.04虚拟机安装成功后,默认的虚拟机窗口比较小,需要适当调整,才能把虚拟机的屏幕放大, 适合使用,以下介绍调整方法. 安装VMware Tools  启动虚拟机,在虚拟机管理界面上,主屏幕菜单”虚拟机”中点击”安装vmware tools(T)”,开始安装vmware tools. 虚拟机管理中心会提醒用户默认的操作步骤.这可以无视.稍等几秒,虚拟机会自动启动虚拟光驱,下载了vmware tool工具包  把WMwareTools(tar包)拷贝到桌面–鼠标…