一.序言 Adam是神经网络优化的另一种方法,有点类似上一篇中的“动量梯度下降”,实际上是先提出了RMSprop(类似动量梯度下降的优化算法),而后结合RMSprop和动量梯度下降整出了Adam,所以这里我们先由动量梯度下降引申出RMSprop,最后再介绍Adam.不过,由于RMSprop.Adam什么的,真的太难理解了,我就只说实现不说原理了. 二.RMSprop 先回顾一下动量梯度下降中的“指数加权平均”公式: vDW1 = beta*vDW0 + (1-beta)*dw1 vDb1 = b…

一.前言 回顾一下前面讲过的两种解决过拟合的方法: 1)L0.L1.L2:在向前传播.反向传播后面加个小尾巴 2)dropout:训练时随机“删除”一部分神经元 本篇要介绍的优化方法叫mini-batch,它主要解决的问题是:实际应用时的训练数据往往都太大了,一次加载到电脑里可能内存不够,其次运行速度也很慢.那自然就想到说,不如把训练数据分割成好几份,一次学习一份不就行了吗?前辈们试了试发现不仅解决了内存不足的问题,而且网络“收敛”的速度更快了.由于mini-batch这么棒棒,自然是神经网络中…

一.序言 dropout和L1.L2一样是一种解决过拟合的方法,梯度检验则是一种检验“反向传播”计算是否准确的方法,这里合并简单讲述,并在文末提供完整示例代码,代码中还包含了之前L2的示例,全都是在“深层神经网络解析”这篇基础之上修改的. 二.dropout 简单来说dropout就是在每次训练时“随机”失效网络中部分神经元,大概就是下图这么个意思. 让神经元随机消失办法很简单,我们将每一层的输出Y中部分位,置为0即可.回顾一下神经元的输出值Y: A = np.dot(w, IN) + b Y…

一.序言 前面的文章中,我们逐步从单神经元.浅层网络到深层网络,并且大概搞懂了“向前传播”和“反向传播”的原理,比较而言深层网络做“手写数字”识别已经游刃有余了,但神经网络还存在很多问题,比如最常见的两个问题:“过拟合”和“欠拟合”,下图中从左到右依次是“欠拟合”.“刚刚好”.“过拟合”. 简单点说,欠拟合是我们学习到的w没能很好地“满足”训练数据的特征,一般是因为训练数据太少.训练次数不够.神经网络太简单等问题,优化地方法也比较容易,有针对性地增加训练数据.训练次数或使用更复杂的网络即可.过拟…

最近回顾神经网络的知识,简单做一些整理,归档一下神经网络优化算法的知识.关于神经网络的优化,吴恩达的深度学习课程讲解得非常通俗易懂,有需要的可以去学习一下,本人只是对课程知识点做一个总结.吴恩达的深度学习课程放在了网易云课堂上,链接如下(免费): https://mooc.study.163.com/smartSpec/detail/1001319001.htm 神经网络最基本的优化算法是反向传播算法加上梯度下降法.通过梯度下降法,使得网络参数不断收敛到全局(或者局部)最小值,但是由于神经网络层…

前文链接:狗屁不通的“视频专辑:零基础学习C语言(小甲鱼版)”(1) 小甲鱼在很多情况下是跟着谭浩强鹦鹉学舌,所以谭浩强书中的很多错误他又重复了一次.这样,加上他自己的错误,错谬之处难以胜数. 由于拙著<品悟C>已经全面揭露了谭浩强书中的种种错谬,因此,下面视频中凡是谭浩强原来就有的错误,就只标出不细解了.重点讲小甲鱼自己创造的“亮点”.各位网友如对只标出而未解释的地方有疑问,可在评论中提出,我再详细解释. 下面截图来自“视频专辑:零基础学习C语言(小甲鱼版)”第二集.从这一集我们可以清楚地看…

1.系列文章引言 1.1 适合谁来阅读? 本系列文章尽量使用最浅显易懂的文字.图片来组织内容,力求通信技术零基础的人群也能看懂.但个人建议,至少稍微了解过网络通信方面的知识后再看,会更有收获.如果您大学学习过<计算机网络>这门课,那么一定不要错过本系列文章. 特别推荐即时通讯开发者来阅读,因为针对移动弱网的问题,确实可以找到很多有价值的答案. 友情提示:本系列文章可能涉及以下通信技术范畴,如您有兴趣,也可自行系统地学习:   1.2 本系列文章的初衷 作为即时通讯(IM.消息推送等应用场景)相…

[来源申明]本文原文来自:微信公众号“鲜枣课堂”,官方网站:xzclass.com,原题为:<通信交换的百年沧桑(上)>,本文引用时已征得原作者同意.为了更好的内容呈现,即时通讯网在收录时内容有稍许调整,转载时请注明原文来源信息,请尊重原作者的劳动. 1.本系列文章目录 <IM开发者的零基础通信技术入门(一):通信交换技术的百年发展史(上)>(* 本文) <IM开发者的零基础通信技术入门(二):通信交换技术的百年发展史(下)> <IM开发者的零基础通信技术入门(三…

[来源申明]本文原文来自:微信公众号“鲜枣课堂”,官方网站:xzclass.com,原题为:<中国通信的百年沉浮>,本文引用时已征得原作者同意.为了更好的内容呈现,即时通讯网在收录时内容有稍许调整,转载时请注明原文来源信息,请尊重原作者的劳动. 1.系列文章引言 1.1 适合谁来阅读? 本系列文章尽量使用最浅显易懂的文字.图片来组织内容,力求通信技术零基础的人群也能看懂.但个人建议,至少稍微了解过网络通信方面的知识后再看,会更有收获.如果您大学学习过<计算机网络>这门课,那么一定不…

一.序言 前面已经逐步从单神经元慢慢“爬”到了神经网络并把常见的优化都逐个解析了,再往前走就是一些实际应用问题,所以在开始实际应用之前还得把“框架”翻出来,因为后面要做的工作需要我们将精力集中在业务而不是网络本身,所以使用框架可以减少非常多的工作量,有了前面自己实现神经网络的经验,现在理解框架的一些设置也比较容易了.本篇我们就使用比较常见的Tensorflow来重置一下前面的工作. 备注一下Tensorflow的安装: 1)安装python3.6,高版本不支持 2)pip install ten…