ubuntu之路——day7.3 normalizing input(加快迭代速度)

【ubuntu之路——day7.3 normalizing input(加快迭代速度)】的更多相关文章

ubuntu之路——day7.3 normalizing input(加快迭代速度)

输入归一化 1,对每个特征零均值化 2,对每个特征归一化方差注意:训练集和测试集要使用相同的均值和方差去归一化. 原本狭长的优化函数,要找到最小值,需要设置较小的学习率,并且进行多次迭代:而归一化以后变的更加圆,便于更加直接找到最小值,减少迭代次数.如图:…

ubuntu之路——day7.4 梯度爆炸和梯度消失、初始化权重、梯度的数值逼近和梯度检验

梯度爆炸和梯度消失: W[i] > 1:梯度爆炸(呈指数级增长) W[i] < 1:梯度消失(呈指数级衰减) *.注意此时的1指单位矩阵,W也是系数矩阵初始化权重: np.random.randn(shape)* np.sqrt(2/n[l-1]) Relu:np.sqrt(2/n[l-1]) Tanh:np.sqrt(1/n[l-1]) 其他的做法:np.sqrt(2/n[l-1]+n[l]) 梯度的数值逼近: 使用双边误差逼近比单边误差逼近更准确 f(θ+ε) - f(θ-ε) / 2ε…

ubuntu之路——day7.2 regularization

所有的正则化方法来自于吴恩达老师的免费公开课:https://mooc.study.163.com/learn/2001281003?tid=2001391036#/learn/content?type=detail&id=2001701045 1.矩阵L2正则化(Frobenius范数),有时也称其为“权重衰减” 其本质是通过乘一个小于1的范数,使得w在每次迭代后逐渐变小,因此激活函数的范围也靠近0,所以从激活函数的图像来看,基本就是tanh的中间类似于直线的区段,使得神经网络每一层中的线性成…

ubuntu之路——day7.1 衡量模型好坏的因素偏差和方差bias&variance 以及在深度学习中的模型优化思路

Error | 误差 Bias | 偏差 – 衡量准确性 Variance | 方差 – 衡量稳定性首先我们通常在实际操作中会直接用错误率或者与之对应的准确率来衡量一个模型的好坏,但是更加准确的做法是误差衡量时综合考虑偏差和方差的共同作用. 所谓偏差Bias反映的是模型在样本上的输出与真实值之间的误差,即模型本身的精准度.Variance反映的是模型每一次输出结果与模型输出期望值之间的误差,即模型的稳定性. 举个例子,对于一个二分类问题,比如测试图片是不是猫,是猫的话就是1,不是猫就是2. 现…

简单几步优化你的windows，加快开机速度（重装windows之后要做的几件事）

每个人都想要让自己的系统运行得快一些,开机快一些,我就来说说我自己的经验,我使用的系统是windows8.1,当然这有些方法也适用于其他的系统,我每次重装完系统之后第一件事就是下面几步,当然重装系统之后的激活和安装驱动就不说了 1.关闭windows update.参考:http://www.cnblogs.com/shenjieblog/p/5090982.html 因为在我自己看来,windows更新是没有什么必要的,而且会占用大量的C盘空间,而且经常提醒更新是一件很烦人的事情. 2.关闭w…

慢腾腾的Quartus prime16.0加快编译速度

前言当一个工程反复修改的时候,可能有时候源代码没有更改,为了加快编译速度可以配置quartus一些选项.当然,初次编译的速度是否会提升,未验证.更高级的设计分区以及逻辑锁区提升速度,以后阐述. 流程: 1.打开setting选项: 2.选择编译流程设置: 选择第二项使用全部可用处理器的核,打勾智能编译.谁用谁知道. 以上.…

在VisualGDB中配置预编译头加快编译速度

今天是中秋佳节,但是写完已经是第二天凌晨了,还是祝大家中秋快乐! VS对C++的支持相较GCC太弱了,连续几个VS版本对C++的改进都很小.很少.对Cpper也许是一种痛,我们也许希望能使用VS的强大编辑功能,组合GCC以及GDB的强大编译器以及调试功能进行开发.自从有了VisualGDB,这一切都变成真的了,那VS默认会有预编译头,GCC呢?VisualGDB呢?我们只能手动去写Makefile,不错,手动去写,下面就与大家分享VisualGDB中的预编译头设置. 在之前的博客(VisualG…