李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料,在YouTube.网易云课堂.B站都能观看到相应的课程视频,接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充.(本笔记配合李宏毅老师的视频一起使用效果更佳!) 今天这篇文章的主要内容是第3课的笔记 ML Lecture 3: Gradient Descent 1.要真正理解梯度下降算法的原理需要一定的数学功底.比如微积分.泰勒展开式等等......本文将从一个下山的场景开始,先提出…

机器学习笔记:Gradient Descent http://www.cnblogs.com/uchihaitachi/archive/2012/08/16/2642720.html…

视频地址:http://v.163.com/movie/2008/1/B/O/M6SGF6VB4_M6SGHJ9BO.html 机器学习课程的所有讲义及课后作业:http://pan.baidu.com/s/1i3xcljJ 视频前半部分讲了梯度下降算法的迭代过程求的局部最小值,后半部分介绍了利用数学方法给出参数向量的解析表达式,从而求出参数的值,也就是一种无需迭代的方法. 由于PC上编辑不太方便,以下推导过程我会尽可能详细地呈现在草稿纸上,其实视频中AndrewNg已经讲解的很详细了,其实我也…

李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料,在YouTube.网易云课堂.B站都能观看到相应的课程视频,接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充.(本笔记配合李宏毅老师的视频一起使用效果更佳!) Lecture 6: Brief Introduction of Deep Learning 本节课主要围绕Deep Learing三步骤: (1)function set (2)goodness of function (…

李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料,在YouTube.网易云课堂.B站都能观看到相应的课程视频,接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充.(本笔记配合李宏毅老师的视频一起使用效果更佳!) 今天这篇文章的主要内容是第1-2课的笔记. ML Lecture 1: Regression - Demo 1.Machine Learning最主要有三个步骤:(1)选择a set of function,也就是选择一个合…

Review: Gradient Descent Tip 1: Tuning your learning rates eta恰好,可以走到局部最小值点; eta太小,走得太慢,也可以走到局部最小值点; eta太大,很可能走不到局部最小值点,卡在某处上; eta太太大,很可能走出去. 可以自动调节eta, 大原则是eta随更新次数的增长而减小,---time dependent 同时也要针对不同的参数设置不同的eta.---parameter dependent 有很多这样的自动调节eta的梯度下…

机器学习中,神经网络算法可以说是当下使用的最广泛的算法.神经网络的结构模仿自生物神经网络,生物神经网络中的每个神经元与其他神经元相连,当它“兴奋”时,想下一级相连的神经元发送化学物质,改变这些神经元的电位:如果某神经元的电位超过一个阈值,则被激活,否则不被激活.误差逆传播算法(error back propagation)是神经网络中最有代表性的算法,也是使用最多的算法之一. 误差逆传播算法理论推导 误差逆传播算法(error back propagation)简称BP网络算法.而一般在说BP网…

李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料,在YouTube.网易云课堂.B站都能观看到相应的课程视频,接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充.(本笔记配合李宏毅老师的视频一起使用效果更佳!) Lecture 7: CNN 目录 一.CNN的引入 二.CNN的层次结构 三.CNN的小Demo加深对CNN的理解 四.CNN的特点 在学习本节课知识之前,先让我们来了解一下有关CNN的知识,让我们对CNN有一个大概的认知…

李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料,在YouTube.网易云课堂.B站都能观看到相应的课程视频,接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充.(本笔记配合李宏毅老师的视频一起使用效果更佳!) Lecture 8:Why deep? 1.Shallow network VS Deep network 在比较浅层网络与深层网络时,要让“矮胖”的网络和“高瘦”的网络的参数数目相等,这样比较才公平,如下图所示 比较结果如…

李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料,在YouTube.网易云课堂.B站都能观看到相应的课程视频,接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充.(本笔记配合李宏毅老师的视频一起使用效果更佳!) ML Lecture 4:Classification:Probabilistic Generative Model 在这堂课中,老师主要根据宝可梦各属性值预测其类型为例说明分类问题,其训练数据为若干宝可梦的各属性值及其类型…