这一讲主要介绍了神经网络,基本内容之前如果学习过Andrew的Machine learning应该也都有所了解了.不过这次听完这一讲后还是有了新的一些认识. 计算图 Computational graph 之前没有体会到计算图的强大,今天听Serena讲解后,有一种豁然开朗的感觉. 总的来说,有一些很复杂的表达式,如果直接使用它对变量求导,虽然也能得到一个显式的表达,但可能会牵扯到非常复杂的展开.求导等一系列操作.如果换种方式,把这个式子里的基本运算,通过计算图的方式表示出来,用节点来表示一个基…

主题有关 这一讲主要是介绍性质的,虽然大多数概念以前听说过,但还是在他们的介绍中让我有如下一些认识,所谓温故而知新,不无道理: IMAGENET Feifei Li的团队首先爬取.标注了IMAGENET 数据集,其中包含22k个目录和14m的图片: 为了能够为研究者提供一个统一的验证平台,进而组办了IMAGENET Large Scale Visual Recognition Challege,提供了benchmark,包含1,431,167 images 和 1000个物体类别: 此前在做图像…

一些ConvNets的应用 Face recognition 输入人脸,推测是谁 Video classfication Recognition 识别身体的部位, 医学图像, 星空, 标志牌, 鲸... 图像描述 Image Captioning transfer 卷积操作和信号处理的卷积操作的区别 印象中在学习数字图像处理这门课的时候,里面提到过卷积操作,当时的计算方法是,需要把卷积核作一个180度的旋转.其实在最开始听到"卷积神经网络"并开始在探究具体如何进行卷积操作的时候,我也有…

这一讲总体上就是引入Loss Function的概念,以及让大家对优化有一个初步的认识,和其他课程里面说的内容大同小异. Loss function Multiclass svm loss multiclass svm的分类依据是,比较每个类别计算得到分数,取最大的那个作为当前的类标.该Loss鼓励的是正确的类标对应的分数应该比所有其他类标对应的分数都大至少1,否则就引入cost.具体定义如下: 这个和svm的思想是一样的,就是说不光要分对,而且要求判断对与错的分割线之间要有一定的距离,即svm…

距离度量\(L_1\) 和\(L_2\)的区别 一些感性的认识,\(L_1\)可能更适合一些结构化数据,即每个维度是有特别含义的,如雇员的年龄.工资水平等等:如果只是一个一般化的向量,\(L_2\)可能用得更多.但这些仍然需要视具体情况而定. Nearest Neighbor KNN-demo 相当于\(K=1\)的KNN分类,这种其实是把所谓的"训练"过程推后了,是一种lazy的做法,model实际上隐藏在了训练数据中.训练时,只是单纯地"记下"训练样本的特征和标…

- 通常机器学习,目的是,找到一个函数,针对任何输入:语音,图片,文字,都能够自动输出正确的结果. - 而我们可以弄一个函数集合,这个集合针对同一个猫的图片的输入,可能有多种输出,比如猫,狗,猴子等,而我们通过提供大量的training data给这个函数集合,对集合里的各种函数组合的输出进行比对,最后选出一个能输出最佳结果(结果是猫)的组合,那么因为这个组合已经很能够很准确的识别猫,所以这个组合就能用来检测图片里是否是猫. - 具体来说,下面第一张图,某一个点为一个函数,而整个网络机构为函数集…

本博客是针对李宏毅教授在Youtube上上传的课程视频<ML Lecture 0-1: Introduction of Machine Learning>的学习笔记.在Github上也po了这个系列学习笔记(MachineLearningCourseNote),觉得写的不错的小伙伴欢迎来给项目点个赞哦~~ Lecture 0-1: Introduction of Machine Learning Lecture 0-1: Introduction of Machine Learning Wha…

I. 什么是NLP NLP全称是Natural Language Processing,即自然语言处理,这是一门计算机科学.人工智能以及语言学的交叉学科. NLP涉及的几个层次由下图所示.可以看到输入数据有两大类,分别是语音和文字.在接收到数据之后还需要做一系列的处理. 首先是speech数据是做语音分析,text则是OCR或者Tokenization. 之后是Morphological analysis,这是形态学的意思,援引<统计自然语言处理>中的定义: 形态学(morphology):形…

引言: 最近开始学习"机器学习",早就听说祖国宝岛的李宏毅老师的大名,一直没有时间看他的系列课程.今天听了一课,感觉非常棒,通俗易懂,而又能够抓住重点,中间还能加上一些很有趣的例子加深学生的印象. 视频链接(bilibili):李宏毅机器学习(2017) 另外已经有有心的同学做了速记并更新在github上:李宏毅机器学习笔记(LeeML-Notes) 所以,接下来我的笔记只记录一些我自己的总结和听课当时的困惑,如果有能够帮我解答的朋友也请多多指教. 1.人工智能.机器学习.深度学习的关…

1. Backpropagation:沿着computational graph利用链式法则求导.每个神经元有两个输入x.y,一个输出z,好多层这种神经元连接起来,这时候已知∂L/∂z,可以求出∂L/∂x = ∂L/∂z * ∂z/∂x,∂L/∂y = ∂L/∂z * ∂z/∂y.靠这种方式可以计算出最终的loss function相对于最开始的输入的导数. 这种方法的好处是,每个神经元都是很简单的运算(比如加.减.乘.除.指数.sigmoid等),它们导数的解析式是很容易求解的,用链式法则连乘…