机器学习基石 3 Types of Learning Learning with Different Output Space Learning with Different Data Label Learning with Different Protocol Learning with Different Input Space…

机器学习基石 4 Feasibility of Learning Learning is Impossible? 机器学习:通过现有的训练集 \(D\) 学习,得到预测函数 \(h(x)\) 使得它接近于目标函数 \(f(x)\). 问题:这种预测是可能的么?其泛化性的本质是什么?是什么保证了 \(h(x) \approx f(x)\) ? Probability to the Rescue 情景:有一个装有很多很多珠子的罐子,珠子的颜色是橙色和绿色,那么我们可以通过抽样的方法来估计橙色珠子的比…

什么时候适合用机器学习算法? 1.存在某种规则/模式,能够使性能提升,比如准确率: 2.这种规则难以程序化定义,人难以给出准确定义: 3.存在能够反映这种规则的资料. 所以,机器学习就是设计算法A,从包含许多假设的假设集合H里,根据所给的数据集D,选出和实际规则f最为相似的假设g. 注:g和f相似度的衡量是基于所有数据,不仅仅是D. Learning Model = A + H, A确定后,H形式也给出, W的变化构成不同的属于H的h.…

机器学习分为四步: When Can Machine Learn? Why Can Machine Learn? How Can Machine Learn? How Can Machine Learn Better? 一.What is Machine Learning Q:什么是“学习”? A:学习就是人类通过观察.积累经验,掌握某项技能或能力.就好像我们从小学习识别字母.认识汉字,就是学习的过程. 机器学习(Machine Learning),顾名思义,就是让机器(计算机)也能向人类一样,…

原文地址:https://www.jianshu.com/p/ed0aee74523f 一.Perceptron Learning Algorithm (一)算法原理 PLA本质是二元线性分类算法,即用一条线/一个面/一个超平面将1.2维/3维/4维及以上数据集根据标签的不同一分为二.算法确定后,根据\(W\)取值的不同形成不同的\(h\),构成假设集合\(H\).如2维感知器算法,根据\(w_0\),\(w_1\),\(w_2\)的不同取值,构成了不同的\(h\),这些\(h\)最终构成\(H…

三个理论上界: 三个线性模型: 三个关键工具: 三条学习规则: 1.奥卡姆剃刀定律 先从简单模型开始, 训练后出现欠拟合, 再尝试复杂点模型. 2.采样误差 训练.验证.测试数据尽量同分布. 3.数据偷看 找到折中方法.…

博客已经迁移至Marcovaldo's blog (http://marcovaldong.github.io/) 刚刚完毕机器学习基石的第三讲.这一讲主要介绍了机器学习的分类.对何种问题应该使用何种机器学习方法.将笔记整理在以下. Learning with Different Output Space 前面讲的信用卡发放问题是一个是非题,也就是说最后的输出仅仅有两种.是一个二元分类(binary classification).下图中给出了很多其它的二元分类问题的样例.对于这类问题我们要做的…

Types of learning 基于个人理解.于我们在面对一个详细的问题时.可以依据要达到的目标选择合适的机器学习算法来得到想要的结果.比方,推断一封电子邮件是否是垃圾邮件,就要使用分类(classification),那要达到分类的效果就要使机器学会怎么样去分类.这就是学习的过程.在学习的过程在又分为四大类: 1)监督学习    (supervised learning) 2)无监督学习(unsupervised learning) 3)半监督学习(semi-supervised lear…

机器学习基石 2 Learning to Answer Yes/No Perceptron Hypothesis Set 对于一个线性可分的二分类问题,我们可以采用感知器 (Perceptron)这种假设集. 这种模型可以用下面的表达式表示出来: 其中不同的向量 \(w\) 代表了不同的假设函数 \(h(x)\),我们的目标是使用一些算法调整 \(w\) 的值,使得假设函数 \(h(x)\) 与我们要预测的函数 \(f(x)\) 尽可能的接近. 我们的想法是:如果 \(h(x)\) 与 \(f(…

机器学习基石 1 The Learning Problem Introduction 什么是机器学习 机器学习是计算机通过数据和计算获得一定技巧的过程. 为什么需要机器学习 1 人无法获取数据或者数据信息量特别大: 2 人的处理满足不了需求. 使用机器学习的三个关键要素 1 存在一个模式可以让我们对它进行改进: 2 规则不容易定义: 3 需要有数据. Components of Machine Learning Machine Learning and Other Fields ML VS DM…