CH4 带有约束条件的最小二乘法 重点提炼 提出带有约束条件的最小二乘学习法的缘故:   左图中可见:一般的最小二乘学习法有个缺点----对于包含噪声的学习过程经常会过拟合 右图:有了空间约束之后,学习到的曲线能避免过拟合,得到想要的学习结果(x-y关系). 带有约束条件的最小二乘学习法具体方法 1.部分空间约束的最小二乘学习法 ① 公式 在上面普通最小二乘学习法公式基础上添加一个约束条件:  ② 对线性模型进行带有约束条件的最小二乘学习,得到参数theta   ③ 优点:只用了参数空间的一部分…

CH1 什么是机器学习 重点提炼 机器学习的种类: 常分为:监督学习.无监督学习.强化学习等 监督学习是学生从老师那获得知识,老师提供对错指示 无监督学习是在没有老师的情况下,学生自习 强化学习是在没有老师指示情况下,学生对预测的结果自我评估,学生为了获得老师的最高嘉奖而不断学习 监督学习应用:手写文字识别.声音处理.图像处理.垃圾邮件分类与拦截.网页检索.基因诊断.股票预测......(回归.分类.排序) 无监督学习应用:人造卫星故障诊断.视频分析.社交网站解析.声音信号解析.....(聚类.…

CH5 稀疏学习 重点提炼 提出稀疏学习的缘故: 虽然带有约束条件的最小二乘学习法结合交叉验证法,在实际应用中是非常有效的回归方法,但是,当参数特别多时,计算参数以及预测值需要大量时间.此时,我们要解决这个问题. 稀疏学习思路: 把大部分参数都设置为0,这样就能快速计算参数以及预测值. L1约束的最小二乘学习法: 公式 求解得到参数theta 代码实现的流程图 通过稀疏学习进行特征选择 1.“一个特征一个特征地依次减少的向后删除法”以及“一个一个特征地依次增加的向前选择法”提出的原因:在d各特征…

CH3 最小二乘学习法 重点提炼 提出最小二乘学习法的缘故: 最小二乘学习法公式 对不同模型进行最小二乘法学习,得到最小二乘公式中的参数theta: 1.线性模型   代入3.1公式,对参数求偏导,偏导=0时误差J有极值,此时   ① 延伸1:线性模型中的基函数可以是三角多项式 ② 延伸2:加权最小二乘学习法 2.核模型 计算参数的方法与线性模型一样,只是把线性模型中的基函数置换成:  如果基函数是n*b的矩阵,且这两个值非常大时的处理方式----随机梯度法 1.n或b很大导致的问题:内存不足…

CH2 学习模型 重点提炼 学习模型作用: 使特定函数与数据集相近似 学习模型类型: 1.线性模型 (1)最简单的线性模型,缺点:只能表现线性的输入输出函数,不能很好地解决实际问题 (2)基于参数的线性模型,优势:适合实际应用 ① 第一种基函数可以是 ② 第二种基函数可以是 一维的输入x还可以扩展为d维的向量,会使用一维的基函数来构造多维基函数的乘法模型以及加法模型 乘法模型:参数太多会带来维数灾难,但模型表现力较好 加法模型:参数个数是计算机正常计算的范围内,但是只考虑了一维基函数相加的情况,…

一,什么是机器学习 第一个机器学习的定义来自于 Arthur Samuel.他定义机器学习为,在进行特定编程的情况下,给予计算机学习能力的领域.Samuel 的定义可以回溯到 50 年代,他编写了一个西洋棋程序.这程序神奇之处在于,编程者自己并不是个下棋高手.但因为他太菜了,于是就通过编程,让西洋棋程序自己跟自己下了上万盘棋.通过观察哪种布局(棋盘位置)会赢,哪种布局会输,久而久之,这西洋棋程序明白了什么是好的布局,什么样是坏的布局.程序通过学习后,玩西洋棋的水平超过了 Samuel.这绝对是令…

import numpy as np from sklearn.datasets import load_breast_cancer import sklearn.linear_model from numpy.linalg import inv # numpy.linalg 是处理线性代数的包,inv为矩阵求逆 #sigmoid函数 def sigmoid(x): # Sigmoid function return 1.0/(1 + np.exp(-x)) # 梯度函数 def gradien…

一.此书到底何方神圣? 本书是广受赞誉C#图解教程的最新版本.作者在本书中创造了一种全新的可视化叙述方式,以图文并茂的形式.朴实简洁的文字,并辅之以大量表格和代码示例,全面.直观地阐述了C#语言的各种特性.新版本除了精心修订旧版内容外,还全面涵盖了C# 5.0的新增特性,比如异步编程.调用者信息.case表达式.带参数的泛型构造函数.支持null类型运算等.通过本书,读者能够快速.深入地理解C#,为自己的编程生涯打下良好的基础. 本书是C#入门的经典好书,适合对C#感兴趣的所有读者.Daniel…

本篇已收录至<C#图解教程>读书笔记目录贴,点击访问该目录可获取更多内容. 一.在.NET之前的编程世界 C#语言是在微软公司的.NET框架上开发程序而设计的,首先作者给大家纠正了一下C#的正确发音:See Sharp(而不是很多人说的什么C井之类的,每次听到C井我都只能呵呵一笑). 1.1 20世纪90年代末的Windows编程 这时大多数程序员使用VB.C或C++,一些C/C++程序员使用纯Win32API,但纯Win32API不是面向对象的,而且使用它的工作量很大,比MFC还大.大多数程…

本篇已收录至<C#图解教程>读书笔记目录贴,点击访问该目录可获取更多内容. 一.类型初窥:掀起你的盖头来 (1)C程序是一组函数和数据类型,C++程序是一组函数和类,而C#程序是一组类型声明: (2)类型是一种模板:模板本身不是数据结构,但它详细说明了由该模板构造的对象的特征: (3)C#提供了16种预定义类型:13种简单类型(数值类型:int,float,double,decimal等:非数值类型:bool,char),3种非简单类型(object,string,dynamic): 所有的预…