[吴恩达机器学习笔记]12支持向量机6SVM总结
12.支持向量机
觉得有用的话,欢迎一起讨论相互学习~Follow Me
12.6SVM总结
推荐使用成熟的软件包
用以解决 SVM 最优化问题的软件很复杂,且已经有研究者做了很多年数值优化。因此强烈建议使用高优化软件库中的一个,而不是尝试自己落实一些框架。有许多好的软件库,NG用得最多的两个是 liblinear 和 libsvm
归一化处理
Note 无论使用使用何种模型进行拟合,原始输入数据都需要进行归一化处理
需要指定的参数
即使用高度优化的软件包,有些参数还是需要自己做出指定的。
正则化参数C
- 正则化参数C和神经网络正则化参数\(\lambda\)的倒数\(\frac{1}{\lambda}\)类似
- 大的C对应于小的\(\lambda\),这意味着不使用正则化,会得到一个低偏差(bias),高方差(variance)的模型,则会更加倾向于 过拟合
- 小的C对应于大的\(\lambda\),这意味着更多的正则化,会得到一个高偏差(bias),低方差(variance)的模型,则会更加倾向于 欠拟合
核的选定
Note 不是所有提出来的 相似度函数 都是有效的核函数,所有核函数都需要满足 默赛尔定理(Mercer's Theotem) ,因为为了有效的求解参数\(\theta\) , SVM软件包中使用了许多成熟的优秀的数值优化技巧,而这些技巧的使用条件即是 默赛尔定理(Mercer's Theotem)
- 没有核(线性核函数) 如果满足\(\theta^{T}x\ge0\)则y=1;即\(\theta_0+\theta_1x1+...+\theta_nx_n\ge0\) ,通常适用于有 大量的特征但是样本数据较少 的情况下
- 高斯核函数(Gaussian kernel) \[f_{i}=exp(-\frac{||x-l^{(i)}||^{2}}{2\sigma^2}),where\ \ l^{(i)}=x^{(i)}\] 需要选定参数\(\sigma^2\) ,通常适用于有 特征少但是样本数据多 的情况下
- 多项式核函数(Polynomial kernel) 多项式核函数一般满足\((x^{T}l+常数)^{指数}\)的形式,其中\((x^{T}l)^2,(x^{T}l)^{3},(x^{T}+1)^{3},(x^{T}+5)^4\) 都是其常见的形式。通常的效果比高斯核要差,且x和l都是 非负数 的情况下,以保证内积值永远不会是负数。
- 多项式核函数(String Kernel) 通常用于输入数据是文本字符串形式的情况下
- 卡方核函数(chi-square kernel)
- 直方相交核函数(histogram intersection kernel)
多分类(Multi-class classification)
- 直接使用 SVM软件包 里面都内置了多类分类的功能
- 或使用一对多的方法,如果有K个类,就需要K个二分类模型,把每一类从其他类中分出来,即每个模型都把原始样本分为两类 目标类-其他类
逻辑回归和支持向量机
从逻辑回归模型,我们得到了支持向量机模型,在两者之间,我们应该如何选择?
n 为特征数(特征数可指为原始数据中的属性值或人为够早的特征),m 为训练样本数
- 如果相较于 m 而言,n 要大许多,即训练集数据量不够支持我们训练一个复杂的非线性模型,我们选用逻辑回归模型或者不带核函数的支持向量机。
- 如果 n 较小,而且 m 大小中等,例如 n 在 1-1000 之间,而 m 在 10-10000 之间,使用高斯核函数的支持向量机。
如果 n 较小,而 m 较大,例如 n 在 1-1000 之间,而 m 大于 50000,则使用支持向量机会非常慢,解决方案是创造、增加更多的特征,然后使用逻辑回归或不带核函数的支持向量机。
神经网络和支持向量机
- 值得一提的是,神经网络在以上三种情况下都可能会有较好的表现,但是训练神经网络可能 非常慢(这是2014年的教程,所以现在NG当然不会这么说) ,而且容易陷入局部最优解,选择支持向量机的原因主要在于它的代价函数是凸函数,不存在局部最小值,而且优化过程会比神经网络快得多。
- Note Ng认为算法的选择固然重要,但是数据的规模,数据的处理,特征的提取,调整模型的参数这些过程更加重要
[吴恩达机器学习笔记]12支持向量机6SVM总结的更多相关文章
- [吴恩达机器学习笔记]12支持向量机5SVM参数细节
12.支持向量机 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广 12.5 SVM参数细节 标记点选取 标记点(landma ...
- [吴恩达机器学习笔记]12支持向量机3SVM大间距分类的数学解释
12.支持向量机 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广 12.3 大间距分类背后的数学原理- Mathematic ...
- [吴恩达机器学习笔记]12支持向量机2 SVM的正则化参数和决策间距
12.支持向量机 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广 12.2 大间距的直观理解- Large Margin I ...
- [吴恩达机器学习笔记]12支持向量机1从逻辑回归到SVM/SVM的损失函数
12.支持向量机 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广 12.1 SVM损失函数 从逻辑回归到支持向量机 为了描述 ...
- [吴恩达机器学习笔记]12支持向量机4核函数和标记点kernels and landmark
12.支持向量机 觉得有用的话,欢迎一起讨论相互学习~Follow Me 12.4 核函数与标记点- Kernels and landmarks 问题引入 如果你有以下的训练集,然后想去拟合其能够分开 ...
- 吴恩达机器学习笔记(六) —— 支持向量机SVM
主要内容: 一.损失函数 二.决策边界 三.Kernel 四.使用SVM (有关SVM数学解释:机器学习笔记(八)震惊!支持向量机(SVM)居然是这种机) 一.损失函数 二.决策边界 对于: 当C非常 ...
- 吴恩达机器学习笔记45-使用支持向量机(Using A SVM)
本篇我们讨论如何运行或者运用SVM. 在高斯核函数之外我们还有其他一些选择,如:多项式核函数(Polynomial Kernel)字符串核函数(String kernel)卡方核函数( chi-squ ...
- Coursera-AndrewNg(吴恩达)机器学习笔记——第一周
一.初识机器学习 何为机器学习?A computer program is said to learn from experience E with respect to some task T an ...
- Machine Learning——吴恩达机器学习笔记(酷
[1] ML Introduction a. supervised learning & unsupervised learning 监督学习:从给定的训练数据集中学习出一个函数(模型参数), ...
随机推荐
- Python 装饰器Decorator(一)
(一) 装饰器基础知识 什么是Python装饰器?Python里装饰器是一个可调用的对象(函数),其参数是另一个函数(被装饰的函数) 假如有一个名字为somedecorator的装饰器,target是 ...
- npm 常用指令
npm install <name>安装nodejs的依赖包 例如npm install express 就会默认安装express的最新版本,也可以通过在后面加版本号的方式安装指定版本, ...
- Python Pygame (4) 图像的变换
Pygame中的transform模块可以使得你能够对图像(也就是Surface对象)做各种动作,列如左右上下翻转,按角度转动,放大缩小......,并返回Surface对象.这里列举了transfo ...
- Coloring a Tree(耐心翻译+思维)
Description You are given a rooted tree with n vertices. The vertices are numbered from 1 to n, the ...
- 1.2Linux下C语言开发基础(学习过程)
===============第二节 Linux下C语言开发基础=========== ********************** 重要知识点总结梳理********************* 一 ...
- this & super
/* 当本类的成员和局部变量同名用this区分. 当子父类中的成员变量同名用super区分父类. this和super的用法很相似. this:代表一个本类对象的引用. super:代表一个父 ...
- 赋予Winform程序管理员访问权限
业务场景:Winform操作系统盘文件夹时进行文件的读写时,会需要管理员权限打开文件. 解决方案: 在项目文件中找到app.manifest文件打开. 替换requestedExecutionLeve ...
- HDU4258_Covered Walkway
题目是一个很典型的斜率优化的题目.题意就不说了. 是这样的,对于双端优先队列,我们共有队首和队尾两个删除操作,来保证对于任意一个i,第一个元素都是最优的. 我们把dp的转移方程列出来就直达其状态为f[ ...
- MachineLearning ---- lesson 2 Linear Regression with One Variable
Linear Regression with One Variable model Representation 以上篇博文中的房价预测为例,从图中依次来看,m表示训练集的大小,此处即房价样本数量:x ...
- BZOJ 1835 基站选址(DP+线段树)
# include <cstdio> # include <cstring> # include <cstdlib> # include <iostream& ...