机器学习进阶-svm支持向量机
支持向量机需要解决的问题:找出一条最好的决策边界将两种类型的点进行分开
这个时候我们需要考虑一个问题,在找到一条直线将两种点分开时,是否具有其他的约束条件,这里我们在满足找到一条决策边界时,同时使得距离边界最近的点到边界的距离最远,对于下图而言,我们可以看出右边的图比左边的图的分类效果要好,因为点到边界的距离较大,这样得到的决策边界具有较好的泛化能力。
SVR的求解过程
首先我们需要写出点到直线或者平面的距离,这里以平面为例
我们需要求得的是dist(x, h)即x点到平面的距离,我们x首先在平面上找到一个点x‘, a*b = |a|*|b|*cos(theta)
w^T*(x-x') / |w| = (x-x') * cos(theta) ----1 表示的是dist(x, h)
w表示的是法向量,因为x'为一个随机点,假设在平面上存在一个x',使得w^T*x' + b = 0 ---2
将上述的2式带入到1式中,对1式进行化解
dist(x, h) = 1/|w| * |w^T*x + b|
当为正例时yi等于1, 当为负例时yi等于-1
为了去除|w^T*x + b|的绝对值,当w^T*x + b > 0 时,yi>0, 当w^T*x + b < 0 时, yi<0, 我们可以将yi * (w^T*x + b) > 0 用来去除绝对值
dist(x, h) = 1/|w| * yi * (w^T*x + b)
优化目标:
找到一条直线w和b使得距离直线最近的点到直线的距离最大
即求得argmax(1/|w| * min(yi * (w^T + b)))
我们对yi * (w^T + b) 进行放缩操作,使得yi * (w ^ T + b) >= 1
那么min(yi * (w^T + b)) 的最小值即为1,上式化解为argmax(1/|w|) 求解这个的最大值,即求解1/2 *w**2 的最小值
这里我们构造拉格朗日乘子法,即求出1/2 * w**2的最大值,约束条件为-(yi*(w^T*x + b))
根据KTT对偶法,先求min max 等价于 max min
f(x) = max min (1/2 * w ** 2 - ai(yi*w^T*x +b - 1) )
先求解最小值,求解∂f(x) / ∂w
∂f(x) / ∂w -= 0 -> w = Σai yi * θ(xi)
∂f(x) / ∂b = 0 -> 0 = Σai yi
将上述得到的结果带入原式中:
L(w, b, a) = 1/2 *|w|^2 - Σai(yi*(w^T*x +b) - 1)
= 1/2 * |w|^2 - w^T*Σai*yi*x +b*Σaiyi - Σai
= Σai - 1/2 * |w| ^ 2
= Σai - 1/2(Σai yi * θ(xi)^T*(Σai yi * θ(xi)
=Σai - 1/2Σaiyiajyi θ(xi)^T*θ(xj)^T
求解什么样的ai使得这个值最大
条件Σaiyi = 0 且拉格朗日法的限制即ai >= 0
对于求解极大值的问题,我们需要将极大值的求解转换为极小值的求解
目标函数 :min 1/2Σaiyiajyi θ(xi)^T*θ(xj)^T - Σai
约束条件:Σaiyi = 0
ai >= 0
SVM求解实例
数据:3个点,其中正例X1(3, 3), X2(4, 3), 负例X3(1, 1)
求解:1/2Σaiyiajyi θ(xi)^T*θ(xj)^T - Σai 的最小值
约束条件 a1 + a2 - a3 = 0
ai >= 0, i = 1, 2, 3
原式: 1/2ΣΣaiajyiyj(xi*xj) - Σai : 将数据带入
1/2(18*a1^2 + 25*a2^2 +2*a3^2 +42*a1*a2 - 12*a1*a2 - 14a2*a3) - a1 - a2 - a3
由于: a1 + a2 = 0 化简可得: 4a1^2 + 13/2*a2^2 + 10*a1*a2 - 2a1 - 2a2
求解上述式子的最小值,对a1进行求导使得偏导等于0,解得a1 = 1.5, a2 = -1 不满足约束条件ai >= 0 ,
因此解在边界上,即a1 = 0 时 a2 = -2/13 代入原式 = -0.153 不满足约束条件
a2 = 0时,a1 = 0.25 代入原式=-0.25 满足约束条件
将a结果带入到w = Σai yi * θ(xi), 解得w = (1/2, 1/2)
b = 1 - w^T * x = 1 - Σai yi * (xi*xj) 选择第一个x1点带入,
= 1 - (1/4 * 1 * 18 + 1/4 * (-1) * 6 ) = -2
平面方程为:0.5x1 +0.5x2 - 2 = 0
从上述的求解我们可以知道,支持向量机表示的是ai不等于0的店,不是支持向量机其他的点都等于0
机器学习进阶-svm支持向量机的更多相关文章
- 机器学习 - 算法 - SVM 支持向量机
SVM 原理引入 支持向量机( SVM,Support Vector Machine ) 背景 2012年前较为火热, 但是在12年后被神经网络逼宫, 由于应用场景以及应用算法的不同, SVM还是需要 ...
- 机器学习之SVM支持向量机
前言 以下内容是个人学习之后的感悟,转载请注明出处~ 简介 支持向量机(support vector machine),简称SVM,通俗来讲,它是一种二类分类模型,其基本模型定义 ...
- 机器学习 - 算法 - SVM 支持向量机 Py 实现 / 人脸识别案例
SVM 代码实现展示 相关模块引入 %matplotlib inline import numpy as np import matplotlib.pyplot as plt from scipy i ...
- 机器学习(四) SVM 支持向量机
svr_linear = SVR('linear') #基于直线 svr_rbf = SVR('rbf') #基于半径 svr_poly = SVR('poly') #基于多项式
- 机器学习实战 - 读书笔记(06) – SVM支持向量机
前言 最近在看Peter Harrington写的"机器学习实战",这是我的学习笔记,这次是第6章:SVM 支持向量机. 支持向量机不是很好被理解,主要是因为里面涉及到了许多数学知 ...
- OpenCV机器学习库函数--SVM
svm分类算法在opencv3中有了很大的变动,取消了CvSVMParams这个类,因此在参数设定上会有些改变. opencv中的svm分类代码,来源于libsvm. #include "o ...
- 6-11 SVM支持向量机2
SVM支持向量机的核:线性核.进行预测的时候我们需要把正负样本的数据装载在一起,同时我们label标签也要把正负样本的数据全部打上一个label. 第四步,开始训练和预测.ml(machine lea ...
- 机器学习:SVM
SVM 前言:支持向量机(Support Vector Machine, SVM),作为最富盛名的机器学习算法之一,其本身是一个二元分类算法,为了更好的了解SVM,首先需要一些前提知识,例如:梯度下降 ...
- Python实现SVM(支持向量机)
Python实现SVM(支持向量机) 运行环境 Pyhton3 numpy(科学计算包) matplotlib(画图所需,不画图可不必) 计算过程 st=>start: 开始 e=>end ...
随机推荐
- Hive深入学习--应用场景及架构原理
Hive背景介绍 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的.互联网现在进入了大数据时代,大数据是现在互联网的趋势,而hadoop就是大数据时代里的核 ...
- [UE4]Tool Tip - 提示信息
一.每一个Widget都有Tool Tip,在运行时鼠标移动到UI上,就会显示填写的Tool Tip文字 二.Toop Tips的字体样式和大小不可更改.但是可以Tool Tip可以绑定到一个Wi ...
- 为帮助保护你的安全,您的Web浏览器已经限制此文件显示可能访问您的计算机的活动内容
在开发时,会遇到是要HTML来做UI,是要js与C++进行交互. 在加载完页面后,一些电脑中会出现“为帮助保护你的安全,您的Web浏览器已经限制此文件显示可能访问您的计算机的活动内容”(用IE打开,自 ...
- rabbitmq的vhost与用户管理(转)
原文地址:https://blog.csdn.net/leisure_life/article/details/78707338 当我们在创建用户时,会指定用户能访问一个虚拟机,并且该用户只能访问该虚 ...
- matplotlib基础知识全面解析
图像基本知识: 通常情况下,我们可以将一副Matplotlib图像分成三层结构: 1.第一层是底层的容器层,主要包括Canvas.Figure.Axes: 2.第二层是辅助显示层,主要包括Axis.S ...
- springboot获取application.yml中的配置信息
HelloController.java package com.springbootweb.demo.controller; import com.springbootweb.demo.entity ...
- CentOS之RPM
yum工具比RPM工具好用,所以直接介绍yum工具来管理RPM包. yum list |head -n 20 列出所有RPM资源. yum search vim 搜索RPM包vim yum inst ...
- 第12课 std::bind和std::function(3)_std::function可调用对象包装器
1. std::function (1)首先是一个类模板,用于包装可调用对象.可以容纳除了类成员(函数)指针之外的所有可调用对象. (2)可以将普通函数,lambda表达式和函数对象类统一起来.尽管它 ...
- css居中问题:水平居中、垂直居中
亲们支持我的新博客哦==>原文地址 ) 本篇文章所有演示代码下载==>github/calamus0427 css水平垂直居中是面试时候遇到最多的问题,我总结一下大部分解决方案 水平居中: ...
- 再谈编码 decode和encode
1. ascii. 有: 数字, 字母, 特殊字符. 8bit 1byte 128 最前面是0 2. gbk. 包含: ascii, 中文(主要), 日文, 韩文, 繁体文字. 16bit, 2byt ...