支持向量机需要解决的问题:找出一条最好的决策边界将两种类型的点进行分开

这个时候我们需要考虑一个问题,在找到一条直线将两种点分开时,是否具有其他的约束条件,这里我们在满足找到一条决策边界时,同时使得距离边界最近的点到边界的距离最远,对于下图而言,我们可以看出右边的图比左边的图的分类效果要好,因为点到边界的距离较大,这样得到的决策边界具有较好的泛化能力。

SVR的求解过程

首先我们需要写出点到直线或者平面的距离,这里以平面为例

我们需要求得的是dist(x, h)即x点到平面的距离,我们x首先在平面上找到一个点x‘, a*b = |a|*|b|*cos(theta)

w^T*(x-x') / |w|  = (x-x') * cos(theta)  ----1 表示的是dist(x, h)

w表示的是法向量,因为x'为一个随机点,假设在平面上存在一个x',使得w^T*x' + b = 0 ---2

将上述的2式带入到1式中,对1式进行化解

dist(x, h) = 1/|w| * |w^T*x + b|

当为正例时yi等于1, 当为负例时yi等于-1

为了去除|w^T*x + b|的绝对值,当w^T*x + b > 0 时,yi>0, 当w^T*x + b < 0 时, yi<0, 我们可以将yi * (w^T*x + b) > 0 用来去除绝对值

dist(x, h) = 1/|w| * yi * (w^T*x + b)

优化目标:

找到一条直线w和b使得距离直线最近的点到直线的距离最大

即求得argmax(1/|w| * min(yi * (w^T + b)))

我们对yi * (w^T + b) 进行放缩操作,使得yi * (w ^ T + b) >= 1

那么min(yi * (w^T + b)) 的最小值即为1,上式化解为argmax(1/|w|) 求解这个的最大值,即求解1/2 *w**2 的最小值

这里我们构造拉格朗日乘子法,即求出1/2 * w**2的最大值,约束条件为-(yi*(w^T*x + b))

根据KTT对偶法,先求min max 等价于 max min

f(x) = max min (1/2 * w ** 2 - ai(yi*w^T*x +b - 1) )

先求解最小值,求解∂f(x) / ∂w

∂f(x) / ∂w  -= 0 -> w = Σai yi * θ(xi)

∂f(x) / ∂b = 0 -> 0 = Σai yi

将上述得到的结果带入原式中:

L(w, b, a)  = 1/2 *|w|^2 - Σai(yi*(w^T*x +b) - 1)

= 1/2 * |w|^2 - w^T*Σai*yi*x +b*Σaiyi -  Σai

= Σai - 1/2 * |w| ^ 2

= Σai - 1/2(Σai yi * θ(xi)^T*(Σai yi * θ(xi)

=Σai - 1/2Σaiyiajyi θ(xi)^T*θ(xj)^T

求解什么样的ai使得这个值最大

条件Σaiyi = 0 且拉格朗日法的限制即ai >= 0

对于求解极大值的问题,我们需要将极大值的求解转换为极小值的求解

目标函数 :min 1/2Σaiyiajyi θ(xi)^T*θ(xj)^T - Σai

约束条件:Σaiyi = 0

ai >= 0

SVM求解实例

数据:3个点,其中正例X1(3, 3), X2(4, 3), 负例X3(1, 1)

求解:1/2Σaiyiajyi θ(xi)^T*θ(xj)^T - Σai   的最小值

约束条件 a1 + a2 - a3 = 0

ai >= 0, i = 1, 2, 3

原式: 1/2ΣΣaiajyiyj(xi*xj) - Σai : 将数据带入

1/2(18*a1^2 + 25*a2^2 +2*a3^2 +42*a1*a2 - 12*a1*a2 - 14a2*a3) - a1 - a2 - a3

由于: a1 + a2 = 0 化简可得: 4a1^2 + 13/2*a2^2 + 10*a1*a2 - 2a1 - 2a2

求解上述式子的最小值,对a1进行求导使得偏导等于0,解得a1 = 1.5, a2 = -1 不满足约束条件ai >= 0 ,

因此解在边界上,即a1 = 0 时  a2 = -2/13 代入原式 = -0.153 不满足约束条件

a2 = 0时,a1 = 0.25 代入原式=-0.25 满足约束条件

将a结果带入到w =  Σai yi * θ(xi), 解得w = (1/2, 1/2)

b = 1 -  w^T * x = 1 - Σai yi * (xi*xj) 选择第一个x1点带入,

= 1 - (1/4 * 1 * 18 + 1/4 * (-1) * 6 ) = -2

平面方程为:0.5x1 +0.5x2 - 2 = 0

从上述的求解我们可以知道,支持向量机表示的是ai不等于0的店,不是支持向量机其他的点都等于0

机器学习进阶-svm支持向量机的更多相关文章

  1. 机器学习 - 算法 - SVM 支持向量机

    SVM 原理引入 支持向量机( SVM,Support Vector Machine ) 背景 2012年前较为火热, 但是在12年后被神经网络逼宫, 由于应用场景以及应用算法的不同, SVM还是需要 ...

  2. 机器学习之SVM支持向量机

    前言            以下内容是个人学习之后的感悟,转载请注明出处~ 简介 支持向量机(support vector machine),简称SVM,通俗来讲,它是一种二类分类模型,其基本模型定义 ...

  3. 机器学习 - 算法 - SVM 支持向量机 Py 实现 / 人脸识别案例

    SVM 代码实现展示 相关模块引入 %matplotlib inline import numpy as np import matplotlib.pyplot as plt from scipy i ...

  4. 机器学习(四) SVM 支持向量机

    svr_linear = SVR('linear') #基于直线 svr_rbf = SVR('rbf') #基于半径 svr_poly = SVR('poly') #基于多项式

  5. 机器学习实战 - 读书笔记(06) – SVM支持向量机

    前言 最近在看Peter Harrington写的"机器学习实战",这是我的学习笔记,这次是第6章:SVM 支持向量机. 支持向量机不是很好被理解,主要是因为里面涉及到了许多数学知 ...

  6. OpenCV机器学习库函数--SVM

    svm分类算法在opencv3中有了很大的变动,取消了CvSVMParams这个类,因此在参数设定上会有些改变. opencv中的svm分类代码,来源于libsvm. #include "o ...

  7. 6-11 SVM支持向量机2

    SVM支持向量机的核:线性核.进行预测的时候我们需要把正负样本的数据装载在一起,同时我们label标签也要把正负样本的数据全部打上一个label. 第四步,开始训练和预测.ml(machine lea ...

  8. 机器学习:SVM

    SVM 前言:支持向量机(Support Vector Machine, SVM),作为最富盛名的机器学习算法之一,其本身是一个二元分类算法,为了更好的了解SVM,首先需要一些前提知识,例如:梯度下降 ...

  9. Python实现SVM(支持向量机)

    Python实现SVM(支持向量机) 运行环境 Pyhton3 numpy(科学计算包) matplotlib(画图所需,不画图可不必) 计算过程 st=>start: 开始 e=>end ...

随机推荐

  1. 阿里云服务器 ECS Linux操作系统加固

    1. 账号和口令 1.1 禁用或删除无用账号 减少系统无用账号,降低安全风险. 操作步骤 使用命令 userdel <用户名> 删除不必要的账号. 使用命令 passwd -l <用 ...

  2. jQuery绑定和解绑点击事件及重复绑定解决办法

    原文地址:http://www.111cn.net/wy/jquery/47597.htm 绑点击事件这个是jquery一个常用的功能,如click,unbind等等这些事件绑定事情,但还有很多朋友不 ...

  3. jQuery中的跨域问题

    jQuery中的Ajax的跨域问题 jsonp跨域问题:回调函数中的字符串: cb或callback jsonpcallback:跟的是cb后面的函数,主要自己写: 数据中的函数fn(数据) 目前是这 ...

  4. Scrapy实战篇(八)之Scrapy对接selenium爬取京东商城商品数据

    本篇目标:我们以爬取京东商城商品数据为例,展示Scrapy框架对接selenium爬取京东商城商品数据. 背景: 京东商城页面为js动态加载页面,直接使用request请求,无法得到我们想要的商品数据 ...

  5. [UE4]计算小地图比例尺

    一.调整到顶视图,按住鼠标中键从地图的左边拉一根线到右边,可以看到距离是4000厘米(UE4单位是厘米). 二.查看到缩略图片的长度是512px,512/4000 = 0.128,比例尺是0.128. ...

  6. Android 通过联系人姓名查询联系人号码

    <!-- 读联系人权限 --><uses-permission android:name="android.permission.READ_CONTACTS" / ...

  7. 关于promise的几个认知

    1. 为什么要有promise ···从代码上来说回避了回调嵌套的问题,其次promise可以保留异步请求的状态(即使得到结果不立刻执行回调,过一阵再执行仍然是可以的.) ···从思想上来说,我们设计 ...

  8. POJ3159 Candies

    #include <iostream> #include <queue> #include <cstring> #define maxn 30005 #define ...

  9. NT平台ADSL拨号连接密码恢复原理

    NT平台拨号连接密码恢复原理 创建时间:2004-11-08 更新时间:2004-11-12文章属性:原创文章提交:eyas (eyas_at_xfocus.org)NT平台拨号连接密码恢复原理Aut ...

  10. ubuntu 16.04在真实机安装后的静态ip的配置

    nssa-sensor1@nssa-sensor1:~$ vim /etc/network/interfaces 以下是编辑文件的内容# interfaces(5) file used by ifup ...