我眼中的支持向量机(SVM)
看吴恩达支持向量机的学习视频,看了好几遍,才有一点的理解,梳理一下相关知识。
(1)优化目标:
支持向量机也是属于监督学习算法,先从优化目标开始。
优化目标是从Logistics regression一步步推导过程,推导过程略
这里cost1和cost0函数图像为:
Z是theta的转置和x的内积。当Z>=1时,cost1 = 0. 当Z<=-1时,cost0 = 0.
因为要最小化损失函数
if y = 0 :我们希望Z >=1 (不仅仅要大于零,这里是与逻辑回归相比,如下图)
if y = 0 :我们希望Z <=-1 (不仅仅要小于零,这里是与逻辑回归相比,如下图)
通过这样的对比发现支持向量机的要求要比逻辑回归更加严格,这也说明了支持向量机的安全距离更高。就像下图中黑线,如果你想知道为什么,下一部分将会揭晓。
有的时候样本并没有上图分的那样好,可能有几个点不符合,支持向量机将会对此很敏感,例如下图,这样的分割(红线)并不是我们想要的,这就需要调整参数C的值,当C的值不是很大的时候将会忽略一些异常点,让分割更加合理。
接下来从数学层面上分析,为什么会得到上图的分割
将会对进一步转化,学习向量内积的相关知识,可以转化为
,如下图,表示距离
那么我们替换一下上面的表达式为下图
好,接下来,用一个例子说明,假如要对下图划分,假如,简化问题,使:
如果把它分割成这样,绿色线是决策边界和theta向量成90度夹角:
如果这样分的话,可以看到P1和P2的值相对较小,而要满足这样就会导致theta增大,所以还要进行优化调整。
如果这样分呢,显然距离P1,P2增大了,相应的theta的值也要减小,有人问,为什么要theta减小,别忘了我们最初的目的是让最小,这样做是不是更加合理了呢,所以说支持向量机是一个大间距分类器。
当然,以上都是简单的线性分类,如果变得更复杂点该怎样解决呢?例如
对于这样的样本,你可能会使用多项式来设置假设函数,但是如果特征再多点,像一张图片,那么将会十分麻烦,所以就有了核函数。
根据我的理解,假如你想在地图上确定你现在属于哪一个区域,你需要找到几个地标性建筑,然后把自己的位置和地标建筑进行比较,就能确定了。就是这个道理。
给定一个训练样本x,我们利用x的各个特征与我们预先选定的地标(landmarks)L1,L2,L3的近似程度来选取新的特征f1,f2,f3。
变换用的核函数有很多,这里使用高斯核函数,,也就是x距离L1近了为1,远了为0,其它也是一样道理。
假如我们已经知道theta1,theta2,theta3的值,那么给一个测试样本x,根据高斯核函数计算出三个特征值。大于零预测y值为1,小于零为0,如下图所示。
如何得到地标,可以把训练集中的样本点当成地标,这样
m表示训练集元素的个数。这样损失函数为:
当然还可以选择其他核函数。
我眼中的支持向量机(SVM)的更多相关文章
- 机器学习之支持向量机—SVM原理代码实现
支持向量机—SVM原理代码实现 本文系作者原创,转载请注明出处:https://www.cnblogs.com/further-further-further/p/9596898.html 1. 解决 ...
- 【IUML】支持向量机SVM
从1995年Vapnik等人提出一种机器学习的新方法支持向量机(SVM)之后,支持向量机成为继人工神经网络之后又一研究热点,国内外研究都很多.支持向量机方法是建立在统计学习理论的VC维理论和结构风险最 ...
- 机器学习:Python中如何使用支持向量机(SVM)算法
(简单介绍一下支持向量机,详细介绍尤其是算法过程可以查阅其他资) 在机器学习领域,支持向量机SVM(Support Vector Machine)是一个有监督的学习模型,通常用来进行模式识别.分类(异 ...
- 以图像分割为例浅谈支持向量机(SVM)
1. 什么是支持向量机? 在机器学习中,分类问题是一种非常常见也非常重要的问题.常见的分类方法有决策树.聚类方法.贝叶斯分类等等.举一个常见的分类的例子.如下图1所示,在平面直角坐标系中,有一些点 ...
- 机器学习算法 - 支持向量机SVM
在上两节中,我们讲解了机器学习的决策树和k-近邻算法,本节我们讲解另外一种分类算法:支持向量机SVM. SVM是迄今为止最好使用的分类器之一,它可以不加修改即可直接使用,从而得到低错误率的结果. [案 ...
- 支持向量机SVM——专治线性不可分
SVM原理 线性可分与线性不可分 线性可分 线性不可分-------[无论用哪条直线都无法将女生情绪正确分类] SVM的核函数可以帮助我们: 假设‘开心’是轻飘飘的,“不开心”是沉重的 将三维视图还原 ...
- 一步步教你轻松学支持向量机SVM算法之案例篇2
一步步教你轻松学支持向量机SVM算法之案例篇2 (白宁超 2018年10月22日10:09:07) 摘要:支持向量机即SVM(Support Vector Machine) ,是一种监督学习算法,属于 ...
- 一步步教你轻松学支持向量机SVM算法之理论篇1
一步步教你轻松学支持向量机SVM算法之理论篇1 (白宁超 2018年10月22日10:03:35) 摘要:支持向量机即SVM(Support Vector Machine) ,是一种监督学习算法,属于 ...
- OpenCV 学习笔记 07 支持向量机SVM(flag)
1 SVM 基本概念 本章节主要从文字层面来概括性理解 SVM. 支持向量机(support vector machine,简SVM)是二类分类模型. 在机器学习中,它在分类与回归分析中分析数据的监督 ...
- OpenCV支持向量机(SVM)介绍
支持向量机(SVM)介绍 目标 本文档尝试解答如下问题: 如何使用OpenCV函数 CvSVM::train 训练一个SVM分类器, 以及用 CvSVM::predict 测试训练结果. 什么是支持向 ...
随机推荐
- Apollo的Oracle适配改动
这几天工作需要使用Apollo配置中心.Apollo唯一的依赖是MySQL数据库,然而公司只有Oracle数据库资源.这里有一个Oracle适配改动的分支,但是它是基于0.8.0版本的Apollo.看 ...
- Python进程池Pool
''' 进程池,启动一个进程就要克隆一份数据,假设父进程1G,那么启动进程开销很大 避免启动太多造成系统瘫痪,就有进程池,即同一时间允许的进程数量 ps:线程没有池,因为线程启动开销小,线程有类似信号 ...
- 【Linux基础】mount报错:mount.nfs: Remote I/O error
问题描述:mount 报错:mount.nfs: Remote I/O error 挂载时需要指明版本,由于NFS服务器有多个版本,V2.V3.V4.而且各版本同时运行,因此挂载时需要说明版本号. 由 ...
- JavaScript代码组织结构良好的5个特点
JavaScript代码组织结构良好的5个特点,随着JavaScript项目的成长,如果你不小心处理的话,他们往往会变得难以管理.我们发现自己常常陷入的一些问题: 当在创建新的页面时发现,很难重用或测 ...
- TabBar用到bottomNavigationBar
import 'package:flutter/material.dart';import 'homepage.dart';import 'lastpage.dart';import 'secondp ...
- [看图说话]在VMware Workstation 9中安装Mac OS X 10.8 Mountain Lion
本文环境: CPU:Intel Core i7 920: OS:Windows 7: 内存:8G: 玩Hackintosh各有各的理由,不管什么理由,利用虚拟机安装Mac OS X都是一个可行的办法. ...
- 利用cocoapods管理开源项目,支持 pod install安装整个流程记录(github公有库)
利用cocoapods管理开源项目,支持 pod install安装整个流程记录(github公有库),完成预期的任务,大致有下面几步: 1.代码提交到github平台 2.创建.podspec 3. ...
- Mybatis逆向工程 —— ResultMaps collection already contains value for ***
报错提示: Result Maps collection already contains value for ***. 遭遇场景: maven+ssm 项目中,采用了mybatis的逆向工程生成 p ...
- mybatis 使用缓存策略
mybatis中默认开启缓存 1.mybatis中,默认是开启缓存的,缓存的是一个statement对象. 不同情况下是否会使用缓存 同一个SqlSession对象,重复调用同一个id的<sel ...
- Kubernetes(基础 一):进程
容器其实是一种沙盒技术.顾名思义,沙盒就是能够像一个集装箱一样,把你的应用“装”起来的技术.这样,应用与应用之间,就因为有了边界而不至于相互干扰:而被装进集装箱的应用,也可以被方便地搬来搬去,这不就是 ...