内容来自：https://github.com/GreedyAIAcademy/Machine-Learning

最初

支持向量机的目的：找到一条好的分割线
什么杨的分割线最好？
有最大间隔的分割线最好。

推导过程

Support Vector是被选中用于计算的点，也就是距离分界线最近的几个点。

显然d1+d2=“向量(x1-x2)的模”*cosθ。
根据向量内机的算法：向量w*向量(x1-x2)=|w|*|x1-x2|cosθ
因此，d1+d2=向量w*向量(x1-x2)/|w|，又根据上面的两个方程式相加就可以知道d1+d2=2/|w|

又因为向量w向量w的转置矩阵=|w|的平方
所以为了让(d1+d2)最大，也就是让"向量w向量w的转置矩阵"最小，然后再加上一个松弛变量就有了这样的方程：

实际生活中如果考虑全部的点很有可能画不出分割线，松弛变量的意思就是舍弃一些点画出分割线：

最终的向量内积方程的形式是：

扩展SVM到支持多个类别

两种方法:

  1. OVR (one versus rest): 对于K个类别的情况, 训练K个SVM, 第 j 个SVM用于判读任意条数据是属于类别 j 还是属于类别非 j. 预测的时候, 具有最大值的

    机器学习笔记4:SVM支持向量积的推导过程的更多相关文章

    1. Python机器学习笔记：SVM（1）——SVM概述

      前言 整理SVM(support vector machine)的笔记是一个非常麻烦的事情,一方面这个东西本来就不好理解,要深入学习需要花费大量的时间和精力,另一方面我本身也是个初学者,整理起来难免思 ...

    2. 机器学习笔记——支持向量机 （SVM）

      声明: 机器学习系列主要记录自己学习机器学习算法过程中的一些参考和总结,其中有部分内容是借鉴参考书籍和参考博客的. 目录: 什么支持向量机(SVM) SVM中必须知道的概念 SVM实现过程 SVM核心 ...

    3. 吴恩达机器学习笔记（六） —— 支持向量机SVM

      主要内容: 一.损失函数 二.决策边界 三.Kernel 四.使用SVM (有关SVM数学解释:机器学习笔记(八)震惊!支持向量机(SVM)居然是这种机) 一.损失函数 二.决策边界 对于: 当C非常 ...

    4. Python机器学习笔记：sklearn库的学习

      网上有很多关于sklearn的学习教程,大部分都是简单的讲清楚某一方面,其实最好的教程就是官方文档. 官方文档地址:https://scikit-learn.org/stable/ (可是官方文档非常 ...

    5. [ML从入门到入门] 支持向量机：从SVM的推导过程到SMO的收敛性讨论

      前言 支持向量机(Support Vector Machine,SVM)在70年代由苏联人 Vladimir Vapnik 提出,主要用于处理二分类问题,也就是研究如何区分两类事物. 本文主要介绍支持 ...

    6. 机器学习之支持向量机—SVM原理代码实现

      支持向量机—SVM原理代码实现 本文系作者原创,转载请注明出处:https://www.cnblogs.com/further-further-further/p/9596898.html 1. 解决 ...

    7. Python机器学习笔记：使用Keras进行回归预测

      Keras是一个深度学习库,包含高效的数字库Theano和TensorFlow.是一个高度模块化的神经网络库,支持CPU和GPU. 本文学习的目的是学习如何加载CSV文件并使其可供Keras使用,如何 ...

    8. Python机器学习笔记：不得不了解的机器学习面试知识点（1）

      机器学习岗位的面试中通常会对一些常见的机器学习算法和思想进行提问,在平时的学习过程中可能对算法的理论,注意点,区别会有一定的认识,但是这些知识可能不系统,在回答的时候未必能在短时间内答出自己的认识,因 ...

    9. 机器学习 支持向量机（SVM） 从理论到放弃，从代码到理解

      基本概念 支持向量机(support vector machines,SVM)是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器.支持向量机还包括核技巧,这使它成为实质上的非线性分 ...

    随机推荐

    1. Vue模板语法(二)

      Vue模板语法(二) 样式绑定  class绑定 使用方式:v-bind:class="expression" expression的类型:字符串.数组.对象 1.2 style绑 ...

    2. 洛谷 U96762 小R与三角形 题解

      U96762 小R与三角形 原题链接 题目描述 小 R 所在的小镇有 n 个村落,这 n 个村落分布在一个圆周上,这些村落之间两两有直达的小路,小路可能相交,但不存在三条路交于一点.现在小 R 正好放 ...

    3. c04--数组

      0.展示PTA总分 1.本章学习内容总结 1.1学习内容总结 数组查找: 1.遍历法查找:从头遍历数组找对应数据. 2.二分法查找:适用于按顺序排列的整形数组. 插入数据: 先找到该数据,对数组进行移 ...

    4. Qt QThread两种方式的使用：1-继承QThread重写run函数； 2- 继承QObject并moveToThread && 消息和槽在线程和依附线程间的传递

      2019年08月18日起笔 方式一:继承QThread重写run函数 MyThread.h ----------------------------------- ... class MyThread ...

    5. Android Studio 之 控件基础知识

      1. TextView 和 EditText 控件常用属性  android:layout_width="match_parent" 宽度与父控件一样宽 android:layou ...

    6. Oracle_本地计算机上的OracleOraDb11g_home1TNSListener 服务启动后停止

      这个IP地址要写对,写成本机IP4的地址

    7. linux运维 技能树

      linux运维 技能树:: 初级运维: 基础:mysql基础,网络基础,计算机基础,linux系统vim, nginx ,grep ,awk,sed ,zaabix和常用开源软件,java tomca ...

    8. AI保存文件出现了未知错误 (Adobe Illustrator)

      可能的原因如下:1 把文件中所有的文字全选,转成曲线,把所有的文字都创建成轮廓2 新建一个页面,把制作的复制到新页面里3 需要把图层全部解锁再保存4 没有权限,设置一下即可5 PRINT SPOOLE ...

    9. Elasticsearch 7.1.1 安装 pinyin 分词器插件

      1.安装maven 安装插件前,需要用 maven 进行编译生成插件包,第一步先安装 maven yum install -y maven mvn -version Apache Maven (Red ...

    10. spring boot Websocket

      本文只作为个人笔记,大部分代码是引用其他人的文章的. 参考: https://blog.csdn.net/moshowgame/article/details/80275084 在springboot ...