内容来自：https://github.com/GreedyAIAcademy/Machine-Learning

最初

支持向量机的目的：找到一条好的分割线
什么杨的分割线最好？
有最大间隔的分割线最好。

推导过程

Support Vector是被选中用于计算的点，也就是距离分界线最近的几个点。

显然d1+d2=“向量(x1-x2)的模”*cosθ。
根据向量内机的算法：向量w*向量(x1-x2)=|w|*|x1-x2|cosθ
因此，d1+d2=向量w*向量(x1-x2)/|w|，又根据上面的两个方程式相加就可以知道d1+d2=2/|w|

又因为向量w向量w的转置矩阵=|w|的平方
所以为了让(d1+d2)最大，也就是让"向量w向量w的转置矩阵"最小，然后再加上一个松弛变量就有了这样的方程：

实际生活中如果考虑全部的点很有可能画不出分割线，松弛变量的意思就是舍弃一些点画出分割线：

最终的向量内积方程的形式是：

扩展SVM到支持多个类别

两种方法:

  1. OVR (one versus rest): 对于K个类别的情况, 训练K个SVM, 第 j 个SVM用于判读任意条数据是属于类别 j 还是属于类别非 j. 预测的时候, 具有最大值的

    机器学习笔记4:SVM支持向量积的推导过程的更多相关文章

    1. Python机器学习笔记：SVM（1）——SVM概述

      前言 整理SVM(support vector machine)的笔记是一个非常麻烦的事情,一方面这个东西本来就不好理解,要深入学习需要花费大量的时间和精力,另一方面我本身也是个初学者,整理起来难免思 ...

    2. 机器学习笔记——支持向量机 （SVM）

      声明: 机器学习系列主要记录自己学习机器学习算法过程中的一些参考和总结,其中有部分内容是借鉴参考书籍和参考博客的. 目录: 什么支持向量机(SVM) SVM中必须知道的概念 SVM实现过程 SVM核心 ...

    3. 吴恩达机器学习笔记（六） —— 支持向量机SVM

      主要内容: 一.损失函数 二.决策边界 三.Kernel 四.使用SVM (有关SVM数学解释:机器学习笔记(八)震惊!支持向量机(SVM)居然是这种机) 一.损失函数 二.决策边界 对于: 当C非常 ...

    4. Python机器学习笔记：sklearn库的学习

      网上有很多关于sklearn的学习教程,大部分都是简单的讲清楚某一方面,其实最好的教程就是官方文档. 官方文档地址:https://scikit-learn.org/stable/ (可是官方文档非常 ...

    5. [ML从入门到入门] 支持向量机：从SVM的推导过程到SMO的收敛性讨论

      前言 支持向量机(Support Vector Machine,SVM)在70年代由苏联人 Vladimir Vapnik 提出,主要用于处理二分类问题,也就是研究如何区分两类事物. 本文主要介绍支持 ...

    6. 机器学习之支持向量机—SVM原理代码实现

      支持向量机—SVM原理代码实现 本文系作者原创,转载请注明出处:https://www.cnblogs.com/further-further-further/p/9596898.html 1. 解决 ...

    7. Python机器学习笔记：使用Keras进行回归预测

      Keras是一个深度学习库,包含高效的数字库Theano和TensorFlow.是一个高度模块化的神经网络库,支持CPU和GPU. 本文学习的目的是学习如何加载CSV文件并使其可供Keras使用,如何 ...

    8. Python机器学习笔记：不得不了解的机器学习面试知识点（1）

      机器学习岗位的面试中通常会对一些常见的机器学习算法和思想进行提问,在平时的学习过程中可能对算法的理论,注意点,区别会有一定的认识,但是这些知识可能不系统,在回答的时候未必能在短时间内答出自己的认识,因 ...

    9. 机器学习 支持向量机（SVM） 从理论到放弃，从代码到理解

      基本概念 支持向量机(support vector machines,SVM)是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器.支持向量机还包括核技巧,这使它成为实质上的非线性分 ...

    随机推荐

    1. selenium--页面元素相关的操作

      获取元素的标签和元素大小 from selenium import webdriver import unittest class Test_BasicInfo(unittest.TestCase): ...

    2. python总结五

      1.is和==的区别:官方文档解释:is表示的是对象标识符,而==表示的是相等equal,is的作用是用来检查对象的标识符是否一致,也就是两个对象在内存中的地址是否一样 而==是用来检查两个对象是否相 ...

    3. 《BLACK HAT PYTHON3》

      Black Hat Python3 kali 安装新版本python kali中自带的pyhton是2.7版本,显然2019年了,python2.x的版本已经逐渐过时,好多第三方库都逐步宣布不再支持p ...

    4. 【操作系统之五】Linux常用命令之grep

      一.概念grep(Global search Regular Expression and Print out the line)强大的文本搜索工具,从文本文件或管道数据流中筛选匹配的行及数据,并把匹 ...

    5. mysql创建存储过程动态SQL语句

      DROP PROCEDURE IF EXISTS x.`wk`; DELIMITER $$ CREATE PROCEDURE `x`.`wk`() BEGIN ); ); SET t = CONCAT ...

    6. NeuCF源码中用到的模块（函数）

      论文:<Neural Collaborative Filtering>源码中用到的模块(函数) from keras.layers import Embedding, Input, Den ...

    7. Alpha冲刺(10/10)——2019.5.2

      作业描述 课程 软件工程1916|W(福州大学) 团队名称 修!咻咻! 作业要求 项目Alpha冲刺(团队) 团队目标 切实可行的计算机协会维修预约平台 开发工具 Eclipse 团队信息 队员学号 ...

    8. [原创]K8Cscan4.0之Base64/HEX密码批量加密解密插件以及源码

      前言 今天抽空更新了Cscan,新增对C#编译的EXE动态调用,新增对PowerShell脚本动态调用(无论是否安装PowerShell) 增加一个字符串列表str.txt,用于存放任意字符串,比如帐 ...

    9. 发现一个企业微信第三方应用开发的疑似BUG

      1.企业微信两个账号A(超级管理员),账号B(分级管理员),账号B具有创建应用与小程序权限.2.账号B添加一个第三方应用后(创建后能看到第三方应用),使用下图接口登录时回调的agent一直为空,3.超 ...

    10. 洛谷P3957：跳房子——题解

      https://www.luogu.org/problem/P3957 沉迷普及组题无法自拔. 显然二分答案,然后里面套个dp,$f[i]$表示跳到第$i$个格子的最大得分,复杂度$O(n^2logn ...