SVM

　　时间复杂度一般为O（N³）

　　最重要的是推导过程

　　NIPS（机器学习顶级会议）

　　如果给定一个训练集，我们的目标是给定一个边界（一条线），离他最近的训练集样本路越宽越好

下面的几张图反映了SVM的推导过程，可惜，这个文本编辑框不太熟，没法解释具体个中过程，只好

　　先说中间涉及的各个知识。

KEY IDEAS

推导过程：

　　

　　　　　　　　　　　　　　　　图（1）

　　涉及到向量的投影，，以中间距离正负样本点几乎等宽的粗线为分界线 l，从原点引出一条向量W，垂直于 l，X正为正样本点，

X负为负样本点，大于1为正，小于1为负，以此分开。

　　 

　　　　　　　　　　　　　　　　图（2）

将图（1）中右侧两个式子合并，得到②式，X为样本区域附近

　　

　　　　　　　　　　　　　　　　图（3）

　　向量W的max是（正样本点-负样本点）*单位1，WIDTH的式子展开，将左下角的②式带入，

消元，只剩下2倍的向量W的长度值。

　　 

　　　　　　　　　　　　　　　　图（4）

　　转化成求左下角的式子。。。

　　

　　　　　　　　　　　　　　图（5）

　　上图此处要用到多元偏导的知识，求极值，得出方框里的值

　　

　　　　　　　　　　　　　　图（6）

　　化简后的值。

　　

　　　　　　　　　　　　　　　　图（7）

　　终极BOSS!

核函数的作用: 将高维映射为低维，这一点涉及的知识点比较系统，有时间的话，重新整理发布一下，^_^

　　　　　　　　　　　　　　　　图（8）

　　

　　　　　　　　　　　　　　　　图（9）

五、SVM推导过程的更多相关文章

  1. [ML从入门到入门] 支持向量机：从SVM的推导过程到SMO的收敛性讨论

    前言 支持向量机(Support Vector Machine,SVM)在70年代由苏联人 Vladimir Vapnik 提出,主要用于处理二分类问题,也就是研究如何区分两类事物. 本文主要介绍支持 ...

  2. 机器学习笔记4:SVM支持向量积的推导过程

    内容来自:https://github.com/GreedyAIAcademy/Machine-Learning 最初 支持向量机的目的:找到一条好的分割线 什么杨的分割线最好? 有最大间隔的分割线最 ...

  3. SVM计算过程，对偶形式，核函数

    SVM是一个分类方法,用w^X+b定义分类函数, 于是求w.b,为寻最大间隔,引出1/2||w||^2,继而引入拉格朗日因子,化为对单一因数对偶变量a的求解(求解过程中会涉及到一系列最优化或凸二 次规 ...

  4. XGBoost 完整推导过程

    参考: 陈天奇-"XGBoost: A Scalable Tree Boosting System" Paper地址: <https://arxiv.org/abs/1603 ...

  5. 关于opengl中的矩阵平移，矩阵旋转，推导过程理解 OpenGL计算机图形学的一些必要矩阵运算知识

    原文作者:aircraft 原文链接:https://www.cnblogs.com/DOMLX/p/12166896.html 为什么引入齐次坐标的变换矩阵可以表示平移呢? - Yu Mao的回答 ...

  6. BP神经网络推导过程详解

    BP算法是一种最有效的多层神经网络学习方法,其主要特点是信号前向传递,而误差后向传播,通过不断调节网络权重值,使得网络的最终输出与期望输出尽可能接近,以达到训练的目的. 一.多层神经网络结构及其描述 ...

  7. 1014 C语言文法定义与C程序的推导过程 程序：冒泡算法C程序（语法树）

    阅读并理解提供给大家的C语言文法文件. 参考该文件写出一个自己好理解版的现实版的完整版的C语言文法. 给出一段C程序,画出用上述文法产生这段C程序的完整语法树. 程序:冒泡算法C程序 点此文字查看原图 ...

  8. 1029 C语言文法定义与C程序的推导过程

    1 阅读并理解提供给大家的C语言文法文件. 2 参考该文件写出一个自己好理解版的现实版的完整版的C语言文法. 3 给出一段C程序,写出用上述文法产生这段C程序的推导过程. program → exte ...

  9. 吴恩达深度学习第1课第4周-任意层人工神经网络(Artificial Neural Network，即ANN)（向量化）手写推导过程（我觉得已经很详细了）

    学习了吴恩达老师深度学习工程师第一门课,受益匪浅,尤其是吴老师所用的符号系统,准确且易区分． 遵循吴老师的符号系统,我对任意层神经网络模型进行了详细的推导,形成笔记． 有人说推导任意层MLP很容易,我 ...

随机推荐

  1. SpringIOE-以xml方式实现

    SpringIOC框架简单实现 简单介绍 依赖注入( Dependency Injection ,简称 DI) 与控制反转 (IoC) 的含义相同,只不过这两个称呼是从两个角度描述的同一个概念,具体如 ...

  2. flex 弹性盒模型的一些例子；

    1.垂直居中 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UT ...

  3. android添加账户源码浅析

    上篇粗略的分析android添加账号的流程,本篇深入的解析下执行步骤.先来看图片,取自深入理解android卷2: 上图详细的分析了addAccount的流程,下面我们结合源码来理解它 1.addAc ...

  4. POJ1698 最大流或者匈牙利

    题意:       一个人他有n个任务,每个任务都有一些限制:  (1)只能在一个星期中指定的日子去做,比如周1 2 6啥的  (2)总工作量有几天,就是一共要工作几天  (3)必须在几周之内完成,就 ...

  5. jquery简单实现tab选项卡效果

    html: <ul class="tab"> <li>最新</li> <li class="cur">热门< ...

  6. XCTF-i-get-id-200

    i-get-id-200 题目描述 嗯..我刚建好了一个网站 解题过程 一共有三个页面 Hello World 告诉了页面是perl写的 Forms 输入name和age会返回渲染后的字符串 搜了一下 ...

  7. 【.Net Core】分析.net core在linux下内存占用过高问题

    现象 随着程序运行,内存占用率越来越高,直到触发linux的OOM,程序被杀死. 分析工具 运行环境:.net core 3.1(微软的分析工具要求最低3.0,无法分析2.1的core程序,需要先改为 ...

  8. DWVA--File Inclusion

    文件包含漏洞 先来了解一下什么是文件包含 因为程序开放人员通常会把可重复使用的函数写到单个文件中,在需要使用到这些函数时候,就可以 直接调用这个文件,这种对文件的调用过程就被称为文件包含. 文件包含漏 ...

  9. XAML一些控件的使用

    这节来讲一些XAML中常用控件的使用. Window Window控件是一个基础,它是其它控件的容器,我们可以通过修改其中的一些属性来设置窗体的显示效果,下面说一些最常用的属性: WindowStar ...

  10. C++基础——文件逐行读取与字符匹配

    技术背景 用惯了python,对其他语言就比较的生疏.但是python很多时候在性能上比较受局限,这里尝试通过C++来实现一个文件IO的功能,看看是否能够比python的表现更好一些.关于python ...