下面我们抛开1中的问题。介绍拉格朗日对偶。这一篇中的东西都是一些结论,没有证明。

假设我们有这样的问题:$min_{w}$ $f(w)$,使得满足:(1)$g_{i}(w)\leq 0,1\leq i \leq k$,(2)$h_{i}(w)= 0,1\leq i \leq l$

我们定义$L(w,\alpha ,\beta )=f(w)+\sum_{i=1}^{k}\alpha_{i}g_{i}(w)+\sum_{i=1}^{l}\beta_{i}h_{i}(w)$,其中$\alpha,\beta$被称作拉格朗日因子

第一部分:

设$\theta _{p}(w)=max_{\alpha,\beta:\alpha\geq 0}L(w,\alpha ,\beta )$,可以证明当$\theta $满足问题描述中的两个条件时,我们有$\theta _{p}(w)=f(w)$,否则$\theta _{p}(w)=+oo$

然后我们定义$p^{*}=\underset{w}{min}\theta_{p}(w)=\underset{w}{min} \underset{\alpha,\beta:\alpha\geq 0}{max}L(w,\alpha,\beta)$,那么$p^{*}$就是原问题的解。

第二部分:

设$\theta_{D}(\alpha,\beta)=\underset{w}{min}L(w,\alpha,\beta)$

$d^{*}=\underset{\alpha,\beta:\alpha\geq 0}{max} \theta_{D}(\alpha,\beta)=\underset{\alpha,\beta:\alpha\geq 0}{max} \underset{w}{min}L(w,\alpha,\beta)$

总有$d^{*}\leq p^{*}$成立。当函数$g$和函数$f$是凸函数,$h$是线性函数时,等号成立。设取得等号成立时,各参数的值为$w^{*},\alpha^{*},\beta^{*}$,那么,有下面的式子成立:
(1)$\frac{\partial }{\partial w_{i}}L(w^{*},\alpha^{*},\beta^{*})=0,1\leq i \leq n$
(2)$\frac{\partial }{\partial \beta_{i}}L(w^{*},\alpha^{*},\beta^{*})=0,1\leq i \leq l$
(3)$\alpha^{*}g_{i}(w^{*})=0,1\leq i \leq k$
(4)$g_{i}(w^{*}) \leq 0,1\leq i \leq k$
(5)$\alpha^{*} \geq 0,1\leq i \leq k$

SVM学习笔记2-拉格朗日对偶的更多相关文章

  1. SVM学习笔记(一)

    支持向量机即Support Vector Machine,简称SVM.一听这个名字,就有眩晕的感觉.支持(Support).向量(Vector).机器(Machine),这三个毫无关联的词,硬生生地凑 ...

  2. SVM学习笔记

    一.SVM概述 支持向量机(support vector machine)是一系列的监督学习算法,能用于分类.回归分析.原本的SVM是个二分类算法,通过引入“OVO”或者“OVR”可以扩展到多分类问题 ...

  3. SVM学习笔记4-核函数和离群点的处理

    核函数在svm里,核函数是这样定义的.核函数是一个n*n(样本个数)的矩阵,其中:$K_{ij}=exp(-\frac{||x^{(i)}-x^{(j)}||^{2}}{2\sigma ^{2}})$ ...

  4. SVM学习笔记(二)----手写数字识别

    引言 上一篇博客整理了一下SVM分类算法的基本理论问题,它分类的基本思想是利用最大间隔进行分类,处理非线性问题是通过核函数将特征向量映射到高维空间,从而变成线性可分的,但是运算却是在低维空间运行的.考 ...

  5. 机器学习6—SVM学习笔记

    机器学习牛人博客 机器学习实战之SVM 三种SVM的对偶问题 拉格朗日乘子法和KKT条件 支持向量机通俗导论(理解SVM的三层境界) 解密SVM系列(一):关于拉格朗日乘子法和KKT条件 解密SVM系 ...

  6. SVM学习笔记(一):libsvm参数说明(转)

    LIBSVM 数据格式需要---------------------- 决策属性 条件属性a 条件属性b ... 2 1:7 2:5 ... 1 1:4 2:2 ... 数据格式转换--------- ...

  7. SVM学习笔记-线性支撑向量机

    对于PLA算法来说,最终得到哪一条线是不一定的,取决于算法scan数据的过程. 从VC bound的角度来说,上述三条线的复杂度是一样的 Eout(w)≤Ein0+Ω(H)dvc= ...

  8. SVM学习笔记5-SMO

    首先拿出最后要求解的问题:$\underset{\alpha}{min}W(\alpha)=\frac{1}{2} \sum_{i,j=1}^{n}y^{(i)}y^{(j)}\alpha_{i}\a ...

  9. SVM学习笔记3-问题转化

    在1中,我们的求解问题是:$min_{w,b}$ $\frac{1}{2}||w||^{2}$,使得$y^{(i)}(w^{T}x^{(i)}+b)\geq 1 ,1 \leq i \leq n$ 设 ...

随机推荐

  1. react结合redux开发

    先加上我码云的地址:https://gitee.com/ldlx/react_and_rudex

  2. Java包装

    public class Test2 { public static void main(String[] args) { /*String str = "..............&qu ...

  3. N-城堡问题

    1 2 3 4 5 6 7 ############################# 1 # | # | # | | # #####---#####---#---#####---# 2 # # | ...

  4. 强化学习--DeepQnetwork 的一些改进

    Double DQN 算Q值 与选Q值是分开的,2个网络. Multi-step Dueling DQN 如果更新了,即使有的action没有被采样到,也会更新Q值 Prioritized Reply ...

  5. php实现多进程

    转:http://www.jb51.net/article/71238.htm cd php-version/ext/pcntl phpize ./configure && make ...

  6. STL容器vector应用注意事项

    [1]提前分配足够空间以免不必要的重新分配和复制代价 关于vector容器重新分配和复制及析构释放的代价,请参见随笔<STL容器之vector>. 应用示例对比代码如下: #include ...

  7. SLAM学习笔记 - 视觉SLAM方法资源汇总

    工具类: ros框架 linux系列教程     vim Eigen     Eigen快速入门 Pangolin  Pangolin安装与使用 数据集: TUM         数据格式 提供pyt ...

  8. django2.0 路由规则

    Django2.0中URL的路由机制 路由是关联url及其处理函数关系的过程.Django的url路由配置在settings.py文件中ROOT_URLCONF变量指定全局路由文件名称. Django ...

  9. 转:C# 小数位数保留的方法集锦

    转载自:http://www.jb51.net/article/17010.htm 1. System.Globalization.NumberFormatInfo provider = new Sy ...

  10. golang学习笔记14 golang substring 截取字符串

    golang学习笔记14 golang substring 截取字符串golang 没有java那样的substring函数,但支持直接根据 index 截取字符串mystr := "hel ...