SVM学习笔记2-拉格朗日对偶
下面我们抛开1中的问题。介绍拉格朗日对偶。这一篇中的东西都是一些结论,没有证明。
假设我们有这样的问题:$min_{w}$ $f(w)$,使得满足:(1)$g_{i}(w)\leq 0,1\leq i \leq k$,(2)$h_{i}(w)= 0,1\leq i \leq l$
我们定义$L(w,\alpha ,\beta )=f(w)+\sum_{i=1}^{k}\alpha_{i}g_{i}(w)+\sum_{i=1}^{l}\beta_{i}h_{i}(w)$,其中$\alpha,\beta$被称作拉格朗日因子
第一部分:
设$\theta _{p}(w)=max_{\alpha,\beta:\alpha\geq 0}L(w,\alpha ,\beta )$,可以证明当$\theta $满足问题描述中的两个条件时,我们有$\theta _{p}(w)=f(w)$,否则$\theta _{p}(w)=+oo$
然后我们定义$p^{*}=\underset{w}{min}\theta_{p}(w)=\underset{w}{min} \underset{\alpha,\beta:\alpha\geq 0}{max}L(w,\alpha,\beta)$,那么$p^{*}$就是原问题的解。
第二部分:
设$\theta_{D}(\alpha,\beta)=\underset{w}{min}L(w,\alpha,\beta)$
$d^{*}=\underset{\alpha,\beta:\alpha\geq 0}{max} \theta_{D}(\alpha,\beta)=\underset{\alpha,\beta:\alpha\geq 0}{max} \underset{w}{min}L(w,\alpha,\beta)$
总有$d^{*}\leq p^{*}$成立。当函数$g$和函数$f$是凸函数,$h$是线性函数时,等号成立。设取得等号成立时,各参数的值为$w^{*},\alpha^{*},\beta^{*}$,那么,有下面的式子成立:
(1)$\frac{\partial }{\partial w_{i}}L(w^{*},\alpha^{*},\beta^{*})=0,1\leq i \leq n$
(2)$\frac{\partial }{\partial \beta_{i}}L(w^{*},\alpha^{*},\beta^{*})=0,1\leq i \leq l$
(3)$\alpha^{*}g_{i}(w^{*})=0,1\leq i \leq k$
(4)$g_{i}(w^{*}) \leq 0,1\leq i \leq k$
(5)$\alpha^{*} \geq 0,1\leq i \leq k$
SVM学习笔记2-拉格朗日对偶的更多相关文章
- SVM学习笔记(一)
支持向量机即Support Vector Machine,简称SVM.一听这个名字,就有眩晕的感觉.支持(Support).向量(Vector).机器(Machine),这三个毫无关联的词,硬生生地凑 ...
- SVM学习笔记
一.SVM概述 支持向量机(support vector machine)是一系列的监督学习算法,能用于分类.回归分析.原本的SVM是个二分类算法,通过引入“OVO”或者“OVR”可以扩展到多分类问题 ...
- SVM学习笔记4-核函数和离群点的处理
核函数在svm里,核函数是这样定义的.核函数是一个n*n(样本个数)的矩阵,其中:$K_{ij}=exp(-\frac{||x^{(i)}-x^{(j)}||^{2}}{2\sigma ^{2}})$ ...
- SVM学习笔记(二)----手写数字识别
引言 上一篇博客整理了一下SVM分类算法的基本理论问题,它分类的基本思想是利用最大间隔进行分类,处理非线性问题是通过核函数将特征向量映射到高维空间,从而变成线性可分的,但是运算却是在低维空间运行的.考 ...
- 机器学习6—SVM学习笔记
机器学习牛人博客 机器学习实战之SVM 三种SVM的对偶问题 拉格朗日乘子法和KKT条件 支持向量机通俗导论(理解SVM的三层境界) 解密SVM系列(一):关于拉格朗日乘子法和KKT条件 解密SVM系 ...
- SVM学习笔记(一):libsvm参数说明(转)
LIBSVM 数据格式需要---------------------- 决策属性 条件属性a 条件属性b ... 2 1:7 2:5 ... 1 1:4 2:2 ... 数据格式转换--------- ...
- SVM学习笔记-线性支撑向量机
对于PLA算法来说,最终得到哪一条线是不一定的,取决于算法scan数据的过程. 从VC bound的角度来说,上述三条线的复杂度是一样的 Eout(w)≤Ein0+Ω(H)dvc= ...
- SVM学习笔记5-SMO
首先拿出最后要求解的问题:$\underset{\alpha}{min}W(\alpha)=\frac{1}{2} \sum_{i,j=1}^{n}y^{(i)}y^{(j)}\alpha_{i}\a ...
- SVM学习笔记3-问题转化
在1中,我们的求解问题是:$min_{w,b}$ $\frac{1}{2}||w||^{2}$,使得$y^{(i)}(w^{T}x^{(i)}+b)\geq 1 ,1 \leq i \leq n$ 设 ...
随机推荐
- react结合redux开发
先加上我码云的地址:https://gitee.com/ldlx/react_and_rudex
- Java包装
public class Test2 { public static void main(String[] args) { /*String str = "..............&qu ...
- N-城堡问题
1 2 3 4 5 6 7 ############################# 1 # | # | # | | # #####---#####---#---#####---# 2 # # | ...
- 强化学习--DeepQnetwork 的一些改进
Double DQN 算Q值 与选Q值是分开的,2个网络. Multi-step Dueling DQN 如果更新了,即使有的action没有被采样到,也会更新Q值 Prioritized Reply ...
- php实现多进程
转:http://www.jb51.net/article/71238.htm cd php-version/ext/pcntl phpize ./configure && make ...
- STL容器vector应用注意事项
[1]提前分配足够空间以免不必要的重新分配和复制代价 关于vector容器重新分配和复制及析构释放的代价,请参见随笔<STL容器之vector>. 应用示例对比代码如下: #include ...
- SLAM学习笔记 - 视觉SLAM方法资源汇总
工具类: ros框架 linux系列教程 vim Eigen Eigen快速入门 Pangolin Pangolin安装与使用 数据集: TUM 数据格式 提供pyt ...
- django2.0 路由规则
Django2.0中URL的路由机制 路由是关联url及其处理函数关系的过程.Django的url路由配置在settings.py文件中ROOT_URLCONF变量指定全局路由文件名称. Django ...
- 转:C# 小数位数保留的方法集锦
转载自:http://www.jb51.net/article/17010.htm 1. System.Globalization.NumberFormatInfo provider = new Sy ...
- golang学习笔记14 golang substring 截取字符串
golang学习笔记14 golang substring 截取字符串golang 没有java那样的substring函数,但支持直接根据 index 截取字符串mystr := "hel ...