《统计学习方法》极简笔记P2:感知机数学推导
感知机模型
输入空间是$\chi\subseteq\mathbb{R}^n$,输出空间是$y={+1,-1}$
感知机定义为:$f(x)=sign(wx+b)$
感知机学习策略
输入空间任一点$x_0$到超平面S的距离:
$\frac{1}{||w||}|wx_0+b|$
误分类数据$(x_i,y_i)$,有$-y_i(wx_i+b)>0$
误分类点$x_i$到超平面S的距离$-\frac{1}{||w||}y_i(wx_i+b)$
误分类点集合M,所有误分类点到超平面S的距离
$-\frac{1}{||w||}\sum_{x_i\in{M}}y_i(wx_i+b)$
由此,感知机损失函数定义为
$L(w,b)=-\sum_{x_i\in{M}}y_i(wx_i+b)$
感知机学习算法(原始形式)
输入:训练数据集
$T={(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)}$
$x_i\in\chi\subseteq\mathbb{R}^n$,$y_i\in{y}={+1,-1}$,学习率$\eta$
输出:w,b;感知机模型$f(x)=sign(wx+b)$
(1)选取初值$w_0$,$b_0$
(2)训练集选取$(x_i,y_i)$
(3)IF $y_i(wx_i+b)≤0$
$w←w+\eta{y_ix_i}$
$b←b+\eta{y_i}$
(4)转至(2),直到没有误分类点。
另:感知机算法是收敛的,在训练数据及上的误分类次数k满足
$k≤(\frac{R}{\gamma})^2$
感知机学习算法(对偶形式)
由原始形式
$w←w+\eta{y_ix_i}$
$b←b+\eta{y_i}$
进行n次,w,b关于$(x_i,y_i)$增量分别为$a_iy_ix_i$和$a_iy_i$
记$a_i=n_i\eta$,最后学习到的w,b表示为
$w=\sum_{i=1}^{N}a_iy_ix_i$
$b=\sum_{i=1}^{N}a_iy_i$
输入:训练数据集
$T={(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)}$
$x_i\in\chi\subseteq\mathbb{R}^n$,$y_i\in{y}={+1,-1}$,学习率$\eta$
输出:a,b;感知机模型$f(x)=sign(\sum_{j=1}^{N}a_jy_jx_j·x+b)$
其中$a=(a_1,a_2,...,a_N)^T$
(1)$a←0$;$b←0$
(2)训练集选取$(x_i,y_i)$
(3)IF $y_i(\sum_{j=1}^{N}a_jy_jx_j·x_i+b)≤0$
$a_i←a_i+\eta$
$b←b+\eta{y_i}$
(4)转至(2),直到没有误分类点。
记Gram矩阵$G=[x_i·x_j]_{N×N}$
《统计学习方法》极简笔记P2:感知机数学推导的更多相关文章
- 《统计学习方法》极简笔记P5:决策树公式推导
<统计学习方法>极简笔记P2:感知机数学推导 <统计学习方法>极简笔记P3:k-NN数学推导 <统计学习方法>极简笔记P4:朴素贝叶斯公式推导
- 《统计学习方法》极简笔记P4:朴素贝叶斯公式推导
<统计学习方法>极简笔记P4:朴素贝叶斯公式推导 朴素贝叶斯基本方法 通过训练数据集 T={(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)} 学习联合 ...
- 统计学习方法笔记 -- KNN
K近邻法(K-nearest neighbor,k-NN),这里只讨论基于knn的分类问题,1968年由Cover和Hart提出,属于判别模型 K近邻法不具有显式的学习过程,算法比较简单,每次分类都是 ...
- 统计学习方法 --- 感知机模型原理及c++实现
参考博客 Liam Q博客 和李航的<统计学习方法> 感知机学习旨在求出将训练数据集进行线性划分的分类超平面,为此,导入了基于误分类的损失函数,然后利用梯度下降法对损失函数进行极小化,从而 ...
- 我的第一个 Rails 站点:极简优雅的笔记工具-Raysnote
出于公司开发需求,这个暑假我開始搞Ruby on Rails.在业余时间捣鼓了一个在线笔记应用:http://raysnote.com.这是一个极简而优雅的笔记站点(至少我个人这么觉得的). 笔记支持 ...
- 《统计学习方法》笔记九 EM算法及其推广
本系列笔记内容参考来源为李航<统计学习方法> EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计或极大后验概率估计.迭代由 (1)E步:求期望 (2)M步:求极大 组成,称 ...
- 《统计学习方法》笔记三 k近邻法
本系列笔记内容参考来源为李航<统计学习方法> k近邻是一种基本分类与回归方法,书中只讨论分类情况.输入为实例的特征向量,输出为实例的类别.k值的选择.距离度量及分类决策规则是k近邻法的三个 ...
- 统计学习方法与Python实现(一)——感知机
统计学习方法与Python实现(一)——感知机 iwehdio的博客园:https://www.cnblogs.com/iwehdio/ 1.定义 假设输入的实例的特征空间为x属于Rn的n维特征向量, ...
- 统计学习方法笔记--EM算法--三硬币例子补充
本文,意在说明<统计学习方法>第九章EM算法的三硬币例子,公式(9.5-9.6如何而来) 下面是(公式9.5-9.8)的说明, 本人水平有限,怀着分享学习的态度发表此文,欢迎大家批评,交流 ...
随机推荐
- SQLite的使用案例
示例图 : activity_main.xml : <TextView android:id="@+id/t1" android:layout_width="wra ...
- C语言中的函数与数学上的函数很类似
函数,是C语言编程中一个很重要的概念,重要到个人认为可以与指针并驾齐驱.好多教材.老师.学习资源都会专门挑出一章来讲函数.我今天也来说说函数,只不过我是从数学课上的函数来引申到C语言中的函数. 先来说 ...
- TreeMap原理实现及常用方法
目录 一. TreeMap概述 二. 红黑树回顾 三. TreeMap构造 四. put方法 五. get 方法 六. remove方法 七. 遍历 八. 总结 前面我们分别讲了Map接口的两个实现类 ...
- c++小游戏——拯救公主
#include<stdio.h> #include<ctime> #include<time.h> //suiji #include<windows.h&g ...
- Spring+SpringMVC+mybatis maven pom文件
pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w ...
- [蓝桥杯] Fibonacci数列 入门
原题链接 import java.util.Scanner;//导入Scanner类 public class Main { public static void main(String[] args ...
- C# 怎样将DateTime类型进行日期的加减
C#中 DateTime类型有封装好的函数 例如: //将当前时间转换为指定格式的DateTime类型 DateTime dt=DateTime.Parse(DateTime.Now.ToString ...
- <<Modern CMake>> 翻译 1. CMake 介绍
<<Modern CMake>> 翻译 1. CMake 介绍 人们喜欢讨厌构建系统. 仅仅观看 CppCon17 上的演讲,就可以看到开发人员因为构建系统而闹笑话的例子. 这 ...
- zabbix3.4用Python脚本Excel批量导入主机
1.安装xlrd读取Excel文件 1.1. 下载setuptools-38.2.4.zip,上传至zabbix服务器解压安装,下载地址:https://pypi.python.org/package ...
- 仿制shazzam的简单功能,将hlsl转换为WPF中的ShaderEffect
(此文章只是在对WPF的Effect产生兴趣才稍微研究了一点后面的知识;需要了解更多可参考https://archive.codeplex.com/?p=shazzam的源代码以及WPF基础知识) 1 ...