统计机器学习(statistical machine learning)

组要组成部分：监督学习(supervised learning)，非监督学习(unsupervised learning)，半监督学习(semi-supervised learning)，强化学习(reinforcement learning)。

三要素：模型（model），策略(strategy)，算法(algorithm)。

模型就是设计一种机器学习模型（神经网络的网络结构），策略就是定义模型中的函数中什么是最优的（loss函数的选取），算法是如何找到最优值（梯度下降，牛顿法，拉普拉斯近似）。

线性感知机：

#include <iostream>
#include <vector>

using namespace std;

std::vector<double> x[2],w;
double y[2] = {1, -1},b=0;
double rate = 0.00000001;

bool notGood(int &t){
for (int i = 0 ; i < 2 ; i++){
double rr = 0;
for (int j = 0 ; j < 2 ; j++){
rr += w[j]*x[i][j];
}
rr += b;
// cout << rr<<endl;
if( y[i]*rr <= 0){
t = i;
return true;

}
}
return false;
}

void iterat(int t){

b += rate*y[t];
for (int i = 0 ; i < 2 ; i++){
w[i] += rate*y[t]*x[t][i];
}
}

void print(int t){
cout <<t<<":";
for (int i = 0 ; i < 2 ; i++){
cout << w[i]<<",";
}
cout << b<<endl;
}

int main(){
w.push_back(0);
w.push_back(0);
x[0].push_back(1);
x[0].push_back(1);
x[1].push_back(2);
x[1].push_back(2);

int t;
while( notGood(t) ){
iterat(t);
print(t);

}

return 0;
}

感知机学习算法的对偶形式：