UFLDL教程（四）之Softmax回归

关于Andrew Ng的machine learning课程中，有一章专门讲解逻辑回归（Logistic回归），具体课程笔记见另一篇文章。

下面，对Logistic回归做一个简单的小结：

给定一个待分类样本x，利用Logistic回归模型判断该输入样本的类别，需要做的就是如下两步：

① 计算逻辑回归假设函数的取值hθ(x)，其中n是样本的特征维度

② 如果hθ(x)>=0.5，则x输入正类，否则，x属于负类

或者直接利用判别边界进行判断，即：如果θ'x>=0，则x输入正类，否则，x属于负类

所以，Logistic回归只能解决两类分类问题。

************************

这里一个很重要的问题就是，在对待分类样本进行分类之前，需要利用训练样本对该逻辑回归模型的参数θ=[θ1, θ2, ..., θn]进行求解

最优化的模型参数就是使代价函数取得最小值的参数，所以，只要利用优化，找到使得代价函数具有最小值的参数即可。

（1）给定参数theta的初始值

（2）利用函数fminunc对代价函数进行优化，求得最优化的theta值

该函数要求输入theta的初始值、梯度和代价函数的计算函数、其他设置

（3）得到最优化的theta值后，对于某一个待分类样本，计算它的假设函数取值或者是判定边界的取值，从而可以对其分类进行判别

************************

下面开始是softmax回归问题

第0步：初始化参数

①样本特征维数n (inputSize)

②样本类别数k (numClasses)

③衰减项权重  (lambda)

第一步：载人MNIST数据集

① 载入MNIST数据集

② 载入MNIST数据集的标签

在标签集中，标签0表示数字0，为了后续处理方便，将数字0的标签改为10

注1：实验中，有时为了调试方便，在调试时，可以加入合成数据；

注2：程序文件夹中，为了分类方便，将MNIST数据集和MNIST数据集的操作函数都存放在MNIST文件夹中，在使用前，加入语句addpath mnist/即可；

随机产生参数theta的初始值

它的维数是k*n，k是类别数numClasses，n是输入样本的特征维数inputSize

第二步：编写softmax函数

该函数的作用是计算代价函数及代价函数的梯度

（1）计算代价函数

① 代价函数的计算公式如下：

② 程序中的向量化计算方法如下:

(2) 计算梯度

① 梯度的计算公式如下：

② 程序中向量化计算方法如下：

第三步：梯度检验

在首次编写完softmax函数后，要利用梯度检验算法，验证编写的softmaxCost函数是否正确；直接调用checkNumericalCradient函数

第四步：利用训练样本集学习Softmax的回归参数

第五步：对于某一个待分类样本，利用求得的softmax回归模型对其进行分类

******关于向量化的程序公式的推导******

（1）已知参数的形式

① 参数θ的形式

② 输入数据x的形式

③ θx的乘积形式，记为矩阵M

（2）单个样本的成本函数

① 单个样本的成本函数

即：

② 单个样本的假设函数

但实际中，为了不会出现计算上的溢出，需要对假设函数的每一项都做如下调整

其中：

则有：

（3）m个样本的成本函数

① m个样本的成本函数

② m个样本的假设函数

其中：

(4) 计算梯度

① 单个样本的梯度计算

注1：

注2：

② m个样本梯度的计算

则有：

******按照神经网络的形式理解softmax模型******

（1）softmax模型，可以以神经网路的形式绘制，如下图所示

可以看到，softmax模型与传统的神经网络相比，只是输出层所使用的函数发生了变化：softmax模型使用的是指数函数，而神经网络使用的是sigmoid函数；