Data scientist———java实现常见的机器学习代码（跟百度深度学习研究院师兄学机器学习）

2016-05-02开始决定好好记录一切有关《数据科学家》的学习过程。记录学习笔记。

-------------------------------------------------------------------------------------------------

第一部分：14年跟百度T7师兄学了一段时间的机器学习基础知识。Java实现基础算法。复习一遍基础知识。

-------------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------------

第六课，逻辑回归

-------------------------------------------------------------------------------------------------

http://www.cnblogs.com/keedor/p/4459196.html这个链接里面有公式推导。

损失函数loss function 由两部分构成：损失项（loss term） + 正则项（regularization term）。

通常而言，损失函数由损失项(loss term)和正则项(regularization term)组成。发现一份不错的介绍资料：

http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf （题名“Loss functions; a unifying view”）。

 

一、损失项

• 对回归问题，常用的有：平方损失(for linear regression)，绝对值损失；
• 对分类问题，常用的有：hinge loss(for soft margin SVM)，log loss(for logistic regression)。

• 对hinge loss，又可以细分出hinge loss（或简称L1 loss）和squared hinge loss（或简称L2 loss）。国立台湾大学的Chih-Jen Lin老师发布的Liblinear就实现了这2种hinge loss。L1 loss和L2 loss与下面的regularization是不同的，注意区分开。

二、正则项

• 常用的有L1-regularization和L2-regularization。上面列的那个资料对此还有详细的总结。

这里的逻辑回归用的就是log loss。那么他的推导过程就是把似然函数写出来之后求出小L（theta）。然后loss function 取他的-1/m。这样就可以求出每一个theta的偏导。因为前面去了-1，所以依然用梯度下降来解。（最大似然求的是最大值，那么取反之后求的是最小值。）

实现的代码如下：

题目：

Problem Logistic Regression 逻辑回归
题目描述:
逻辑回归（Logistic Regression）是最基础、使用最广泛的机器学习分类算法之一。它以线
性回归为理论支持，在线性回归的基础上增加了sigmoid 函数(逻辑回归函数)，从而轻松处
理0/1 分类问题。在本题中，你需要使用梯度下降算法(gradient descent)实现一个线性回归
训练器。
具体如下：
已知逻辑回归方程，即估计函数(hypothesis)为:
其中n 为特征个数，θ0至θ