机器学习-非线性回归(Logistic Regression)及应用

1. 概率

1.1 定义：概率(Probability):对一件事情发生的可能性的衡量。

1.2 范围：0 <= P <= 1

1.3 计算方法：

1.3.1 根据个人置信

1.3.2 根据历史数据

1.3.3 根据模拟数据

1.4 条件概率：

2. Logistic Regression(逻辑回归)

2.1 列子：模拟癌症肿瘤是良性还是恶性

h(x) > 0.5

h(x) > 0.2

2.2 基本模型

测试数据为：

要学习的参数为：

向量表示：

由于y取值在[0,1]之间，所有需要处理二值数据，引入Sigmoid函数来使得曲线平滑化

预测函数：

用概率表示：

正例(y = 1):

反例(y = 0):

2.3 Cost函数

线性回归：

(预测值-实例值)

(类似于线性模型)

在简单线性模型中找到合适的使得上式最小

Logistic regression:

Cost函数：

上式合并可以得到下面的式子

目标：找到合适的使得上式最小

2.4 解法：梯度下降法(gradient decent)

为学习率

更新法则：

为学习率

同时对所有的进行更新，重复更新知道收敛

# -*- coding:utf-8 -*-

import numpy as np
import random

#产生模拟数据 numPoints实例个数  bias偏好值 variance方差
def genData(numPoints, bias, variance):
    x = np.zeros(shape=(numPoints, 2))
    y = np.zeros(shape=(numPoints)) #1行 如：1x100
    for i in range(0, numPoints):#每一行循环
        x[i][0] = 0 #每行第一列等于1
        x[i][1] = i #每行第二列等于i
        y[i] = (i + bias) + random.uniform(0, 1) + variance
    return x,y

#梯度下降
def gradientDescent(x, y, theta, alpha, m, numIterations): #alpha学习率 m实例个数 numIterations更新次数
    xTran = np.transpose(x)#转置
    for i in range(numIterations):
        hypothesis = np.dot(x, theta)#估计值
        loss = hypothesis - y#估计值-实际值
        cost = np.sum(loss**2)/(2*m)#这里的定义最简单的cost函数和实际定义有出入
        gradient = np.dot(xTran,loss)/m#更新量
        theta = theta - alpha*gradient
        print("Iteration %d | cost: %f" %(i, cost))
    return theta

#测试
x, y = genData(100, 25, 10)
# print("x:")
# print(x)
# print("y:")
# print(y)
#
m, n = np.shape(x)
n_y = np.shape(y)
#
# print("x_shape:" ,str(m)," ",str(n))
# print("y_shape:" , str(n_y))

numIterations = 100000
alpha = 0.0005
theta = np.ones(n)
theta = gradientDescent(x, y, theta, alpha, m, numIterations)
print(theta)