机器学习实战之logistic回归分类

利用logistic回归进行分类的主要思想：根据现有数据对分类边界建立回归公式，并以此进行分类。

logistic优缺点：

优点：计算代价不高，易于理解和实现。
缺点：容易欠拟合，分类精度可能不高。 .
适用数据类型：数值型和标称型数据。

sigmoid函数：

梯度上升法：

梯度：

该公式将一直被迭代执行，直至达到某个停止条件为止，比如迭代次数达到某个指定值或算
法达到某个可以允许的误差范围。

随机梯度上升法：

梯度上升算法在每次更新回归系数时都需要遍历整个数据集, 该方法在处理100个左右的数
据集时尚可，但如果有数十亿样本和成千上万的特征，那么该方法的计算复杂度就太高了。一种
改进方法是一次仅用一个样本点来更新回归系数，该方法称为随机梯度上升算法。由于可以在新
样本到来时对分类器进行增量式更新，因而随机梯度上升算法是一个在线学习算法。与 “ 在线学
习”相对应，一次处理所有数据被称作是“批处理” 。

梯度下降法：

你最经常听到的应该是梯度下降算法，它与这里的梯度上升算法是一样的，只是公式中的
加法需要变成减法。因此，对应的公式可以写成:

梯度上升算法用来求函数的最大值，而梯度下降算法用来求函数的最小值。

logistic预测疝气病预测病马的死亡率代码：

%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
import random

# 加载数据集
def loadDataSet():
    dataMat = []
    labelMat = []
    fr = open('./testSet.txt')
    for line in fr.readlines():
        lineData = line.strip().split()
        dataMat.append([1.0, float(lineData[0]), float(lineData[1])])
        labelMat.append(int(lineData[2]))
    return dataMat, labelMat

# sigmoid 函数
def sigmoid(inX):
    return 1.0 / (1 + np.exp(-inX))

# 梯度上升
def gradAscent(dataMatIn, classLabels, maxCycles):
    dataMatrix = np.mat(dataMatIn)
    labelsMatrix = np.mat(classLabels).transpose() # 转置，将行向量转置为列向量
    m, n = np.shape(dataMatrix)

    alpha = 0.001
    W = np.ones((n, 1))
    for i in range(maxCycles):
        h = sigmoid(dataMatrix * W) # (100, 1)
        error = labelsMatrix - h # (100, 1)
        W = W + alpha * dataMatrix.transpose() * error # (3, 100) * (100, 1)

    return W 

#改进版随机梯度上升
def stocGradAscent1(dataMatrixIn, classLabels, numIter=150):
    dataMatrix = np.array(dataMatrixIn)
    m,n = np.shape(dataMatrix)
    weights = np.ones(n)   #initialize to all ones
    for j in range(numIter):
        dataIndex = list(range(m))
        for i in range(m):
            alpha = 4.0/(1.0+j+i)+0.01    #apha decreases with iteration, does not
            randIndex = int(random.uniform(0,len(dataIndex)))#go to 0 because of the constant
            h = sigmoid(sum(dataMatrix[randIndex]*weights))
            error = classLabels[randIndex] - h
            weights = weights + alpha * error * dataMatrix[randIndex]
            del(dataIndex[randIndex])
    return np.mat(weights.reshape(n, 1))

def plotBestFit(weights, dataMat, labelMat):
    dataArr = np.array(dataMat)
    n = np.shape(dataArr)[0]
    xcord1 = []; ycord1 = []
    xcord2 = []; ycord2 = []
    for i in range(n):
        if labelMat[i] == 1:
            xcord1.append(dataArr[i, 1]); ycord1.append(dataArr[i, 2])
        else:
            xcord2.append(dataArr[i, 1]); ycord2.append(dataArr[i, 2])

    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xcord1, ycord1, s = 30, c = 'red', marker = 's')
    ax.scatter(xcord2, ycord2, s = 30, c = 'green')
    x = np.arange(-4.0, 4.0, 0.1)
    y = ((np.array((-weights[0] - weights[1] * x) / weights[2]))[0]).transpose()
    ax.plot(x, y)
    plt.xlabel('X1')
    plt.ylabel('X2')
    plt.show()

# 预测
def classifyVector(inX, weights):
    prob = sigmoid(sum(inX * weights))
    if prob > 0.5:
        return 1.0
    else:
        return 0.0

# 对训练集进行训练，并且对测试集进行测试
def colicTest():
    trainFile = open('horseColicTraining.txt')
    testFile = open('horseColicTest.txt')
    trainingSet = []; trainingLabels = []
    for line in trainFile.readlines():
        currLine = line.strip().split('\t')
        lineArr = []
        for i in range(21):
            lineArr.append(float(currLine[i]))
        trainingSet.append(lineArr)
        trainingLabels.append(float(currLine[21]))

    # 开始训练
    weights = stocGradAscent1(trainingSet, trainingLabels, 400)
    errorCount = 0.0
    numTestVec = 0.0
    for line in testFile.readlines():
        numTestVec += 1.0
        currLine = line.strip().split('\t')
        lineArr = []
        for i in range(21):
            lineArr.append(float(currLine[i]))
        if int(classifyVector(np.array(lineArr), weights)) != int(currLine[21]):
            errorCount += 1.0
    errorRate = errorCount / float(numTestVec)
    print("the error rate is:%f" % errorRate)
    return errorRate

# 多次测试求平均值
def multiTest():
    testTimes = 10
    errorRateSum = 0.0
    for i in range(testTimes):
        errorRateSum += colicTest()
    print("the average error rate is:%f" % (errorRateSum / float(testTimes)))

multiTest()