机器学习实战-Logistics回归

Logistics回归：实战，有两个特征X0,X1.100个样本，进行Logistics回归

1.导入数据

 def load_data_set():
     """
     加载数据集
     :return:返回两个数组，普通数组
         data_arr -- 原始数据的特征
         label_arr -- 原始数据的标签，也就是每条样本对应的类别
     """
     data_arr=[]
     label_arr=[]
     f=open('TestSet.txt','r')
     for line in f.readlines():
         line_arr=line.strip().split()
         #为了方便计算，我们将x0的值设为1.0，也就是在每一行的开头添加一个1.0，作为x0
         data_arr.append([1.0,np.float(line_arr[0]),np.float(line_arr[1])])
         label_arr.append(int(line_arr[2]))
     return data_arr,label_arr

2. Logistics回归梯度上升优化算法

 def sigmoid(x):
     return 1.0/(1+np.exp(-x))

 def grad_ascent(data_arr,class_labels):
     """
     梯度上升法，其实就是因为使用了极大似然估计，这个大家有必要去看推导，只看代码感觉不太够
     :param data_arr: 传入的就是一个普通的数组，当然你传入一个二维的ndarray也行
     :param class_labels: class_labels 是类别标签，它是一个 1*100 的行向量。
                     为了便于矩阵计算，需要将该行向量转换为列向量，做法是将原向量转置，再将它赋值给label_mat
     :return:
     """
     data_mat=np.mat(data_arr)
     #变成矩阵之后进行转置
     label_mat=np.mat(class_labels).transpose()
     #获得数据的样本量和特征维度数
     m,n=np.shape(data_mat)
     #学习率
     alpha=0.001
     #最大迭代次数
     max_cycles=500
     # 生成一个长度和特征数相同的矩阵，此处n为3 -> [[1],[1],[1]]
     # weights 代表回归系数， 此处的 ones((n,1)) 创建一个长度和特征数相同的矩阵，其中的数全部都是 1
     weights=np.ones((n,1))
     for k in range(max_cycles):
         h=sigmoid(data_mat*weights)
         error=label_mat-h
         weights=weights+alpha*data_mat.transpose()*error
     return weights

3. 画出决策边界，即画出数据集合Logistics回归最佳拟合直接的函数

 def plot_best_fit(weights):
     """
     可视化
     :param weights:
     :return:
     """
     import matplotlib.pyplot as plt
     data_mat, label_mat = load_data_set()
     data_arr = np.array(data_mat)
     n = np.shape(data_mat)[0]
     x_cord1 = []
     y_cord1 = []
     x_cord2 = []
     y_cord2 = []
     for i in range(n):
         if int(label_mat[i]) == 1:
             x_cord1.append(data_arr[i, 1])
             y_cord1.append(data_arr[i, 2])
         else:
             x_cord2.append(data_arr[i, 1])
             y_cord2.append(data_arr[i, 2])
     fig = plt.figure()
     ax = fig.add_subplot(111)
     ax.scatter(x_cord1, y_cord1, s=30, color='k', marker='^')
     ax.scatter(x_cord2, y_cord2, s=30, color='red', marker='s')
     x = np.arange(-3.0, 3.0, 0.1)
     y = (-weights[0] - weights[1] * x) / weights[2]
     """
     y的由来，卧槽，是不是没看懂？
     首先理论上是这个样子的。
     dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
     w0*x0+w1*x1+w2*x2=f(x)
     x0最开始就设置为1叻， x2就是我们画图的y值，而f(x)被我们磨合误差给算到w0,w1,w2身上去了
     所以： w0+w1*x+w2*y=0 => y = (-w0-w1*x)/w2
     """
     ax.plot(x, y)
     plt.xlabel('x1')
     plt.ylabel('y1')
     plt.show()

4. 测试数据，画图

 def test():
     """
     这个函数只要就是对上面的几个算法的测试，这样就不用每次都在power shell 里面操作，不然麻烦死了
     :return:
     """
     data_arr, class_labels = load_data_set()
     # 注意，这里的grad_ascent返回的是一个 matrix, 所以要使用getA方法变成ndarray类型
     weights = grad_ascent(data_arr, class_labels).getA()
     # weights = stoc_grad_ascent0(np.array(data_arr), class_labels)
     #weights = stoc_grad_ascent1(np.array(data_arr), class_labels)
     plot_best_fit(weights)

 if __name__ == '__main__':
     test()

5. 结果如下

另外，还有

真实训练数据和测试数据-------从疝气病症预测病马的死亡率------
如何预测的代码也附加~
github实现地址：https://github.com/CynthiaWendy/Machine-Learning-in-Action-Logistics