斯坦福机器学习ex1.1(python)

使用的工具：NumPy和Matplotlib

NumPy是全书最基础的Python编程库。除了提供一些高级的数学运算机制以外，还具备非常高效的向量和矩阵运算功能。这些对于机器学习的计算任务是尤为重要的。因为不论是数据的特征表示也好，还是参数的批量设计也好，都离不开更加快捷的矩阵和向量计算。而NumPy更加突出的是它内部独到的设计，使得处理这些矩阵和向量计算比起一般程序员自行编写，甚至是Python自带程序库的运行效率都要高出许多。

Matplotlib是一款Python编程环境下免费试用的绘图工具包，其工作方式和绘图命令几乎和matlab类似。

操作步骤：

1.数据初始化，将数据存放到x,y当中。

    print("Plotting Data...\n")
    fr=open('ex1data1.txt')
    arrayLines=fr.readlines()
    numberOfLines=len(arrayLines)
    x=np.zeros((numberOfLines,1))
    y=np.zeros((numberOfLines,1))
    index=0
    for line in arrayLines:
        line = line.strip()
        listFormLine = line.split(",")

        x[index, :] = listFormLine[:1]
        y[index] = listFormLine[-1]
        index += 1

2.求取代价函数（cost function）

def computeCost(X,y,theta):
    m=X.shape[0]
    XMatrix=np.mat(X)
    yMatrix=np.mat(y)
    thetaMatrix=np.mat(theta)

    J=1/(2*float(m))*sum((np.array(XMatrix*thetaMatrix-yMatrix))**2)
    return J

3.采取梯度下降算法进行计算，首先将theta0与theta1都初始化为0，再使alpha为0.01，进行计算

def gradientDescent(X,y,theta,alpha,iterations):
    m=len(y)
    J_history=np.zeros((iterations,1))
    theta_s=theta.copy()
    for i in range(iterations):
        theta[0]=theta[0]-(alpha/m)*np.sum(np.mat(X)*np.mat(theta_s)-np.mat(y))
        p1=np.mat(X)*np.mat(theta_s)-np.mat(y)
        p2=X[:,1]*p1
        theta[1]=theta[1]-(alpha/m)*p2
        theta_s=theta.copy()
        J_history[i,:]=computeCost(X,y,theta)
    return theta

4.将数据可视化显示

详细代码：https://github.com/xingxiaoyun/StanfordMachineLearning/blob/master/ex1.py