Linear Regression with PyTorch

Linear Regression with PyTorch

Problem Description

初始化一组数据 \((x,y)\)，使其满足这样的线性关系 \(y = w x + b\) 。然后基于反向传播法，用均方误差（mean squared error）

\[MSE = \frac{1}{n} \sum_{n} (y- \hat y)^{2}
\]

去拟合这组数据。

衡量两个分布之间的距离，最直接的方法是用交叉熵。

我们用最简单的一元变量去拟合这组数据，其实一元线性回归的表达式 \(y = wx + b\) 用神经网络的形式可表示成如下图所示

该神经网络有一个输入、一个输出、不使用任何激活函数。这就是一元线性回归的神经网络表示结果。相比较于下图这种神经网络的形式化表示，上图是一种简单的特例。

Key Points

torch.unsqueeze

重塑一个张量的 size，见下面代码

>>> x = torch.tensor([1, 2, 3, 4])
>>> torch.unsqueeze(x, 0)
tensor([[ 1,  2,  3,  4]])
>>> torch.unsqueeze(x, 1)
tensor([[ 1],
        [ 2],
        [ 3],
        [ 4]])

torch.linspace

得到一个在 start 和 end 之间等距的一维张量，见下面代码

>>> torch.linspace(1, 6, steps=3)
tensor([ 1.0000,  3.5000,  6.0000])

torch.rand

返回一个满足 size 维度要求的随机数组，随机数服从0-1均匀分布。

torch.nn.Linear(1,1)

self.prediction = torch.nn.Linear(1, 1)

这一行代码，实际是维护了两个变量，其描述了这样的一种关系：

\[prediction_{1\times1} = weight_{1\times1} \times input_{1\times1} + bias_{1\times1}
\]

其中，每个参数都是 \(1\times1\) 维的。

Code

import torch

epoch = 10000
lr = 0.01
w = 10
b = 5

x = torch.unsqueeze(torch.linspace(1, 10, 20), 1)
y = w*x + b + torch.rand(x.size())

class Net(torch.nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.prediction = torch.nn.Linear(1, 1)

    def forward(self, x):
        out = self.prediction(x)
        return out

net = Net()
optimizer = torch.optim.Adam(net.parameters(), lr=lr)
criticism = torch.nn.MSELoss()

for i in range(epoch):
    y_pred = net(x)
    loss = criticism(y_pred, y)  # 先是 y_pred 然后是 y_true 参数顺序不能乱

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

print("%.5f" % loss.data)
print(net.state_dict()['prediction.weight'])
print(net.state_dict()['prediction.bias'])

输出：

0.08882
tensor([[ 9.9713]])
tensor([ 5.6524])

Results Analysis

输出显示：

1. 均方误差（MSE）为 0.0882
2. \(weight\) 的拟合结果为 9.9713
3. \(bias\) 的拟合结果为 5.6524

分析：

1. 因为我主动引入了误差（服从0-1均匀分布），而且是线性拟合，所以 MSE 几乎不能减小到零；
2. 9.9713 的拟合值已经非常接近真实值 10 了；5.6524 的拟合值较真实值 5 的距离较大（距离约为自身的 10%）