李沐动手学深度学习pytorch实践笔记

1、pytorch中的矩阵乘法；

2、标量对向量求导；

3、pytorch的backward函数；

4、如何直观理解梯度下降；

梯度，是个向量，有方向和长度就是向量，向量里的各个元素是偏导、是标量对向量求导的那个偏导、是多元函数全微分里z对x、y求的那个偏导。

全微分dz所在的z轴是向上的，而梯度下降需要向下，所以要找负梯度方向，也就是移动了Δx和Δy之后，这个Δz的增量最大，他降低的最多，他最陡。这个向量怎么找，用方向导数，方向导数需要什么，需要偏导和角度，角度永远是0，因为cos0=1最大，所以只要有偏导就行。

所以，李沐课程第8节第3课，线性回归从零实践里，梯度下降循环了300次以更新系数w和b，这些系数就是梯度、是要找的向量。

每次更新之后，就以新的向量点的坐标为起点，继续计算方向导数，找到下一个Δz增量最大的向量。

5、课程第九节softmax回归有2个问题：

　　1 load_data_fashion_mnist函数里FashionMNIST是下载不了图片集的，可以把torch里的load_data_fashion_mnist改成MNIST

def load_data_fashion_mnist(batch_size, resize=None):
    """Download the Fashion-MNIST dataset and then load it into memory.

    Defined in :numref:`sec_utils`"""
    trans = [transforms.ToTensor()]
    if resize:
        trans.insert(0, transforms.Resize(resize))
    trans = transforms.Compose(trans)
    mnist_train = torchvision.datasets.MNIST(
        root=".\\data", train=True, transform=trans, download=True)
    mnist_test = torchvision.datasets.MNIST(
        root=".\\data", train=False, transform=trans, download=True)
    return (torch.utils.data.DataLoader(mnist_train, batch_size, shuffle=True,
                                        num_workers=get_dataloader_workers()),
            torch.utils.data.DataLoader(mnist_test, batch_size, shuffle=False,
                                        num_workers=get_dataloader_workers()))

　　标签也改成0~9，MNIST是识别手写数字的

def get_fashion_mnist_labels(labels):
    """Return text labels for the Fashion-MNIST dataset.

    Defined in :numref:`sec_utils`"""
    text_labels = ['0', '1', '2', '3', '4',
                   '5', '6', '7', '8', '9']
    return [text_labels[int(i)] for i in labels]

　　这样以后就可以正常用 train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)  加载图片数据集了

　　2  pycharm中这一节的动画和图片不显示

　　show_images函数后面 d2l.plt.show() 就可以显示图片

　　在d2l的torch文件中，在 class Animator add函数最后两行中间加入两行代码

        display.display(self.fig)
        d2l.plt.draw()
        d2l.plt.pause(0.001)
        display.clear_output(wait=True)

　　然后 调用 train_ch3 时，记得里面的Animator 类 要实例化 d2l的，如果改自己的Animator 就对应改它的add函数，最后调完train_ch3 函数在下面加上d2l.plt.show()就能显示动画

6、权重衰减

以softmax为例，求出的向量元素都是概率，这个向量作为损失函数的入参。所以一组大的或一组小的w和b，得到的都是概率组成的向量，最后损失函数的最小值是一样的，但是大的w和b会使特征放大，也使噪音放大了，那还不如选个小的w和b

正则化参数是限制w的Θ的倒数。所以λ=0，Θ无穷大；Θ无穷大，Θ=0
激活函数relu tanh 在原点附近接近f(x)=x，再配合合理的权重初始值，可以提升数值稳定性，防止梯度爆炸或消失
新加的层训练的是上一层的输出x和正确值之间的残差，最终训练的结果输出，就是新加层的残差输出Fx加上之前层的输出x

7、微调

现在都用基于预训练的模型和参数，然后进行微调，最后一层之前的，就基于预训练的参数和正常的学习率训练，因为这些参数变动不大，而最后的输出层变动很大，因此用10倍的学习率训练。很少有人会对所有参数重新训练，除非是大公司。

学术界和竞赛界是固定数据调模型，调试太多，验证集也变成训练集了，会过拟合。而工业界不需要调太多，需要提升数据质量，因为工业界不断有新数据，所以应该优化训练集的数据，找更多数据。

目标检测直接用别人写好的包，细节太多别自己写，Python 效率低，一般用c++或cuda 写