李沐动手学深度学习V2-chap_preliminaries

李沐动手学深度学习V2

文章内容说明

本文主要是自己学习过程中的随手笔记，需要自取

课程参考B站：https://space.bilibili.com/1567748478?spm_id_from=333.788.0.0

课件等信息原视频简介中有

---

CSV文件修改读取成张量tensor

数据预处理

首先(创建一个人工数据集，并存储在CSV（逗号分隔值）文件) ../data/house_tiny.csv中，在csv文件中写入数据

import os

os.makedirs(os.path.join('..', 'data'), exist_ok=True)
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:
    f.write('NumRooms,Alley,Price\n')  # 列名
    f.write('NA,Pave,127500\n')  # 每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

要进行读取数据集，我们导入pandas包并调用read_csv函数。该数据集有四行三列。其中每行描述了房间数量（“NumRooms”）、巷子类型（“Alley”）和房屋价格（“Price”）。

# 如果没有安装pandas，只需取消对以下行的注释来安装pandas
# !pip install pandas
import pandas as pd

data = pd.read_csv(data_file)
print(data)

结果如下

处理缺失值

为了处理缺失的数据，典型的方法包括插值法和删除法，下面以插值法作为示例

通过位置索引iloc，我们将data分成inputs和outputs， 其中前者为data的前两列，而后者为data的最后一列。 对于inputs中缺少的数值，我们用同一列的均值替换“NaN”项。【第二列求不出均值所以不改变】

inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())
print(inputs)

结果如下



对于inputs中的类别值或离散值，我们将“NaN”视为一个类别，使用独热编码，NAN值赋0，其他赋1

inputs = pd.get_dummies(inputs, dummy_na=True)
print(inputs)

结果如下

转为张量格式

现在inputs和outputs中的所有条目都是数值类型，它们可以转换为张量格式。

import torch

X = torch.tensor(inputs.to_numpy(dtype=float))
y = torch.tensor(outputs.to_numpy(dtype=float))
X, y

结果如下



python默认类型float64，这样比较慢，机器学习一般改float32

范数

向量的范数是表示一个向量有多大。 这里考虑的大小（size）概念不涉及维度，而是分量的大小。

L1范数

L1范数，它表示为向量元素的绝对值之和

    # 向量(1维张量)
    vector = torch.tensor([1.0, 2.0, 3.0, 4.0, -5.0])
    # 求向量的L1范数
    norm1 = torch.norm(vector, p=1, dim=0)

结果如下

L2范数

L2范数是向量元素平方和的平方根



可以用以下代码实现

u = torch.tensor([3.0, -4.0]) #或u = torch.tensor([3.0, -4.0]，p=2)
torch.norm(u)

结果如下

Frobenius范数

Frobenius范数（Frobenius norm）是矩阵元素平方和的平方根

#Frobenius范数是矩阵，Lp范数是向量
torch.norm(torch.ones((4, 9)))

结果如下

自动求导实现

在我们计算y关于x的梯度之前，需要一个地方来存储梯度。使用如下代码

x.requires_grad_(True)  # 等价于x=torch.arange(4.0,requires_grad=True)
x.grad  # 默认值是None

现在计算y

y = 2 * torch.dot(x, x)
y

结果如下



通过调用反向传播函数来自动计算y关于x每个分量的梯度

y.backward()
x.grad

结果如下，存储x每个分量的梯度（即切线/导数）



验证一下是否正确

矩阵的反向传播

分离计算

将某些计算移动到记录的计算图之外，使用y.detach()将u赋为标量，及x*x

x.grad.zero_()
y = x * x
u = y.detach()
z = u * x
z.sum().backward()
x.grad == u

结果如下



由于记录了y的计算结果，我们可以随后在y上调用反向传播， 得到y=xx关于的x的导数，即2x

x.grad.zero_()
y.sum().backward()
x.grad == 2 * x

结果如下

Python控制流的梯度计算

即使构建函数的计算图需要通过Python控制流（例如，条件、循环或任意函数调用），我们仍然可以计算得到的变量的梯度

while循环的迭代次数和if语句的结果都取决于输入a的值

def f(a):
    b = a * 2
    while b.norm() < 1000:
        b = b * 2
    if b.sum() > 0:
        c = b
    else:
        c = 100 * b
    return c

a = torch.randn(size=(), requires_grad=True)
d = f(a)
d.backward()

a.grad == d / a

结果如下