《深度学习原理与Pytorch实战》（第二版）

第1章 深度学习简介

1. 深度学习——利用深度人工神经网络来进行自动分类、预测和学习的技术，深度学习=深度人工神经网络

2. 超过三层的神经网络都可以叫做深度神经网络

3. 人工神经网络的关键算法——反向传播算法

4. 深度网络架构，即整个网络体系的构建方式和拓扑连接结构，主要分为3种：前馈神经网络、卷积神经网络、循环神经网络
   
   前馈神经网络：也称全连接网络（fully connected neural network）
   
   所有节点都分为一层一层的，每个节点只跟相邻层节点而且是全部节点相连接。一般分为输入层、输出层、隐含层

5. 深度学习重要的本领——从海量的数据中自动学习，抽取数据中的特征

---

第2章 Pytorch简介

1. 使用切片（slicing）来访问张量，访问x中的第3列的全部元素，则输入： x[:,2]——书P22
2. 一个计算图（computational graph）包括两类节点：变量（variable）和运算（computation）
   
   传统的深度学习框架（Tensorflow、Theano等）使用静态计算图；Pytorch使用动态计算图

这个计算图，应该就是用Netron软件可视化出来的结果

看计算图的时候注意，箭头的指向，是由输出指向输入，例如y=x+2，则箭头由y指向+2，再指向x

1. Pytorch中的一些技术细节——书P30
   
   a. 进行运算的对象维度匹配
   
   b. 不能直接对自动微分变量进行数值更新，只能对其的data属性的变量进行操作，例如对a操作，则对a.data进行操作
   
   c. 在函数后加上_符号，就表明要用这个函数的计算结果更新当前的变量
2. 权重weight、偏置bias

---

第3章 单车预测器——你的第一个神经网络

1. 神经网络的运行通常包括前馈的预测过程（或称为决策过程）和反馈的学习过程——书P37
   
   在反馈过程中，每个输出神经元会首先计算预测误差，然后将误差沿着网络的所有连边进行反向传播，得到每个隐含节点的误差，最后根据每条连边所连通的两个节点的误差计算连边上的权重更新量，从而完成学习和调整
2. 科学家已从理论证明，用有限多的隐含神经元可以逼近任意的有限区间内的曲线，这叫做通用逼近定理（universal approximation theorem）
3. 参数的更新要用到反向传播法，而pytorch已经将此算法用backward来表示了
4. 为什么要清空梯度？
   
   因为backward（）函数是会累加梯度的。在进行一次训练之后，立即进行梯度反传，所以不需要系统累加梯度，不清空梯度则有可能导致模型无法收敛
5. 一般训练集：测试集=10:1——书P62
   
   ——2024.5.3

---