[ch02-02] 非线性反向传播

系列博客，原文在笔者所维护的github上：https://aka.ms/beginnerAI，
点击star加星不要吝啬，星越多笔者越努力。

2.2 非线性反向传播

2.2.1 提出问题

在上面的线性例子中，我们可以发现，误差一次性地传递给了初始值w和b，即，只经过一步，直接修改w和b的值，就能做到误差校正。因为从它的计算图看，无论中间计算过程有多么复杂，它都是线性的，所以可以一次传到底。缺点是这种线性的组合最多只能解决线性问题，不能解决更复杂的问题。这个我们在神经网络基本原理中已经阐述过了，需要有激活函数连接两个线性单元。

下面我们看一个非线性的例子，如图2-8所示。

图2-8 非线性的反向传播

其中$1<x<=10，0<y<2.15$。假设有5个人分别代表x、a、b、c、y：

正向过程

第1个人，输入层，随机输入第一个x值，x取值范围(1,10]，假设第一个数是2
第2个人，第一层网络计算，接收第1个人传入x的值，计算：$a=x^2$
第3个人，第二层网络计算，接收第2个人传入a的值，计算b：$b=\ln (a)$
第4个人，第三层网络计算，接收第3个人传入b的值，计算c：$c=\sqrt{b}$
第5个人，输出层，接收第4个人传入c的值

反向过程

第5个人，计算y与c的差值：$\Delta c = c - y$，传回给第4个人
第4个人，接收第5个人传回$\Delta c，计算\Delta b：\Delta b = \Delta c \cdot 2\sqrt{b}$
第3个人，接收第4个人传回$\Delta b，计算\Delta a：\Delta a = \Delta b \cdot a$
第2个人，接收第3个人传回$\Delta a，计算\Delta x：\Delta x = \Delta a / 2x$
第1个人，接收第2个人传回$\Delta x，更新x：x = x - \Delta x$，回到第1步

提出问题：假设我们想最后得到c=2.13的值，x应该是多少？（误差小于0.001即可）

2.2.2 数学解析解

\[c=\sqrt{b}=\sqrt{\ln(a)}=\sqrt{\ln(x^2)}=2.13\]
\[x = 9.6653\]

2.2.3 梯度迭代解

\[
\frac{da}{dx}=\frac{d(x^2)}{dx}=2x=\frac{\Delta a}{\Delta x} \tag{1}
\]
\[
\frac{db}{da} =\frac{d(\ln{a})}{da} =\frac{1}{a} = \frac{\Delta b}{\Delta a} \tag{2}
\]
\[
\frac{dc}{db}=\frac{d(\sqrt{b})}{db}=\frac{1}{2\sqrt{b}}=\frac{\Delta c}{\Delta b} \tag{3}
\]
因此得到如下一组公式，可以把最后一层$\Delta c$的误差一直反向传播给最前面的$\Delta x$，从而更新x值：
\[
\Delta c = c - y \tag{4}
\]
\[
\Delta b = \Delta c \cdot 2\sqrt{b} \tag{根据式3}
\]
\[
\Delta a = \Delta b \cdot a \tag{根据式2}
\]
\[
\Delta x = \Delta a / 2x \tag{根据式1}
\]

我们给定初始值$x=2，\Delta x=0$，依次计算结果如表2-2。

表2-2 正向与反向的迭代计算

方向	公式	迭代1	迭代2	迭代3	迭代4	迭代5
正向	$x=x-\Delta x$	2	4.243	7.344	9.295	9.665
正向	$a=x^2$	4	18.005	53.934	86.404	93.233
正向	$b=\ln(a)$	1.386	2.891	3.988	4.459	4.535
正向	$c=\sqrt{b}$	1.177	1.700	1.997	2.112	2.129
	标签值y	2.13	2.13	2.13	2.13	2.13
反向	$\Delta c = c - y$	-0.953	-0.430	-0.133	-0.018
反向	$\Delta b = \Delta c \cdot 2\sqrt{b}$	-2.243	-1.462	-0.531	-0.078
反向	$\Delta a = \Delta b \cdot a$	-8.973	-26.317	-28.662	-6.698
反向	$\Delta x = \Delta a / 2x$	-2.243	-3.101	-1.951	-0.360

表2-2，先看“迭代-1”列，从上到下是一个完整的正向+反向的过程，最后一行是-2.243，回到“迭代-2”列的第一行，2-(-2.243)=4.243，然后继续向下。到第5轮时，正向计算得到的c=2.129，非常接近2.13了，迭代结束。

运行示例代码的话，可以得到如下结果：

how to play: 1) input x, 2) calculate c, 3) input target number but not faraway from c
input x as initial number(1.2,10), you can try 1.3:
2
c=1.177410
input y as target number(0.5,2), you can try 1.8:
2.13
forward...
x=2.000000,a=4.000000,b=1.386294,c=1.177410
backward...
delta_c=-0.952590, delta_b=-2.243178, delta_a=-8.972712, delta_x=-2.243178
......
forward...
x=9.655706,a=93.232666,b=4.535098,c=2.129577
backward...
done!

为节省篇幅只列出了第一步和最后一步（第5步）的结果，第一步时c=1.177410，最后一步时c=2.129577，停止迭代。

代码位置

ch02, Level2