《Machine Learning》系列学习笔记之第四周

第四周

Model Representation I

让我们来看看如何使用神经网络来表示假设函数。在非常简单的水平上，神经元基本上是将输入（树突）作为输入到输出（轴突）的电输入（称为“尖峰”）的计算单元。在我们的模型中，我们的树突像输入特征x1 ... xn，输出是我们的假设函数的结果。在这个模型中，我们的x0输入节点有时被称为“偏置单元”。它总是等于1.在神经网络中，我们使用与分类11 + e-θTx相同的逻辑函数，但我们有时称之为S形（逻辑）激活函数。在这种情况下，我们的“theta”参数有时称为“权重”。

在视觉上，一个简单的表示形式如下：

⎡⎣x0x1x2⎤⎦→[ ]→hθ(x)

我们的输入节点（层1），也称为“输入层”，进入另一个节点（层2），其最终输出称为“输出层”的假设函数。

我们可以在输入和输出层之间有称为“隐藏层”的中间节点层。

在这个例子中，我们标记这些中间或“隐藏”层节点a 20 ... a 21n并将其称为“激活单元”。

a（j）i =层j中单元i的“激活”=控制从层j到层j + 1的函数映射的权重矩阵

a(j)i="activation" of unit i in layer j

Θ(j)=matrix of weights controlling function mapping from layer j to layer j+1

如果我们有一个隐藏层，它看起来像：

⎡⎣⎢⎢x0 x1 x2 x3⎤⎦⎥⎥→⎡⎣⎢⎢⎢a(2)1 a(2)2 a(2)3⎤⎦⎥⎥⎥→hθ(x)

每个“激活”节点的值如下获得：

a(2)1=g(Θ(1)10x0+Θ(1)11x1+Θ(1)12x2+Θ(1)13x3)

a(2)2=g(Θ(1)20x0+Θ(1)21x1+Θ(1)22x2+Θ(1)23x3)

a(2)3=g(Θ(1)30x0+Θ(1)31x1+Θ(1)32x2+Θ(1)33x3)

hΘ(x)=a(3)1=g(Θ(2)10a(2)0+Θ(2)11a(2)1+Θ(2)12a(2)2+Θ(2)13a(2)3)

这就是说，我们通过使用3×4的参数矩阵来计算我们的激活节点。我们将每行参数应用到我们的输入，以获得一个激活节点的值。我们的假设输出是应用于我们的激活节点的值的和的逻辑函数，其已经被包含用于我们的第二层节点的权重的又一参数矩阵Θ（2）相乘。

每个层获得其自己的权重矩阵Θ(j)。

这些权重矩阵的尺寸确定如下：

如果网络在层j中具有sj
个单元并且在层j
+ 1中具有sj+1
个单元，则Θ（j）将具有尺寸sj+1×(sj+1)。

+1来自“偏置节点”的Θ（j）中的加法，x0和Θ（j）0。换句话说，输出节点将不包括偏置节点，而输入将会。下面的图像总结了我们的模型表示：

示例：第1层有2个输入节点，第2层有4个激活节点。Θ(1)的尺寸将为4×3，其中sj=2
和sj+1=4，因此sj+1×(sj+1)=4×3。

Model
Representation II

为了重复，以下是神经网络的示例：

a(2)1=g(Θ(1)10x0+Θ(1)11x1+Θ(1)12x2+Θ(1)13x3)

a(2)2=g(Θ(1)20x0+Θ(1)21x1+Θ(1)22x2+Θ(1)23x3)

a(2)3=g(Θ(1)30x0+Θ(1)31x1+Θ(1)32x2+Θ(1)33x3)

hΘ(x)=a(3)1=g(Θ(2)10a(2)0+Θ(2)11a(2)1+Θ(2)12a(2)2+Θ(2)13a(2)3)

在本节中，我们将对上述函数进行向量化实现。
我们要定义一个新的变量z（j）k，它包含了g函数中的参数。
在我们前面的例子中，如果我们用变量z替换所有的参数，我们会得到：

a(2)1=g(z(2)1)

a(2)2=g(z(2)2)

a(2)3=g(z(2)3)

换句话说，对于层j
= 2和节点k，变量z将是：

z(2)k=Θ(1)k,0x0+Θ(1)k,1x1+⋯+Θ(1)k,nxn

The
vector representation of x and zj is:

x=⎡⎣⎢⎢x0x1⋯xn⎤⎦⎥⎥z(j)=⎡⎣⎢⎢⎢⎢z(j)1z(j)2⋯z(j)n⎤⎦⎥⎥⎥⎥

Setting
x=a(1),
we can rewrite the equation as:

z(j)=Θ(j−1)a(j−1)

我们通过具有高度（n
+ 1）的矢量a(j−1)将我们的矩阵Θ(j−1)乘以尺寸sj×(n+1)sj×(n+1)（其中sj
是我们的激活节点的数目）。这给出了我们具有高度sj的向量z(j)。现在我们可以得到我们的层j的激活节点的向量如下：

a(j)=g(z(j))

其中我们的函数g可以元素地应用于我们的向量z(j)。

然后，我们可以在计算a(j)之后向层j添加偏置单元（等于1）。这将是元素a(j)0
并且将等于1.为了计算我们的最终假设，让我们先计算另一个z向量：

z(j+1)=Θ(j)a(j)

我们通过将Θ（j-1）之后的下一个θ矩阵与我们刚刚得到的所有激活节点的值相乘来获得这个最终z向量。该最后θ矩阵Θ（j）将仅具有乘以一列a（j）的一行，使得我们的结果是单个数。然后我们得到我们的最终结果：

hΘ(x)=a(j+1)=g(z(j+1))

注意，在这最后一步，在层j和层j
+
1之间，我们做的事情与在logistic回归中做的完全相同。将所有这些中间层添加到神经网络中允许我们更优雅地产生有趣的和更复杂的非线性假设。