Deep Learning for Nature Language Processing --- 第四讲（下）

A note on matrix implementations

将J对softmax的权重W和每一个word vector进行求导：

尽量使用矩阵运算（向量化）。不要使用for loop。

模型训练中有两个开销比較大的运算：矩阵乘法f=Wx和指数函数exp

Softmax(=logistic regression) is not very powerful

softmax仅仅是在原来的向量空间中给出了一些linear decision boundary（线性决策线），在小的数据集上有非常好的regularization，可是在处理大数据集的时候会受到非常大的限制。

可是neural network能够非常好地克服softmax的缺点：

From logistic regression to neural nets

不单独介绍神经网络，能够參考其它介绍神经网络的文章

假设没有非线性的激活函数，那么输入x后，第一层就是W1*x。第二层就是W2*W1*x，等同于这个神经网络仅仅有一层，权重为W2*W1。

有很多其它的层，deep learning就能够有近似（分类）更复杂数据集的功能：

神经网络的单层single layer就是一个线性表达式和一个非线性函数的组合：

激励activation能够用来计算某个函数。比如在softmax中：

演示样例：计算三层神经网络中一个window’ score（s=score(museumsinParisareamazing)）：

score事实上就是softmax的概率值

下一讲

训练一个window-based的神经网络

反向传播backpropagation