NLP（十六） DL在NLP中的应用

• 深度学习中的核心主题是卷积神经网络(CNN)和循环神经网络(RNN)

  卷积神经网络

• CNN用于图像处理
  卷积：
  
  原始图像 5×5
  滤波器 3×3
  滤波器以步长大于小于1，到处平移，并与原始图像里的3×3做乘积运算，得到卷积特征/激活映射(activation map)。
  卷积的优势：
  1.全连接层代替固定尺寸，减少了神经元的数量
  2.滤波器将上一层的像素汇总到下一层
  3.反向传播过程中，只需根据反向传播误差更新滤波器权重，就可使效率提高
• 池化
  将激活表示的维数减少
  例如，将4×4的矩阵分解成4个2×2的矩阵，只保留最大值，缩减成2×2矩阵
  
• 填充
  可以保持图片大小不发生改变或者使整个网络的大小处于可控状态
  比如，零填充，添一圈0，3×3 => 5×5
• 特征图大小的计算
  从卷积层到特征图的大小变化：
  
  W是原始图像的宽度，F是滤波器的大小，P是填充大小，S是步长

• CNN的应用
  1.图像分类
  2.人脸识别
  3.场景标注
  4.自然语言处理：将句子表示为向量，就可以使用CNN完成分类；CNN进行一维卷积时，宽度是常量，那么滤波器只需在广度上移动。

  循环神经网络

• 输入相互独立时，用CNN；前后依赖，不独立时，用RNN
  
• RNN原理公式：
  
• LSTM
  长短型记忆网络，解决梯度消失和梯度爆炸问题
  LSTM是一个人工神经网络，除常规网络单元外，还有LSTM模块。LSTM包含三个门，输入门、遗忘门、输出门。输入门用来确定何时输入足够重要的信息，遗忘门用来确定何时继续记住或忘记上一刻的信息，输出门则用来确定应该何时输出当前时刻的信息
  

• RNN在NLP领域应用
  1.语言模型：给一次词序列，预测下一个可能出现的单词
  2.文本生成：根据作者的作品产生新文本
  3.机器翻译：一种语言=>另一种语言
  4.聊天机器人：与机器翻译类似，需要用双方问答来训练模型
  5.生成图像描述：将RNN与CNN一起训练生成图像的标题或描述