语言模型 所谓的语言模型,即是指在得知前面的若干个单词的时候,下一个位置上出现的某个单词的概率. 最朴素的方法是N-gram语言模型,即当前位置只和前面N个位置的单词相关.如此,问题便是,N小了,语言模型的表达能力不够.N大了,遇到稀疏性问题,无法有效的表征上下文. LSTM模型一般会将单词embedding到连续空间,然后输入进LSTM,从而有效的表征上下文.但LSTM的问题在于,作为递归模型,当前状态依赖于上一状态,并行化受到限制. 门限卷积   所谓的门限卷积,其核心在于为卷积的激活值添加…
版权声明:本文为博主原创文章,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/liuchonge/article/details/70238350 最近忙着实验室的项目,一直没有时间做仿真,所以就先写一下之前看的一篇文章,总结一下吧.这次要说的是Gated CNN,这也是第一次将门限控制引入到CNN中的文章,感觉十分有新意,效果也很棒.下面我们来看一下,文章的主要贡献包括: 提出一种新的门控机制 缓解梯度传播,降低梯度…
RNNs and Language modeling in TensorFlow From feed-forward to Recurrent Neural Networks (RNNs) In the last few weeks, we've seen how feed-forward and convolutional neural networks have achieved incredible results. They perform on par with, even outpe…
Emotion Recognition Using Graph Convolutional Networks 2019-10-22 09:26:56 This blog is from: https://towardsdatascience.com/emotion-recognition-using-graph-convolutional-networks-9f22f04b244e Recently, deep learning has made much progress in natural…
注意力机制之Attention Augmented Convolutional Networks 原始链接:https://www.yuque.com/lart/papers/aaconv 核心内容 We propose to augment convolutional operators with this self-attention mechanism by concatenating convolutional feature maps with a set of feature map…
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition 2018-01-28  15:45:13  研究背景和动机: 行人动作识别(Human Action Recognition)主要从多个模态的角度来进行研究,即:appearance,depth,optical-flow,以及 body skeletons.这其中,动态的人类骨骼点 通常是最具有信息量的,且能够和其他模态进行互补.…
Semi-supervised Classification with Graph Convolutional Networks 2018-01-16  22:33:36 1. 文章主要思想: 2. 代码实现(Pytorch):https://github.com/tkipf/pygcn  [Introduction]: 本文尝试用 GCN 进行半监督的分类,通过引入一个 graph Laplacian regularization term 到损失函数中: 其中,L0 代表损失函数,即:gra…
Very Deep Convolutional Networks for Large-Scale Image Recognition Karen Simonyan[‡] & Andrew Zisserman[§] Visual Geometry Group, Department of Engineering Science, University of Oxford {karen,az}@robots.ox.ac.uk 用于大规模图像识别的深度卷积网络 Karen Simonyan[‡] &am…
Recurrent Neural Network Language Modeling Toolkit  工具使用点击打开链接 本博客地址:http://blog.csdn.net/wangxinginnlp/article/details/38385471 依照训练的进度学习代码: RNN训练过程(摘自Mikolov的博士论文): 1. Set time counter t = 0, initialize state of the neurons in the hidden layer s(t)…
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition 摘要 动态人体骨架模型带有进行动作识别的重要信息,传统的方法通常使用手工特征或者遍历规则对骨架进行建模,从而限制了表达能力并且很难去泛化. 作者提出了一个新颖的动态骨架模型ST-GCN,它可以从数据中自动地学习空间和时间的patterns,这使得模型具有很强的表达能力和泛化能力. 在Kinetics和NTU-RGBD两个数据集上a…