https://github.com/mounicam/lexical_simplification 提供了SimplePPDBpp: SimplePPDB++ resource consisting of around 14.1 million paraphrase rules along with their readability scores.   --- 非英文 主要贡献:1.创造了人为评分的15000个英文单词复杂度2.提出了a novel neural readability ra…

A Neural Probabilistic Language Model,这篇论文是Begio等人在2003年发表的,可以说是词表示的鼻祖.在这里给出简要的译文 A Neural Probabilistic Language Model 一个神经概率语言模型 摘  要 统计语言模型的一个目标是学习一种语言的单词序列的联合概率函数.因为维数灾难,这是其本质难点:将被模型测试的单词序列很可能是与在训练中见过的所有单词的序列都不相同.传统的但非常成功的基于n-gram的方法通过将出现在训练集很短的重…

转载并翻译Jay Alammar的一篇博文:Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention) 原文链接:https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ 神经机器翻译模型(基于注意力机制的Seq2…

目录 一.摘言 二.杂记 三.问题定义和一些准备工作 四.模型真思想 五.实验部分 六.参考文献 一.摘言 之前协同过滤利用user-item交互历史很好的表示了user和item.但是由于用户行为的稀疏性,效果提升有限. 随着社交网络的发展,social recommendation system被提出,利用user的周围邻居的偏好来减轻用户稀疏性,从而得到更好嵌入表示模型. 然而现在的社交网络推荐模型都是简单的利用周围邻居提出静态模型,而没有模拟信息在全局的循环传播过程,这很可能会提升推荐性…

https://pdfs.semanticscholar.org/e43a/3c3c032cf3c70875c4193f8f8818531857b2.pdf 1.introduction在Brazil: the National Indicator of Functional Literacy(INAF) 在2001年之后自动计算人口的文化水平,分为illiterate.rudimentary.basic.advanced1920-1980年间就一共有200个firmulas来评估英文可读性.P…

论文链接:http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf 解决n-gram语言模型(比如tri-gram以上)的组合爆炸问题,引入词的分布式表示. 通过使得相似上下文和相似句子中词的向量彼此接近,因此得到泛化性. 相对而言考虑了n-gram没有的更多的上下文和词之间的相似度. 使用浅层网络(比如1层隐层)训练大语料. feature vector维度通常在100以内,对比词典大小通常在17000以上. C是全局共享的向量数组.…

论文地址:http://www.iro.umontreal.ca/~vincentp/Publications/lm_jmlr.pdf 论文给出了NNLM的框架图: 针对论文,实现代码如下: # -*- coding: utf-8 -*- # @time : 2019/10/26 12:20 import numpy as np import torch import torch.nn as nn import torch.optim as optim from torch.autograd i…

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Abstract 我们提出了一个基于生物学的神经模型,能够在复杂的任务中执行强化学习.该模型的独特之处在于,它能够在一个动作.状态转换和奖励之间存在未知且可变的时间延迟的环境中,解决需要智能体执行一系列未得到奖励的动作以达到目标的任务.具体来说,这是第一个能够在半马尔可夫决策过程(Semi-Markov Decision Process,SMDP)框架内发挥作用的强化学习神经模型.我们认为,当前建模工作的这种扩展为人类决策的日益复杂的…

其框架结构如下所示: 可分为四 个部分: 词嵌入部分 输入 隐含层 输出层 我们要明确任务是通过一个文本序列(分词后的序列)去预测下一个字出现的概率,tensorflow代码如下: 参考:https://github.com/pjlintw/NNLM/blob/master/src/nnlm.py import argparse import math import time import numpy as np import tensorflow as tf from datetime imp…

论文阅读笔记 Word Embeddings A Survey 收获 Word Embedding 的定义 dense, distributed, fixed-length word vectors, built using word co-occurrence statistics as per the distributional hypothesis. 分布式假说(distributional hypothesis) word with similar contexts have the…