【NLP CS224N笔记】Lecture 1 - Introduction of NLP

【【NLP CS224N笔记】Lecture 1 - Introduction of NLP】的更多相关文章

【NLP CS224N笔记】汇总

[NLP CS224N笔记]Lecture 1 - Introduction of NLP [NLP CS224N笔记]Lecture 2 - Word Vector Representations: word2vec…

【NLP CS224N笔记】Lecture 1 - Introduction of NLP

I. 什么是NLP NLP全称是Natural Language Processing,即自然语言处理,这是一门计算机科学.人工智能以及语言学的交叉学科. NLP涉及的几个层次由下图所示.可以看到输入数据有两大类,分别是语音和文字.在接收到数据之后还需要做一系列的处理. 首先是speech数据是做语音分析,text则是OCR或者Tokenization. 之后是Morphological analysis,这是形态学的意思,援引<统计自然语言处理>中的定义: 形态学(morphology):形…

【NLP CS224N笔记】Lecture 3 GloVe： Global Vectors for Word Representation

I. 复习word2vec的核心思路 1. Skip-gram 模型示意图: 2.word vectors的随机梯度假设语料库中有这样一行句子: I love deep learning and NLP 中心词为deep,那么在计算梯度的时候则可以得到如下的梯度向量. 可以很明显地看到该向量非常稀疏.常见的解决办法有两种:一是使用稀疏矩阵更新运算来更新矩阵\(U,V\)的特定的列向量.二是使用哈希来更新,即key为word string,value是对应的列向量. II. 近似 1. 负采样…

【NLP CS224N笔记】Lecture 2 - Word Vector Representations: word2vec

I. Word meaning Meaning的定义有很多种,其中有: the idea that is represented by a word,phrase,etc. the idea that a person wants to express by using words, signs, etc. 1.Discrete representation 那么在计算机中是如何获取一个word的meaning的呢?常见的解决办法是使用像WordNet之类的数据集,它包含了同义词(synonym…

CS231n笔记 Lecture 4 Introduction to Neural Networks

这一讲主要介绍了神经网络,基本内容之前如果学习过Andrew的Machine learning应该也都有所了解了.不过这次听完这一讲后还是有了新的一些认识. 计算图 Computational graph 之前没有体会到计算图的强大,今天听Serena讲解后,有一种豁然开朗的感觉. 总的来说,有一些很复杂的表达式,如果直接使用它对变量求导,虽然也能得到一个显式的表达,但可能会牵扯到非常复杂的展开.求导等一系列操作.如果换种方式,把这个式子里的基本运算,通过计算图的方式表示出来,用节点来表示一个基…

CS231n笔记 Lecture 1 Introduction

主题有关这一讲主要是介绍性质的,虽然大多数概念以前听说过,但还是在他们的介绍中让我有如下一些认识,所谓温故而知新,不无道理: IMAGENET Feifei Li的团队首先爬取.标注了IMAGENET 数据集,其中包含22k个目录和14m的图片: 为了能够为研究者提供一个统一的验证平台,进而组办了IMAGENET Large Scale Visual Recognition Challege,提供了benchmark,包含1,431,167 images 和 1000个物体类别: 此前在做图像…

[1天搞懂深度学习] 读书笔记 lecture I:Introduction of deep learning

- 通常机器学习,目的是,找到一个函数,针对任何输入:语音,图片,文字,都能够自动输出正确的结果. - 而我们可以弄一个函数集合,这个集合针对同一个猫的图片的输入,可能有多种输出,比如猫,狗,猴子等,而我们通过提供大量的training data给这个函数集合,对集合里的各种函数组合的输出进行比对,最后选出一个能输出最佳结果(结果是猫)的组合,那么因为这个组合已经很能够很准确的识别猫,所以这个组合就能用来检测图片里是否是猫. - 具体来说,下面第一张图,某一个点为一个函数,而整个网络机构为函数集…