CS224n学习笔记(一)

【CS224n学习笔记(一)】的更多相关文章

CS224n学习笔记(一)

How do we have usable meaning in a computer? Represents the words as discrete symbols, (离散型变量) Use the one-hot vector to represent the word in sentence, (Traditional way, we can use Distributional semantics) Distributional semantics: A word's meaning…

CS224n学习笔记1——深度自然语言处理

一.什么是自然语言处理呢? 自然语言处理是计算机科学家提出的名字,本质上与计算机语言学是同义的,它跨越了计算机学.语言学以及人工智能学科. 自然语言处理是人工智能的一个分支,在计算机研究领域中,也有其他的分支,例如计算机视觉.机器人技术.知识表达和推理等. 目标:让计算机能够理解人类语言来完成有意义的任务,例买东西或者是更高级的目标等. 下图是人对语言层次的传统描述: 从输入开始,而输入部分通常是语音输入,接着大脑就会进行语音和音义分析.也有部分是文字输入,而文字输入基本上和语言学没多大关系,O…

CS224n学习笔记（三）

语言模型对于一个文本中出现的单词 \(w_i\) 的概率,他更多的依靠的是前 \(n\) 个单词,而不是这句话中前面所有的单词. \[ P\left(w_{1}, \ldots, w_{m}\right)=\prod_{i=1}^{i=m} P\left(w_{i} | w_{1}, \ldots, w_{i-1}\right) \approx \prod_{i=1}^{i=m} P\left(w_{i} | w_{i-n}, \ldots, w_{i-1}\right) \] 在翻译系统中就…

CS224n学习笔记(二)

Global Vectors for Word Representation (GloVe) GloVe 模型包含一个训练在单词-单词的共同出现次数上的加权的最小二乘模型. 什么是Co-occurrence Matrix 假设单词与单词的 co-occurrence matrix 矩阵用 X 表示,\(X_{i j}\)表示单词 \(j\) 出现在单词 i 的上下文中的次数, \(X_{i}=\sum_{k} X_{i k}\)表示任何一个单词 k 出现在单词 i 的上下文中的次数, \[ P_…

[ NLP ] CS224N 学习笔记

Lecture1 One-Hot 定义:用N位状态寄存器编码N个状态,每个状态都有独立的寄存器位,且这些寄存器位中只有一位有效,说白了就是只能有一个状态.即保证每个样本中的每个特征只有1位处于状态1,其他都是0. 缺点:词汇的延展性导致词库是无穷多的:两两向量正交,无法表示两个词汇之间的相似性. Solution 分布式语义:观察上下文,理解语义. word vector : 也可以叫做word embedding 或者word representation. 每个词用向量表示,可以有n维,最低…