CS224n笔记一：开端

【NLP CS224N笔记】汇总

[NLP CS224N笔记]Lecture 1 - Introduction of NLP [NLP CS224N笔记]Lecture 2 - Word Vector Representations: word2vec…

何为自然语言处理自然语言处理的目标是让计算机处理或者"理解"自然语言,以完成有意义的任务,如QA等. 自然语言处理涉及的层次输入有两个来源:语音和文本,所以第一级是语音识别,OCR或者分词形态学(Morphological analysis)或称词法或者词汇形态学.其研究词的内部结构,包括屈折变化和构词法两个部分. 句法分析(Syntactic analysis)和语义分析(Semantic Interpretation) 对话分析(Discourse Processing),根…

CS224n笔记0

我准备跟随码农场hankcs大神的脚步,学习一下斯坦福的CS224n课程. 关于该课程的简介,hankcs大神已经写得很清楚了.…

【NLP CS224N笔记】Lecture 3 GloVe： Global Vectors for Word Representation

I. 复习word2vec的核心思路 1. Skip-gram 模型示意图: 2.word vectors的随机梯度假设语料库中有这样一行句子: I love deep learning and NLP 中心词为deep,那么在计算梯度的时候则可以得到如下的梯度向量. 可以很明显地看到该向量非常稀疏.常见的解决办法有两种:一是使用稀疏矩阵更新运算来更新矩阵\(U,V\)的特定的列向量.二是使用哈希来更新,即key为word string,value是对应的列向量. II. 近似 1. 负采样…

【NLP CS224N笔记】Lecture 2 - Word Vector Representations: word2vec

I. Word meaning Meaning的定义有很多种,其中有: the idea that is represented by a word,phrase,etc. the idea that a person wants to express by using words, signs, etc. 1.Discrete representation 那么在计算机中是如何获取一个word的meaning的呢?常见的解决办法是使用像WordNet之类的数据集,它包含了同义词(synonym…

【NLP CS224N笔记】Lecture 1 - Introduction of NLP

I. 什么是NLP NLP全称是Natural Language Processing,即自然语言处理,这是一门计算机科学.人工智能以及语言学的交叉学科. NLP涉及的几个层次由下图所示.可以看到输入数据有两大类,分别是语音和文字.在接收到数据之后还需要做一系列的处理. 首先是speech数据是做语音分析,text则是OCR或者Tokenization. 之后是Morphological analysis,这是形态学的意思,援引<统计自然语言处理>中的定义: 形态学(morphology):形…

CS224n笔记二：word2vec

如何表示词语的意思语言学中meaning近似于"指代,代指,符号". 计算机中如何处理词语的意思过去一直采用分类词典,计算语言学中常见的方式时WordNet那样的词库,比如NLTK中可以通过WordNet查询熊猫的上位词(hypernums),得到"食肉动物","动物"之类的上位词.也可以查询"good"的同义词,如"just". 离散表示(discrete representation)的问题这种离…

斯坦福NLP课程 | 第2讲 - 词向量进阶

作者:韩信子@ShowMeAI,路遥@ShowMeAI,奇异果@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/36 本文地址:http://www.showmeai.tech/article-detail/233 声明:版权所有,转载请联系平台与作者并注明出处收藏ShowMeAI查看更多精彩内容 ShowMeAI为斯坦福CS224n<自然语言处理与深度学习(Natural Language Processing with Deep Learn…

CS224n学习笔记(一)

How do we have usable meaning in a computer? Represents the words as discrete symbols, (离散型变量) Use the one-hot vector to represent the word in sentence, (Traditional way, we can use Distributional semantics) Distributional semantics: A word's meaning…

CS224n学习笔记1——深度自然语言处理

一.什么是自然语言处理呢? 自然语言处理是计算机科学家提出的名字,本质上与计算机语言学是同义的,它跨越了计算机学.语言学以及人工智能学科. 自然语言处理是人工智能的一个分支,在计算机研究领域中,也有其他的分支,例如计算机视觉.机器人技术.知识表达和推理等. 目标:让计算机能够理解人类语言来完成有意义的任务,例买东西或者是更高级的目标等. 下图是人对语言层次的传统描述: 从输入开始,而输入部分通常是语音输入,接着大脑就会进行语音和音义分析.也有部分是文字输入,而文字输入基本上和语言学没多大关系,O…

CS224n学习笔记（三）

语言模型对于一个文本中出现的单词 \(w_i\) 的概率,他更多的依靠的是前 \(n\) 个单词,而不是这句话中前面所有的单词. \[ P\left(w_{1}, \ldots, w_{m}\right)=\prod_{i=1}^{i=m} P\left(w_{i} | w_{1}, \ldots, w_{i-1}\right) \approx \prod_{i=1}^{i=m} P\left(w_{i} | w_{i-n}, \ldots, w_{i-1}\right) \] 在翻译系统中就…

CS224n学习笔记(二)

Global Vectors for Word Representation (GloVe) GloVe 模型包含一个训练在单词-单词的共同出现次数上的加权的最小二乘模型. 什么是Co-occurrence Matrix 假设单词与单词的 co-occurrence matrix 矩阵用 X 表示,\(X_{i j}\)表示单词 \(j\) 出现在单词 i 的上下文中的次数, \(X_{i}=\sum_{k} X_{i k}\)表示任何一个单词 k 出现在单词 i 的上下文中的次数, \[ P_…

[ NLP ] CS224N 学习笔记

Lecture1 One-Hot 定义:用N位状态寄存器编码N个状态,每个状态都有独立的寄存器位,且这些寄存器位中只有一位有效,说白了就是只能有一个状态.即保证每个样本中的每个特征只有1位处于状态1,其他都是0. 缺点:词汇的延展性导致词库是无穷多的:两两向量正交,无法表示两个词汇之间的相似性. Solution 分布式语义:观察上下文,理解语义. word vector : 也可以叫做word embedding 或者word representation. 每个词用向量表示,可以有n维,最低…

Hadoop入门学习笔记---part3

2015年元旦,好好学习,天天向上.良好的开端是成功的一半,任何学习都不能中断,只有坚持才会出结果.继续学习Hadoop.冰冻三尺,非一日之寒! 经过Hadoop的伪分布集群环境的搭建,基本对Hadoop有了一个基础的了解.但是还是有一些理论性的东西需要重复理解,这样才能彻底的记住它们.个人认为重复是记忆之母.精简一下: NameNode:管理集群,并且记录DataNode文件信息: SecondaryNameNode:可以做冷备份,对一定范围内的数据作快照性备份: DataNode:存储数据:…

KTHREAD 线程调度 SDT TEB SEH shellcode中DLL模块机制动态获取《寒江独钓》内核学习笔记（5）

目录 . 相关阅读材料 . <加密与解密3> . [经典文章翻译]A_Crash_Course_on_the_Depths_of_Win32_Structured_Exception_Handling.pdf . < DAY安全: 软件漏洞分析技术> 2. 数据结构分析二. KTHREAD KTHREAD(内核层线程对象).再次重复说明一点: windows内核中的执行体(ETHREAD, EPROCESS) 负责各种与管理和策略相关的功能,而内核层(或微内核)(KTHREAD,…

<老友记>学习笔记

这是六个人的故事,从不服输而又有强烈控制欲的monica,未经世事的千金大小姐rachel,正直又专情的ross,幽默风趣的chandle,古怪迷人的phoebe,花心天真的joey——六个好友之间的情路坎坷,事业成败和生活中的喜怒哀乐,无时无刻不牵动着彼此的心,而正是正平凡的点点滴滴,却成为最令人感动与留恋的东西. 人物:1.瑞秋•格林(RACHEL GREENE)由珍妮佛•安妮斯顿(Jennifer Aniston)扮演瑞秋是莫妮卡的高中同学,在与牙医未婚夫的婚礼上脱逃至莫妮卡处. 2.罗…

学习笔记︱Nvidia DIGITS网页版深度学习框架——深度学习版SPSS

DIGITS: Deep Learning GPU Training System1,是由英伟达(NVIDIA)公司开发的第一个交互式深度学习GPU训练系统.目的在于整合现有的Deep Learning开发工具,实现深度神经网络(Deep Neural Network,DNN)设计.训练和可视化等任务变得简单化.DIGITS是基于浏览器的接口,因而通过实时的网络行为的可视化,可以快速设计最优的DNN.DIGITS是开源软件,可在GitHub上找到,因而开发人员可以扩展和自定义DIGITS. Gi…

《深入理解JAVA虚拟机》笔记1

java程序运行时的内存空间,按照虚拟机规范有下面几项: )程序计数器指示下条命令执行地址.当然是线程私有,不然线程怎么能并行的起来. 不重要,占内存很小,忽略不计. )方法区这个名字很让我迷惑.这里面装的其实是程序运行需要的类文件,常量,静态变量等.作用容易明白. 程序运行时,执行代码先得装入内存,当然java好像是在第一次用到时才加载,这样可以避免装入无用的类,节省内存. 在HosSpot上,方法区现今和永久代是同一个区域.我就这么理解了,虽然作者解释说其实这两者根本不是同一个概念. 概…

概率图模型学习笔记：HMM、MEMM、CRF

作者:Scofield链接:https://www.zhihu.com/question/35866596/answer/236886066来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. so far till now, 我还没见到过将CRF讲的个明明白白的.一个都没.就不能不抄来抄去吗?我打算搞一个这样的版本,无门槛理解的.——20170927 陆陆续续把调研学习工作完成了,虽然历时有点久,现在put上来.评论里的同学也等不及了时不时催我,所以不敢怠慢啊…… 总…

论文笔记：CNN经典结构1（AlexNet，ZFNet，OverFeat，VGG，GoogleNet，ResNet）

前言本文主要介绍2012-2015年的一些经典CNN结构,从AlexNet,ZFNet,OverFeat到VGG,GoogleNetv1-v4,ResNetv1-v2. 在论文笔记:CNN经典结构2中我介绍了2016-2017年的几个经典CNN结构,WideResNet,FractalNet,DenseNet,ResNeXt,DPN,SENet.另外,在ImageNet历年冠军和相关CNN模型中,我简单介绍了ImageNet和历年冠军. AlexNet 贡献:ILSVRC2012冠军,展现出了…

《大规模web服务开发技术》笔记

前段时间趁空把<大规模web服务开发技术>这本书看完了,今天用一下午时间重新翻了一遍,把其中的要点记了下来,权当复习和备忘.由于自己对数据压缩.全文检索等还算比较熟,所以笔记内容主要涉及前5章内容,后面的零星记了一些.本文可能对如下人士比较有帮助:1.对这本书有兴趣,但对内容存疑的:2.对大规模Web服务有一定经验的,可对照着查漏补缺. Hatena的规模(2010年4月) 注册用户150w,UU1900w/月请求数:几十亿/月繁忙时流量:850Mbps(不含图像) 硬件(服务器)600台…

Java架构师之路 Spring学习笔记(一) Spring介绍

前言这是一篇原创的Spring学习笔记.主要记录我学习Spring4.0的过程.本人有四年的Java Web开发经验,最近在面试中遇到面试官总会问一些简单但我不会的Java问题,让我觉得有必要重新审视下目前自己所掌握的Java基础可能后续会有很多笔记去记录我温习Java的过程.但这个是我Java的开端,希望我自己能够坚持下去,一天一篇,每天记录我的成长.成为Java架构师是我的梦想,我知道这个可能性比较低.不管怎么样我都希望我走这条路不会后悔. 为什么学习Spring? 学习过Java的人都知…

CS224n学习资源汇总

一.课程网站: http://web.stanford.edu/class/cs224n/archive/WWW_1617/index.html 二.视频(中文字幕) http://www.mooc.ai/course/494 三.课堂笔记(PPT课件讲解) http://www.hankcs.com/tag/cs224n/ 四.lecture notes中文翻译 https://huangzhanpeng.github.io/categories/CS224n%E8%AF%BE%E7%A8%8…