1,corpus 语料库 a computer-readable collection of text or speech 2,utterance 发音 比如下面一句话:I do uh main- mainly business data processing uh 是 fillers,填充词(Words like uh and um are called fillers or filled pauses ).The broken-off word main- is fragment calle…

前言 先来看一些demo,来一些直观的了解. 自然语言处理: 可以做中文分词,词性分析,文本摘要等,为后面的知识图谱做准备. http://xiaosi.trs.cn/demo/rs/demo 知识图谱: https://www.sogou.com/tupu/person.html?q=刘德华 还有2个实际应用的例子,加深对NLP的理解 九歌机器人: https://jiuge.thunlp.cn/ 微软对联机器人: http://duilian.msra.cn/ NLP概述: 自然语言处理,是…

好像所有讲概率论的文章\视频都离不开抛骰子或抛硬币这两个例子, 因为抛骰子的确是概率论产生的基础, 赌徒们为了赢钱就不在乎上帝了才导致概率论能突破宗教的绞杀, 所以我们这里也以抛骰子和抛硬币这两个例子. 我们先来过一遍基本概念: 随机试验. 在抛骰子的过程中,我们注意到,在相同条件下,我们每一次抛骰子的时候,我们无法得知骰子最后静止时,骰子的哪一面向上,但是我们通过不断的抛骰子的过程中发现,结果无非是1,2,3,4,5,6六个点之一.随机试验: 1. 试验可以在相同条件下重复地进行. 2. 试验…

DeepNLP的核心关键/NLP语言模型 /word embedding/word2vec Indexing: 〇.序 一.DeepNLP的核心关键:语言表示(Representation) 二.NLP词的表示方法类型 1.词的独热表示one-hot representation 2.词的分布式表示distributed representation 三.NLP语言模型 四.词的分布式表示 1. 基于矩阵的分布表示 2. 基于聚类的分布表示 3. 基于神经网络的分布表示,词嵌入( word em…

NLP(神经语言程序学)是由理查德·班德勒和约翰·格林德在1976年创办的一门学问,美国前总统克林顿.微软领袖比尔盖茨.大导演斯皮尔博格等许多世界名人都接受过 NLP培训,世界500强企业中的 60%采用NLP培训员工,理解层次是NLP中的一个核心概念. 在这个世界上,每一件与我们有关系的事,我们都会赋予其一些意义.由于每个人赋予的意义都会有所不同,因此我们的理解也会不一样,理解不一样,解决办法当然就会不同. 「NLP理解层次」说,对一件事情的理解,我们可以分成6个不同的层次,而这个层次是有高低…

自然语言处理(NLP Natural Language Processing)是一种专业分析人类语言的人工智能.就是在机器语⾔和⼈类语言之间沟通的桥梁,以实现人机交流的目的. 在人工智能出现之前,机器智能处理结构化的数据(例如Excel里的数据).但是网络中 大部分的数据都是非结构化的,例如:文章.图片.音频.视频... 在非结构数据中,文本的数量是最多的,他虽然没有图片和视频占用的空间大,但是他的 信息量是最大的. 为了能够分析和利用这些文本信息,我们就需要利用NLP技术,让机器理解这些文本信…

    TensorFlow 入门 本文转自:http://www.jianshu.com/p/6766fbcd43b9 字数3303 阅读904 评论3 喜欢5 CS224d-Day 2: 在 Day 1 里,先了解了一下 NLP 和 DP 的主要概念,对它们有了一个大体的印象,用向量去表示研究对象,用神经网络去学习,用 TensorFlow 去训练模型,基本的模型和算法包括 word2vec,softmax,RNN,LSTM,GRU,CNN,大型数据的 seq2seq,还有未来比较火热的研究…

本文介绍 Stanford<From Languages to Information>课程中讲到的 单词拼写错误 纠正.背后的数学原理主要是贝叶斯公式.单词拼写错误纠正主要涉及到两个模型:一个是Nosiy Channel模型,它是贝叶斯公式中的似然函数:另一个模型是Language Model,它是贝叶斯公式中的先验概率. 一,问题描述 在这句话中“. . . was called a “stellar and versatile acress whose combination of sa…

Improving Deep Visual Representation for Person Re-identification by Global and Local Image-language Association2018-09-29 19:36:43 Paper:http://openaccess.thecvf.com/content_ECCV_2018/papers/Dapeng_Chen_Improving_Deep_Visual_ECCV_2018_paper.pdf 1. I…

词嵌入向量WordEmbedding的原理和生成方法   WordEmbedding 词嵌入向量(WordEmbedding)是NLP里面一个重要的概念,我们可以利用WordEmbedding将一个单词转换成固定长度的向量表示,从而便于进行数学处理.本文将介绍WordEmbedding的使用方式,并讲解如何通过神经网络生成WordEmbedding. WordEmbedding的使用 使用数学模型处理文本语料的第一步就是把文本转换成数学表示,有两种方法,第一种方法可以通过one-hot矩阵表示一…