在NLP(自然语言处理)领域,文本表示是第一步,也是很重要的一步,通俗来说就是把人类的语言符号转化为机器能够进行计算的数字,因为普通的文本语言机器是看不懂的,必须通过转化来表征对应文本.早期是基于规则的方法进行转化,而现代的方法是基于统计机器学习的方法. 数据决定了机器学习的上限,而算法只是尽可能逼近这个上限,在本文中数据指的就是文本表示,所以,弄懂文本表示的发展历程,对于NLP学习者来说是必不可少的.接下来开始我们的发展历程.文本表示分为离散表示和分布式表示: 1.离散表示 1.1 One-h…

Gensim库简介 机器学习算法需要使用向量化后的数据进行预测,对于文本数据来说,因为算法执行的是关于矩形的数学运算,这意味着我们必须将字符串转换为向量.从数学的角度看,向量是具有大小和方向的几何对象,不需过多地关注概念,只需将向量化看作一种将单词映射到数学空间的方法,同时保留其本身蕴含的信息. Gensim是世界上最大的NLP/信息检索Python库之一,兼具内存高效性和可扩展性.Gensim的可扩展性体现为它采用了Python内置的生成器和迭代器进行流式数据处理,所以数据集事实上并未完全加载…

代码来源于:tensorflow机器学习实战指南(曾益强 译,2017年9月)——第七章:自然语言处理 代码地址:https://github.com/nfmcclure/tensorflow-cookbook 解决问题:使用“词袋”嵌入来进行垃圾短信的预测(使用逻辑回归算法) 缺点:不考虑相关单词顺序特征,长文本的处理困难 步骤如下: step1:导入需要的包 step2:准备数据集 step3:选择参数(每个文本保留多少单词数,最低词频是多少) step4:构建词袋 step5:分割数据集…

FastText是Facebook开发的一款快速文本分类器,提供简单而高效的文本分类和表征学习的方法,不过这个项目其实是有两部分组成的,一部分是这篇文章介绍的 fastText 文本分类(paper:A. Joulin, E. Grave, P. Bojanowski, T. Mikolov, Bag of Tricks for Efficient Text Classification(高效文本分类技巧)), 另一部分是词嵌入学习(paper:P. Bojanowski*, E. Grave*…

有很多改进版的word2vec,但是目前还是word2vec最流行,但是Glove也有很多在提及,笔者在自己实验的时候,发现Glove也还是有很多优点以及可以深入研究对比的地方的,所以对其进行了一定的学习. 部分学习内容来源于小象学院,由寒小阳老师授课<深度学习二期课程> 高级词向量三部曲: 1.NLP︱高级词向量表达(一)--GloVe(理论.相关测评结果.R&python实现.相关应用) 2.NLP︱高级词向量表达(二)--FastText(简述.学习笔记) 3.NLP︱高级词向量…

在自然语言处理和文本分析的问题中,词袋(Bag of Words, BOW)和词向量(Word Embedding)是两种最常用的模型.更准确地说,词向量只能表征单个词,如果要表示文本,需要做一些额外的处理.下面就简单聊一下两种模型的应用. 所谓BOW,就是将文本/Query看作是一系列词的集合.由于词很多,所以咱们就用袋子把它们装起来,简称词袋.至于为什么用袋子而不用筐(basket)或者桶(bucket),这咱就不知道了.举个例子: 文本1:苏宁易购/是/国内/著名/的/B2C/电商/之一…

1.对词用独热编码进行表示的缺点 向量的维度会随着句子中词的类型的增大而增大,最后可能会造成维度灾难2.任意两个词之间都是孤立的,仅仅将词符号化,不包含任何语义信息,根本无法表示出在语义层面上词与词之间的相关信息,而这一点是致命的. 2.用向量代表词的好处 3.词嵌入的由来 在上文中提过,one-hot 表示法具有维度过大的缺点,那么现在将 vector 做一些改进: 1.将 vector 每一个元素由整形改为浮点型,变为整个实数范围的表示: 2.将原来稀疏的巨大维度压缩嵌入到一个更小维度的空间…

如果说FastText的词向量在表达句子时候很在行的话,GloVe在多义词方面表现出色,那么wordRank在相似词寻找方面表现地不错. 其是通过Robust Ranking来进行词向量定义. 相关paper:WordRank: Learning Word Embeddings via Robust Ranking 相关博客:https://rare-technologies.com/wordrank-embedding-crowned-is-most-similar-to-king-not-w…

首先感谢无私分享的各位大神,文中很多内容多有借鉴之处.本次将自己的实验过程记录,希望能帮助有需要的同学. 一.从下载数据开始 现在的中文语料库不是特别丰富,我在之前的文章中略有整理,有兴趣的可以看看.本次实验使用wiki公开数据,下载地址如下: wiki英文数据下载:https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2 wiki中文数据下载:https://dumps.wikimedia.or…

几种分类器的基本调用方法 本节的目的是基本的使用这些工具,达到熟悉sklearn的流程而已,既不会设计超参数的选择原理(后面会进行介绍),也不会介绍数学原理(应该不会涉及了,打公式超麻烦,而且近期也没有系统的学习机器学习数学原理的计划,下学期可能会重拾cs229,当然如果在上课展示或者实验室任务中用到的特定方法还是很可能用博客记录一下的,笑). Logistic & SGDC '''Logistic & SGDC''' '''数据预处理''' import numpy as np impo…