NLP知识十大结构 2.1形式语言与自动机 语言:按照一定规律构成的句子或者字符串的有限或者无限的集合. 描述语言的三种途径: 穷举法 文法(产生式系统)描述 自动机 自然语言不是人为设计而是自然进化的,形式语言比如:运算符号.化学分子式.编程语言 形式语言理论朱啊哟研究的是内部结构模式这类语言的纯粹的语法领域,从语言学而来,作为一种理解自然语言的句法规律,在计算机科学中,形式语言通常作为定义编程和语法结构的基础 形式语言与自动机基础知识: 集合论 图论 自动机的应用: 1,单词自动查错纠正 2…

1.词集模型 将每个词的出现与否作为一个特征,不考虑词频.也就是一个词在文本在文本中出现1次和多次特征处理是一样的. 2.词袋模型 与词集相比,会考虑词频 sklearn中 CountVectorizer与 CountVectorizer: 会以每一个词作为特征,求出每一个词的词频 http://www.cnblogs.com/pinard/p/6688348.html 3.hash feature 特征哈希是一种降维的方法,因为由于词袋模型产生的向量维度很大,而特征哈希就是对每一个特征进行ha…

都是转自其他博客,好好学习! 概述: https://blog.csdn.net/starzhou/article/details/73930117 tf-idf https://blog.csdn.net/zrc199021/article/details/53728499 word2vec http://www.dataguru.cn/article-13488-1.html https://blog.csdn.net/mylove0414/article/details/61616617…

从人工智能学科诞生之初起,自然语言处理(NLP)就是人工智能核心的研究问题之一.NLP的重要性是毋庸置疑的,它能够实现以自然语言交流为特征的高级人机交互,使机器能“阅读”所有以文字形式记录的人类知识,并提供各种高层智能服务的基础和关键技术. 目前在NLP领域最受瞩目的要数谷歌的NLP模型BERT(Bidirectional Encoder Representa-tions from Transformers),它在Trans-former的基础上,借助海量跨领域语料和超高计算能力,通过多任务预训…

首先,面试官根据项目经验进行提问,主要是自然语言处理相关的问题:然后写代码题,字符串处理和数字运算居多:再者是一些语言基础知识,百度用的linux平台,C++和python居多.下面列出我面试中的一些问题: 文本挖掘中,分词算法?如何选取特征?如何进行相似度计算,文本聚类结果如何评估? 分词时,为了提高效率,怎么存储词典?(键树)如何压缩存储? 一个字符数组中,每个字符都出现了3次,只有一个出现了2次,如果快速找出这个出现2次的? 可以参考<编程之美>中的一个题.(1)先排序再找,慢!(2)h…

Named Entity Recognition in Biomedical Texts using an HMM Model  2004年,引用79 1.摘要 Although there exists a huge number of biomedical texts online, there is a lack of tools good enough to help people get information or knowledge from them. Named entity …

词嵌入 word embedding embedding 嵌入 embedding: 嵌入, 在数学上表示一个映射f:x->y, 是将x所在的空间映射到y所在空间上去,并且在x空间中每一个x有y空间中唯一的y与其对应. 嵌入,也就是把x在y空间中找到一个位置嵌入,一个x嵌入为一个唯一的y. word embedding 词嵌入 也就是把当前预料文本库中每一个词语都嵌入到一个向量空间当中,并且每一个词语对应唯一的词向量,也就是词向量. 所以, one-hot也是word Embedding的一种实…

目录写在前面1. Transformer1.1 从哪里来?1.2 有什么不同?1.2.1 Scaled Dot-Product Attention1.2.2 Multi-Head Attention1.2.3 Masked Multi-Head Attention2. Transformer-XL2.1 XL是指什么?2.2 它做了什么?3. 小结 写在前面前两天我正在微信上刷着消息,猛然间关注的几个学习号刷屏,又一个超强预训练语言模型问世——XLNet,它由卡耐基梅隆大学与谷歌大脑的研究者提出…

条件随机场知识扩展延伸 作者:白宁超 2016年8月3日19:47:55 [摘要]:条件随机场用于序列标注,数据分割等自然语言处理中,表现出很好的效果.在中文分词.中文人名识别和歧义消解等任务中都有应用.本文源于笔者做语句识别序列标注过程中,对条件随机场的了解,逐步研究基于自然语言处理方面的应用.成文主要源于自然语言处理.机器学习.统计学习方法和部分网上资料对CRF介绍的相关的相关,最后进行大量研究整理汇总成体系知识.文章布局如下:第一节介绍CRF相关的基础统计知识:第二节介绍基于自然语言角度的…

今天是2017年12月30日,2017年的年尾,2018年马上就要到了,回顾2017过的确实很快,不知不觉就到年末了,再次开篇对2016.2017年的学习数据挖掘,机器学习方面的知识做一个总结,对自己所学的知识也做一个梳理,查漏补缺关于数据挖据.数据分析,可视化,ML,DL,NLP等. 作者:csj更新时间:2017.12.27 email:59888745@qq.com 说明:因内容较多,会不断更新 *学习总结: 2016.10 主要看的书 <Python3-廖雪峰>,<Python核…