学习笔记（25）- NLP的几个概念

NLP的几个概念

• 从技术研究的角度，简单介绍自然语言处理的几个概念

1. 对抗学习

主要指对抗生成网络。

2个主要构成：判别器、生成器

判别模型尽可能提取特征正确率增加的模型，生成模型尽可能“伪造”让判别模型以为是真的结果。

2. 强化学习

来源于“heterostatic theory of adaptive systems”

不同于监督学习和非监督学习，强化学习不要求预先给定任何数据，而是通过接收环境对动作的奖励（反馈）获得学习信息并更新模型参数 [3] 。

2个核心：

1. 定义奖励、惩罚函数
2. 完成尝试，学习的过程

3. 向量搜索

顾名思义，向量形式的搜索。

index：将普通搜索的query和文档库中的文档，都用向量表示。

query：完成向量的匹配（相似度计算）过程。

得到向量的过程，可使用word2vec、fasttext、glove等，也可使用公开的词向量模型。腾讯、百度、Google都有公开。

4. 意图识别

常用于会话系统中，用来识别用户的意图，给系统下一步的操作提供依据。

一个是意图的识别，一个是槽位的识别。

本质就是一个分类问题，可以用基于规则，传统机器学习算法 (SVM)，基于深度学习算法（CNN, LSTM, RCNN, C-LSTM, FastText）等方法来处理。

5. 情感分析

情感分析的任务是从评论的文本中提取出评论的实体，以及评论者对该实体所表达的情感倾向。

用于电商网站对某款产品的用户反馈情绪提取。

抽取情感相关的词汇，和词典中的数据进行比较，最终计算得分。

可基于词语来做，也可将整个句子标注，用来训练深度神经网络的情感分类模型。

情感分析 ChnSentiCorp，SST-2，和 LCQMC

一般为单句分析

6. 相似度计算

计算两个文本之间的相关程度。

可以是基于字符层面的计算，例如编辑距离、Jaccard距离等；

也可以是基于语义层面的，先得到词语/字的语义向量，然后计算文本的语义向量，最终计算两个向量之间的距离。方法有：cos、dot

Attention用的是另外一种计算矩阵相似度的方法，这里不讨论。

7. 文本生成

目前的算法和技术能做到的：将结构化的数据，转为非结构化的文本。

根据商品信息，生成营销类的标题和宣传广告。是基于规则模板匹配和语义标注训练相结合的方法。有大量的标注训练数据。

“李文哲：目前NLP不适合文本生成，只能用在论文里面”

8. 知识图谱

将知识用图结构的方式表达出来。图数据库。

常用的工具neo4j、ArangoDB、OrientDB、TigerGraph

9. 端到端

端到端，是一种方法、一种思路，在Seq2Seq基础之上，完成序列到序列的映射关系。

可以做语音识别、机器翻译、命名实体识别、关系抽取等任务。

用户只需关注输入和输出部分，无需在意具体的映射逻辑，可以看做是一个黑盒子。

端到端的学习其实就是不做其他额外处理，从【原始数据输入】到【任务结果输出】，整个训练和预测过程，都是在模型里完成的。

自动驾驶：像素---指令
语音识别：声音---文本
机器翻译：文本---文本
智能会话：文本---文本
问答系统：文本---文本

一般来讲，输入和输出的长度相对固定，且格式一致。数据量在10万以上。

10. 机器阅读理解

研究工作的主要内容：给定一段文本、一个问题和多个候选集，找出正确的那个候选集。并且，答案一定出现在段落中。

数据格式SQuAD。台湾有繁体版，有对应的简体版。

11. 智能会话

人和机器之间的对话

下图是阿里的达摩院分享的内容，我做了笔记和整理。

12. 多轮会话

为了完成一个特定的任务，人和机器之间的多次交互。

以完成任务为目的。

多轮会话中，包含意图的澄清、确认等。

能运行跑起来的应用，都是基础的填槽方式。

基于深度学习的方法，目前停留在实验阶段。

13. 问答系统

这是从研究工作工作的角度，看待的“问答系统”

一问一答。

人类一次提问，机器一次回答，交互完成。

在实际工作中，不同岗位理解的问答系统不一样。

例如：在知识类的网站中，知乎、悟空问答、各种论坛，都可以看做是问答系统。

关于深度学习的问答系统，保险领域常用的数据集是https://github.com/shuzi/insuranceQA.git ，这是一问一答的方式，原版是英文版的，已有中文版本。

生物医疗领域的问答系统，BioASQ

BERT模型做的问答系统，一般基于三元组<上下文，问题，答案>

NLPCC2016-DBQA 是由国际自然语言处理和中文计算会议 NLPCC 于 2016 年举办的评测任务，其目标是从候选中找到合适的文档作为问题的答案。[链接: http://tcci.ccf.org.cn/conference/2016/dldoc/evagline2.pdf].

14. 问答和会话的区别

问答是《问题，答案》、《提问，回答》的方式，2个角色，一次交互。

会话是围绕一个主题（达到某个目的、完成某项任务）进行多次交互，2个或多于2个角色，多次交互。

• 问答涉及的内容有：
  
  理解、改写问题；
  
  搜索、匹配、排序答案；
  
  实体、关系的识别、抽取；

• 会话一般有6个核心模块：
  
  ARS、NLU、DST、Policy、NLG、TTS
  
  即：语音识别、自然语言理解、会话状态跟踪、对话策略、自然语言生成、语音合成
  
  一般为任务导向型
  
  方法有：基于框架（槽填充、模板）、端到端（end2end）

自动作诗，是端到端方法的应用

15. 自然语言理解NLU

http://www.crownpku.com/2017/07/27/用Rasa_NLU构建自己的中文NLU系统.html

我们推荐使用下面的pipeline:

MITIE+Jieba+sklearn (sample_configs/config_jieba_mitie_sklearn.json):

[“nlp_mitie”, “tokenizer_jieba”, “ner_mitie”, “ner_synonyms”, “intent_featurizer_mitie”, “intent_classifier_sklearn”]

这里也可以看到Rasa NLU的工作流程。”nlp_mitie”初始化MITIE，”tokenizer_jieba”用jieba来做分词，”ner_mitie”和”ner_synonyms”做实体识别，”intent_featurizer_mitie”为意图识别做特征提取，”intent_classifier_sklearn”使用sklearn做意图识别的分类。

参考

https://www.milvus.io/

https://github.com/PaddlePaddle/ERNIE

https://github.com/RasaHQ/rasa