第1章 NLP基础

大纲

• NLP基础概念

• NLP的发展与应用

• NLP常用术语以及扩展介绍

---

1.1 什么是NLP

• 基本分类

• 自然语言生成（Natural Language Generation,NLG）

  指从结构化数据中以读取的方式自动生成文本，主要包括三个阶段：

  • 文本规划：完成结构化数据中的基础内容规划；
  • 语句规划：从结构化数据中组合语句来表达信息流；
  • 实现：产生语法通顺的语句来表达文本；

• 研究任务

  • 机器翻译
  • 情感分析
  • 智能问答
  • 文摘生成
  • 文本分类
  • 舆论分析
  • 知识图谱

---

1.2 NLP的发展历程

• 萌芽期（1956年以前）

  贝叶斯方法、隐马尔可夫、最大熵、支持向量机……，主流仍为基于规则的理性主义方法；

• 快速发展期（1980~1999年）

  基于统计、基于实例和基于规则的语料库技术在这一时期蓬勃发展；

• 突飞猛进期（2000年至今）

  神经网络与深度学习；

---

1.3 NLP相关知识的构成

• 基本术语

  • 分词（segment）
  • 词性标注（part-of-speech tagging）

  • 命名实体识别（NER，Named Entity Recognition）

    指从文本中识别具有特定类标的实体（常为名词），如人名、地名、机构名、专有名词等；

  • 句法分析(syntax parsing)

    目的是解析句子中各个成分的依赖关系；

  • 指代消解（anaphora resolution）
  • 情感识别（emotion recognition）
  • 纠错（correction）
  • 问答系统（QA system）

• 知识结构

  NLP是一门跨学科科学，体系化与特殊化并存，其知识体系如下：

  • 句法语义分析：针对目标句子，进行各种句法分析；
  • 关键词抽取：抽取目标文本中的主要信息；
  • 文本挖掘：主要包含对文本的聚类、分类、信息抽取、摘要、情感分析及对挖掘的信息和知识的可视化、交互式的呈现界面；
  • 信息检索：对大规模的文档进行索引；
  • 机器翻译：将输入的源语言文本通过自动化翻译转化为另一种语言的文本；
  • 问答系统：针对某个自然语言表达的问题，由问答系统给出一个精确答案；
  • 对话系统：系统通过多回合对话，与用户进行聊天、问答、完成某项任务；

---

1.4 语料库

• 中文维基百科

• 搜狗新闻语料库

• IMDB情感分析语料库

• fastText词向量

• 维基可比语料

---

1.5 探究NLP的几个层面

• 第一层面：词法分析

  • 分词

  • 词性标注

    目的是为每个词赋予一个类别；

• 第二层面：句法分析

  对输入的文本以句子为单位，进行分析从而得到句子的句法结构的处理过程；

• 第三层面：语义分析

  语义角色标注（semantic role labeling）是当前较为成熟的浅层语义分析技术；