大纲

  • NLP基础概念

  • NLP的发展与应用

  • NLP常用术语以及扩展介绍


1.1 什么是NLP

  • 基本分类

  • 自然语言生成(Natural Language Generation,NLG)

    指从结构化数据中以读取的方式自动生成文本,主要包括三个阶段:

    • 文本规划:完成结构化数据中的基础内容规划;
    • 语句规划:从结构化数据中组合语句来表达信息流;
    • 实现:产生语法通顺的语句来表达文本;
  • 研究任务

    • 机器翻译
    • 情感分析
    • 智能问答
    • 文摘生成
    • 文本分类
    • 舆论分析
    • 知识图谱

1.2 NLP的发展历程

  • 萌芽期(1956年以前)

    贝叶斯方法、隐马尔可夫、最大熵、支持向量机……,主流仍为基于规则的理性主义方法;

  • 快速发展期(1980~1999年)

    基于统计、基于实例和基于规则的语料库技术在这一时期蓬勃发展;

  • 突飞猛进期(2000年至今)

    神经网络与深度学习;


1.3 NLP相关知识的构成

  • 基本术语

    • 分词(segment)
    • 词性标注(part-of-speech tagging)
    • 命名实体识别(NER,Named Entity Recognition)

      指从文本中识别具有特定类标的实体(常为名词),如人名、地名、机构名、专有名词等;

    • 句法分析(syntax parsing)

      目的是解析句子中各个成分的依赖关系;

    • 指代消解(anaphora resolution)
    • 情感识别(emotion recognition)
    • 纠错(correction)
    • 问答系统(QA system)
  • 知识结构

    NLP是一门跨学科科学,体系化与特殊化并存,其知识体系如下:

    • 句法语义分析:针对目标句子,进行各种句法分析;
    • 关键词抽取:抽取目标文本中的主要信息;
    • 文本挖掘:主要包含对文本的聚类、分类、信息抽取、摘要、情感分析及对挖掘的信息和知识的可视化、交互式的呈现界面;
    • 信息检索:对大规模的文档进行索引;
    • 机器翻译:将输入的源语言文本通过自动化翻译转化为另一种语言的文本;
    • 问答系统:针对某个自然语言表达的问题,由问答系统给出一个精确答案;
    • 对话系统:系统通过多回合对话,与用户进行聊天、问答、完成某项任务;


1.4 语料库


1.5 探究NLP的几个层面

  • 第一层面:词法分析

    • 分词

    • 词性标注

      目的是为每个词赋予一个类别;

  • 第二层面:句法分析

    对输入的文本以句子为单位,进行分析从而得到句子的句法结构的处理过程;

  • 第三层面:语义分析

    语义角色标注(semantic role labeling)是当前较为成熟的浅层语义分析技术;

第1章 NLP基础的更多相关文章

  1. 《利用python进行数据分析》读书笔记--第四章 numpy基础:数组和矢量计算

    http://www.cnblogs.com/batteryhp/p/5000104.html 第四章 Numpy基础:数组和矢量计算 第一部分:numpy的ndarray:一种多维数组对象 实话说, ...

  2. java面向对象编程——第二章 java基础语法

    第二章 java基础语法 1. java关键字 abstract boolean break byte case catch char class const continue default do ...

  3. 《零成本实现Web自动化测试--基于Selenium》第一章 自动化测试基础

    第一篇 Selenium 和WebDriver工具篇 第一章 自动化测试基础 1.1    初识自动化测试 自动化测试有两种常见方式 1.1.1 代码驱动测试,又叫测试驱动开发(TDD) 1.1.2 ...

  4. 【windows核心编程】 第六章 线程基础

    Windows核心编程 第六章 线程基础 欢迎转载 转载请注明出处:http://www.cnblogs.com/cuish/p/3145214.html 1. 线程的组成 ①    一个是线程的内核 ...

  5. [Python笔记][第一章Python基础]

    2016/1/27学习内容 第一章 Python基础 Python内置函数 见Python内置函数.md del命令 显式删除操作,列表中也可以使用. 基本输入输出 input() 读入进来永远是字符 ...

  6. 第一章 jQuery基础

    第一章jQuery基础 一.jQuert简介 1.什么是jQuery jQuery是javaScript的程序库之一,它是javaScript对象和实用函数的封装. jQuery是继Prototype ...

  7. 0003.5-20180422-自动化第四章-python基础学习笔记--脚本

    0003.5-20180422-自动化第四章-python基础学习笔记--脚本 1-shopping """ v = [ {"name": " ...

  8. web前端学习python之第一章_基础语法(二)

    web前端学习python之第一章_基础语法(二) 前言:最近新做了一个管理系统,前端已经基本完成, 但是后端人手不足没人给我写接口,自力更生丰衣足食, 所以决定自学python自己给自己写接口哈哈哈 ...

  9. web前端学习python之第一章_基础语法(一)

    web前端学习python之第一章_基础语法(一) 前言:最近新做了一个管理系统,前端已经基本完成, 但是后端人手不足没人给我写接口,自力更生丰衣足食, 所以决定自学python自己给自己写接口哈哈哈 ...

随机推荐

  1. Spring Boot 面试的十个问题

    用下面这些常见的面试问题为下一次 Spring Boot 面试做准备. 在本文中,我们将讨论 Spring boot 中最常见的10个面试问题.现在,在就业市场上,这些问题有点棘手,而且趋势日益严重. ...

  2. MYSQL A、B表数组关联查询

    最终结果: 数据库表 A表: B表: 操作步骤 主要关键字:FIND_IN_SET.GROUP_CONCAT.LEFT JOIN.GROUP BY 第一步:left join 连接AB表并通过 fin ...

  3. Appium自动化测试环境搭建

    前言 Appium是一个开源的自动化测试框架,支持跨平台,支持多种编程语言,可用于原生,混合和移动web应用程序,使用webdriver驱动ios,android应用程序.那么为了学习app自动化测试 ...

  4. Linux 文件系统相关的基本概念

    本文介绍 Linux 文件系统相关的基本概念. 硬盘的物理组成 盘片硬盘其实是由单个或多个圆形的盘片组成的,按照盘片能够容纳的数据量,分为单盘(一个硬盘里面只有一个盘片)或多盘(一个硬盘里面有多个盘片 ...

  5. Java秒杀系统实战系列~商品秒杀代码实战

    摘要: 本篇博文是“Java秒杀系统实战系列文章”的第六篇,本篇博文我们将进入整个秒杀系统核心功能模块的代码开发,即“商品秒杀”功能模块的代码实战. 内容: “商品秒杀”功能模块是建立在“商品详情”功 ...

  6. RocketMQ中Broker的启动源码分析(一)

    在RocketMQ中,使用BrokerStartup作为启动类,相较于NameServer的启动,Broker作为RocketMQ的核心可复杂得多 [RocketMQ中NameServer的启动源码分 ...

  7. Thread.Sleep太久,界面卡死

    在Winform程序的UI界面使用Thread.Sleep,窗体界面会被卡死,如图1所示,程序sleep 5000毫秒,时间到了之后,按钮的名称才更改过来,窗体也能被鼠标拖动.而用Delay方法,就能 ...

  8. 基于vue2.0搭建项目流程

    搭建vue2.0项目--myproject 一. 环境搭建: 1 打开命令行(cmd) 2 安装node node官网 3 安装 vue-cli步骤如下: npm install -g vue-cli ...

  9. grep使用集合

    一.grep使用 (一).选项 -a 不要忽略二进制数据. -A<显示列数> 除了显示符合范本样式的那一行之外,并显示该行之后的内容. -b 在显示符合范本样式的那一行之外,并显示该行之前 ...

  10. 逆向破解之160个CrackMe —— 001

    CrackMe —— 001 160 CrackMe 是比较适合新手学习逆向破解的CrackMe的一个集合一共160个待逆向破解的程序 CrackMe:它们都是一些公开给别人尝试破解的小程序,制作 c ...