spaCy 第一篇：核心类型

spaCy 是一个号称工业级的自然语言处理工具包，最核心的数据结构是Doc和Vocab。Doc对象包含Token的序列和Token的注释（Annotation），Vocab对象是spaCy使用的词汇表（vocabulary），用于存储语言中共享的数据，spaCy通过集中存储字符串，单词向量和词汇属性（lexical attribute）等，避免存储数据的多个副本。

spaCy模块有4个非常重要的类：

Doc：访问语言注释的容器
Span：Doc对象的一个切片
Token：单独的Token，例如，单词，符号，空格等
Vocab：存储词汇表和语言共享的数据

一，Vocab类

Vocab对象用于存储词汇表和语言共享的数据，可以在不同的Doc对象之间共享数据，词汇表使用Lexeme对象和StringStore对象来表示。

>>> import spacy

>>> nlp=spacy.load("en_core_web_lg")

>>> apple=nlp.vocab[u'apple']

apple是一个Lexeme对象，vocab还包含一个strings属性，用于表示把单词映射到64位的哈希值，这使得每一个单词在spaCy中只存储一份。

1，Lexeme类型

Lexeme对象是词汇表Vocab中的一个词条（entry），可以通过该similarity()函数计算两个词条的相似性：

apple = nlp.vocab[u"apple"]

orange = nlp.vocab[u"orange"]

apple_orange = apple.similarity(orange)

Lexeme对象的属性，通常属性是成对存在的，不带下划线的是属性的ID形式，带下划线的是属性的文本形式：

text：文本内容（Verbatim text content）
orth、orth_：文本ID和文本内容
lower、lower_：文本的小写
is_alpha、is_ascii、is_digit、is_lower、is_upper、is_title、is_punct、is_space：指示文本的类型，返回值是boolean类型
like_url、like_num、like_email：指示文本是否是url、数字和email，返回值是boolean类型
sentiment：标量值，用于指示词汇的积极性
cluster：布朗Cluster ID

2，StringStore类型

StringStore类是一个string-to-int的对象，通过64位的哈希值来查找词汇，或者把词汇映射到64位的哈希值：

>>> from spacy.strings import StringStore

>>> stringstore = StringStore([u"apple", u"orange"])

>>> apple_hash = stringstore[u"apple"]

>>> apple_hash

8566208034543834098

Vocab的strings属性是一个StringStore对象，用于存储共享的词汇数据：

apple_id=nlp.vocab.strings[u'apple']

>>> apple_id

8566208034543834098

3，Vocab类

在初始化Vocab类时，传递参数strings是list或者StringStore对象，得到Vocab对象：

from spacy.vocab import Vocab

vocab = Vocab(strings=[u"apple", u"orange"])

>>> vocab.strings[u"apple"]

8566208034543834098

二，Token类

Token是一个单词、标点符号、空格等，在自然语言处理中，把一个单词，一个标点符号，一个空格等叫做一个token。

>>> import spacy

>>> nlp=spacy.load("en_core_web_sm")

>>> doc=nlp("I like apples and oranges")

>>> token_apple =doc[2]

>>> token_orange=doc[4]

1，Token对象的函数

计算不同token之间的语义相似性

token_apple.similarity(token_orange)

对一段文本，获得相邻的token，默认情况下，得到的是下一个相邻的token：

>>> token_apple.nbor()

and

从一段文本种，获得相连的token：

token_apple.conjuncts

(oranges,)

2，Token对象的属性

Token对象，除了具有Lexeme对象属性之外，还具有Token对象特有的属性：

doc：父doc
sent：token所在的Span对象
text：文本
orth、orth_：文本ID和文本
i：token在父doc中的索引
ent_type、ent_type_：命名实体类型
lemma、lemma_：token的基本形式（base form）
norm、norm_：token的标准化形式
pos、pos_：token的词性（Coarse-grained POS）
tag、tag_：token的词性（Fine-grained POS）
lower、lower_：token的小写形式
is_alpha、is_ascii、is_digit、is_lower、is_upper、is_title、is_punct、is_space
like_url、like_num、like_email
sentiment

三，Doc类

对一个文本数据进行分词之后，Doc对象是token的序列，Span对象是Doc对象的一个切片：

>>> import spacy

>>> nlp=spacy.load("en_core_web_sm")

>>> doc=nlp("I like apples and oranges")
>>> span=doc[0:3]

1，获得文本的命名实体

doc.ents

2，获得文本的名词块

doc.noun_chunks

3，获得文本的句子

doc.sents

4，查看doc的文本

doc.text

四，Span类

Span对象是Doc对象的一个切片，Span对象的属性：

start：span的第一个token在doc中的索引
end：span的最后一个token在doc中的索引
text：span的文本
orth、orth_：span的文本
lemma_：span的lemma

六，spaCy的架构

Doc对象是由Tokenizer构造，然后由管道（pipeline）的组件进行适当的修改。 Language对象协调这些组件，它接受原始文本并通过管道发送，返回带注释（Annotation）的文档。文本注释（Text Annotation）被设计为单一来源：Doc对象拥有数据，Span是Doc对象的视图。

参考文档：

spaCy Architecture