模块 jieba结巴分词库 中文分词

jieba结巴分词库

jieba（结巴）是一个强大的分词库，完美支持中文分词，本文对其基本用法做一个简要总结。

安装jieba

pip install jieba

简单用法

结巴分词分为三种模式：精确模式（默认）、全模式和搜索引擎模式，下面对这三种模式分别举例介绍：

精确模式

import jieba
s = u'我想和女朋友一起去北京故宫博物院参观和闲逛。'
cut = jieba.cut(s)

print '【Output】'
print cut
print ','.join(cut)
【Output】
<generator object cut at 0x7f8dbc0efc30>
我,想,和,女朋友,一起,去,北京故宫博物院,参观,和,闲逛,。

可见分词结果返回的是一个生成器（这对大数据量数据的分词尤为重要）。

全模式

print '【Output】'
print ','.join(jieba.cut(s,cut_all = True))
【Output】
我,想,和,女朋友,朋友,一起,去,北京,北京故宫,北京故宫博物院,故宫,故宫博物院,博物,博物院,参观,和,闲逛,,

可见全模式就是把文本分成尽可能多的词。

搜索引擎模式

print '【Output】'
print ','.join(jieba.cut_for_search(s))
【Output】
我,想,和,朋友,女朋友,一起,去,北京,故宫,博物,博物院,北京故宫博物院,参观,和,闲逛,。

获取词性

每个词都有其词性，比如名词、动词、代词等，结巴分词的结果也可以带上每个词的词性，要用到jieba.posseg，举例如下：

import jieba.posseg as psg
print '【Output】'
print [(x.word,x.flag) for x in psg.cut(s)]

# 输出：
'''
[(u'我', u'r'), (u'想', u'v'), (u'和', u'c'), (u'女朋友', u'n'), (u'一起', u'm'),
(u'去', u'v'), (u'北京故宫博物院', u'ns'), (u'参观', u'n'), (u'和', u'c'), (u'闲逛', u'v'), (u'。', u'x')]
'''

可以看到成功获取到每个词的词性，这对于我们对分词结果做进一步处理很有帮助，比如只想获取分词结果列表中的名词，那么就可以这样过滤：

print [(x.word,x.flag) for x in psg.cut(s) if x.flag.startswith('n')]

# 输出：
'''
[(u'女朋友', u'n'), (u'北京故宫博物院', u'ns'), (u'参观', u'n')]
'''

至于词性的每个字母分别表示什么词性，jieba分词的结果可能有哪些词性，就要去查阅词性对照表了，本文结尾附了一份从网上搜到的词性对照表，想了解更详细的词性分类信息，可以到网上搜索"结巴分词词性对照"。

并行分词

在文本数据量非常大的时候，为了提高分词效率，开启并行分词就很有必要了。jieba支持并行分词，基于python自带的multiprocessing模块，但要注意的是在Windows环境下不支持。

用法：

# 开启并行分词模式，参数为并发执行的进程数
jieba.enable_parallel(5)

# 关闭并行分词模式
jieba.disable_parallel()

举例：开启并行分词模式对三体全集文本进行分词

santi_text = open('./santi.txt').read()
print len(santi_text)
2681968

可以看到三体全集的数据量还是非常大的，有260多万字节的长度。

jieba.enable_parallel(100)
santi_words = [x for x in jieba.cut(santi_text) if len(x) >= 2]
jieba.disable_parallel()

获取出现频率Top n的词

还是以上面的三体全集文本为例，假如想要获取分词结果中出现频率前20的词列表，可以这样获取：

from collections import Counter
c = Counter(santi_words).most_common(20)
print c

# 输出：
'''
[(u'\r\n', 21805), (u'一个', 3057), (u'没有', 2128), (u'他们', 1690), (u'我们', 1550),
(u'这个', 1357), (u'自己', 1347), (u'程心', 1320), (u'现在', 1273), (u'已经', 1259),
(u'世界', 1243), (u'罗辑', 1189), (u'可能', 1177), (u'什么', 1176), (u'看到', 1114),
(u'知道', 1094), (u'地球', 951), (u'人类', 935), (u'太空', 930), (u'三体', 883)]
'''

可以看到结果中'\r\n'居然是出现频率最高的词，还有'一个'、'没有'、'这个'等这种我们并不想要的无实际意义的词，那么就可以根据前面说的词性来进行过滤，这个以后细讲。

使用用户字典提高分词准确性

不使用用户字典的分词结果：

txt = u'欧阳建国是创新办主任也是欢聚时代公司云计算方面的专家'
print ','.join(jieba.cut(txt))
欧阳,建国,是,创新,办,主任,也,是,欢聚,时代,公司,云,计算,方面,的,专家

使用用户字典的分词结果：

jieba.load_userdict('user_dict.txt')
print ','.join(jieba.cut(txt))
欧阳建国,是,创新办,主任,也,是,欢聚时代,公司,云计算,方面,的,专家

可以看出使用用户字典后分词准确性大大提高。

注：其中user_dict.txt的内容如下：

欧阳建国 5

创新办 5 i

欢聚时代 5

云计算 5

用户字典每行一个词，格式为：

词语 词频 词性

其中词频是一个数字，词性为自定义的词性，要注意的是词频数字和空格都要是半角的。

附：结巴分词词性对照表

• 按词性英文首字母排序

形容词

类型	二级类型	标签	解释
形容词	一类	a	形容词
形容词	二类	a	形容词
形容词	二类	ad	副形词
形容词	二类	an	名形词
形容词	二类	ag	形容词性语素
形容词	二类	al	形容词性惯用语
区别词	一类	b	区别词
区别词	二类	bl	区别词性惯用语

名词

类型	二级类型	标签	解释
名词	一类	n	名词
名词	二类	nr	人名
名词	三类	nr1	汉语姓氏
名词	三类	nr2	汉语名字
名词	三类	nrj	日语人名
名词	三类	nrf	音译人名
名词	二类	ns	地名
名词	三类	nsf	音译地名
名词	二类	nt	机构团体名
名词	二类	nz	其它专名
名词	二类	nl	名词性惯用语
名词	二类	ng	名词性语素

代词(1个一类，4个二类，6个三类)

标签	解释
r	代词
rr	人称代词
rz	指示代词
rzt	时间指示代词
rzs	处所指示代词
rzv	谓词性指示代词
ry	疑问代词
ryt	时间疑问代词
rys	处所疑问代词
ryv	谓词性疑问代词
rg	代词性语素

助词(1个一类，15个二类)

标签	解释
u	助词
uzhe	着
ule	了 喽
uguo	过
ude1	的 底
ude2	地
ude3	得
usuo	所
udeng	等 等等 云云
uyy	一样 一般 似的 般
udh	的话
uls	来讲 来说 而言 说来
uzhi	之
ulian	连 （“连小学生都会”）

动词(1个一类，9个二类)

标签	解释
v	动词
vd	副动词
vn	名动词
vshi	动词“是”
vyou	动词“有”
vf	趋向动词
vx	形式动词
vi	不及物动词（内动词）
vl	动词性惯用语
vg	动词性语素

标点符号(1个一类，16个二类)

标签	解释
w	标点符号
wkz	左括号，全角：（ 〔 ［ ｛ 《 【 〖 〈 半角：( [ { <
wky	右括号，全角：） 〕 ］ ｝ 》 】 〗 〉 半角： ) ] { >
wyz	左引号，全角：“ ‘ 『
wyy	右引号，全角：” ’ 』
wj	句号，全角：。
ww	问号，全角：？ 半角：?
wt	叹号，全角：！ 半角：!
wd	逗号，全角：， 半角：,
wf	分号，全角：； 半角： ;
wn	顿号，全角：、
wm	冒号，全角：： 半角： :
ws	省略号，全角：…… …
wp	破折号，全角：—— －－ ——－ 半角：--- ----
wb	百分号千分号，全角：％ ‰ 半角：%
wh	单位符号，全角：￥ ＄ ￡ ° ℃ 半角：$

其它

类型	二级类型	标签	解释
连词	一类	c	连词
连词	二类	cc	并列连词
副词	一类	d	副词
叹词	一类	e	叹词

| 方位词|一类|f |方位词

| 前缀|一类)|h |前缀|

| 后缀|一类|k 后缀|

| 数词|一类，1个二类|

| 数词|一类|m |数词|

| 数词|二类|mq |数量词|

拟声词(1个一类)

标签	解释
o	拟声词

介词(1个一类，2个二类)

|p |介词|

|pba |介词“把”|

|pbe|i 介词“被”|

量词(1个一类，2个二类)

标签	解释
q	量词
qv	动量词
qt	时量词

字符串(1个一类，2个二类)

标签	解释
x	字符串
xx	非语素字
xu	网址URL

语气词(1个一类)

标签	解释
y	语气词(delete yg)

状态词(1个一类)

标签	解释
z	状态词

处所词(1个一类)

标签	解释
s	处所词

时间词(1个一类，1个二类)

标签	解释
t	时间词
tg	时间词性语素