jieba分词的功能和性能分析

jieba分词问题导引

用户词典大小最大可以有多大
用户词典大小对速度的影响
有相同前缀和后缀的词汇如何区分
对比百度分词的API

问题一：词典大小

从源码大小分析，整个jieba分词的源码总容量为81MB，其中系统词典dict.txt的大小为5.16MB，所以用户词典至少可以大于5.16MB，在从词典中的词语数量来看，系统词典的总的词语数共349047行，每一行包括词语、词频、词性三个属性，所以初步可以判断用户词典可以很大。

import pandas as pd

import numpy as np

import os

path = os.getcwd()

print(path)

dict_path = os.path.join(path, 'medical_dict')

#调用pandas的read_csv()方法时，默认使用C engine作为parser engine，而当文件名中含有中文的时候，用C engine在部分情况下就会出错。所以在调用read_csv()方法时指定engine为Python就可以解决问题了。

res = pd.read_csv(dict_path+'\\部位.txt',sep=' ',header=None,encoding='utf-8',engine='python')

res = res.append( pd.read_csv(dict_path+'\\疾病.txt',sep=' ',header=None,encoding='utf-8',engine='python') )

res = res.append( pd.read_csv(dict_path+'\\检查.txt',sep=' ',header=None,encoding='utf-8',engine='python') )

res = res.append( pd.read_csv(dict_path+'\\手术.txt',sep=' ',header=None,encoding='utf-8',engine='python') )

res = res.append( pd.read_csv(dict_path+'\\药品.txt',sep=' ',header=None,encoding='utf-8',engine='python') )

res = res.append( pd.read_csv(dict_path+'\\症状.txt',sep=' ',header=None,encoding='utf-8',engine='python') )

res = res.append( pd.read_csv(dict_path+'\\中药.txt',sep=' ',header=None,encoding='utf-8',engine='python') )



print(res.count())

0 35885
1 35880
2 35880

将35885个医疗词典放入，远比系统词典小。之后导出为一个用户词典，代码如下：

res[2] = res[1]
res[1] = 883635
print(res.head())
res.to_csv(dict_path+'\\medicaldict.txt',sep=' ',header=False,index=False)

测试语句

#encoding=utf-8

import jieba

import jieba.posseg as pseg

import os

path = os.getcwd()

# 添加用户词典

jieba.load_userdict(path + "\\medical_dict\\medicaldict.txt")

print( path + "\\medical_dict\\medicaldict.txt" )

test_sent = (

"患者1月前无明显诱因及前驱症状下出现腹泻，起初稀便，后为水样便，无恶心呕吐，每日2-3次，无呕血，无腹痛，无畏寒寒战，无低热盗汗，无心悸心慌，无大汗淋漓，否认里急后重感，否认蛋花样大便，当时未重视，未就诊。")

words = jieba.cut(test_sent)

print('/'.join(words))

Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\Public\Documents\Wondershare\CreatorTemp\jieba.cache
Loading model cost 0.921 seconds.
Prefix dict has been built succesfully.
D:\code\jiebafenci\jieba\medical_dict\medicaldict.txt
患者/1/月前/无/明显/诱因/及/前驱/症状/下/出现/腹泻/，/起初/稀便/，/后/为/水样便/，/无/恶心/呕吐/，/每日/2/-/3/次/，/无/呕血/，/无/腹痛/，/无/畏寒/
寒战/，/无/低热/盗汗/，/无/心悸/心慌/，/无/大汗淋漓/，/否认/里急后重/感/，/否认/蛋/花样/大便/，/当时/未/重视/，/未/就诊/。

结果正常，判别一条症状的响应速度快，jieba分词是足以将所有的医疗词汇放入，对于性能的影响可以在进一步分析。

问题二：词典大小对效率的影响

35885个词语，1条测试语句

load time: 1.0382411479949951s
cut time: 0.0s

71770个词语，1条测试语句

load time: 1.4251623153686523s
cut time: 0.0s

1148160个词语

load time: 7.892921209335327s
cut time: 0.0s

逐渐变慢了

2296320个词语

load time: 15.106632471084595s
cut time: 0.0s

在本机已经开始变得很慢了

4592640个词语

load time: 30.660043001174927s
cut time: 0.0s

9185280个词语

load time: 56.30760192871094s

18370560个词语

load time: 116.30s

制作为折线图如上，基本上词语大小和加载速度呈正比。但是加载的词典一般保留在内存中，对内存和I/O负担较大。

之后将2220条病史数据导入后，对分词处理时间依然没有什么影响，在0.1s以内，分词时间可以忽略。

问题三：有相同前缀和后缀的词汇如何区分

关于无尿急、尿频、尿痛，在jieba分词导入用户词典后是能正确区分的，相关病例如下

/患者/3/小时/前/无/明显/诱因/出现/上/腹部/疼痛/，/左/上腹/为主/，/持续性/隐痛/，/无/放射/，/无/恶心/及/呕吐/，/无/泛酸/及/嗳气/，/无/腹胀/及/腹泻/，/无/咳嗽/及/咳痰/，/无/胸闷/及/气急/，/无/腰酸/及/腰疼/，/无/尿急/、/尿频/及/尿痛/，/无/头晕/，/无/黒/曚/，/无/畏寒/及/发热/，/无尿/黄/，/无/口苦/，/来/我院/求治/。

但是无尿黄划分成了无尿/黄，在查找用户词典后，发现是词典中没有尿黄的症状，为词典问题，便跳过处理。但是在症状中确实同时存在无尿和尿频，初步分析可能是词语在词典中的顺序，或者是jieba分词系统内部的分词策列导致，现在分析第一种可能，在词典中无尿在14221行，尿频在13561行，现在将无尿放在第一行，看分词结果。结果仍然为无/尿频，所以结果为是jieba分词内部的算法策略，当两个词语的词频相同是，后匹配的词语优先，比如在词语匹配中尿频比无尿后匹配，所以最后区分尿频，这与正确的分法也相匹配。

再比如腰部酸痛，在部位中有腰部这个词语，在症状中也有腰部酸痛这个词语，测试jieba分词会如何区分

测试词典：
腰部 883635
酸痛 883635
腰部酸痛 883635
测试结果：
腰部酸痛

将词典顺序交换后，并将腰部和疼痛的词频都设置成大于883635的值后，结果仍然是腰部酸痛，所以可以得出jieba分词更倾向于分长度更长的词语，即使短的词语的词频较大也会优先分长度更长的。而我去向自己学医的同学了解后，他也认为分成长词更合理，所以也不用处理。

在查看病例中，发现很多病例中存在方位名 + 部位名的词语，并且应该分成一个词语，如下代码实现添加方位名+部位名的词典，如词典中已经存在，便跳过。

res = pd.read_csv(dict_path+'\\部位.txt',sep=' ',header=None,encoding='utf-8',engine='python')

direct = ['上','下','左','右','前','后']

print(res[0].head())

resum = res[0].count()

print(resum)

result = res[0]

# 在部位名前加上方位名

for item in res[0].tolist():

if(item[0] in direct):

continue

else:

temp = Series(['左' + item, '右' + item], index = [resum+1,resum+2])

resum = resum + 2

result = result.append(temp)

print(result.tail())

df = pd.DataFrame(result)

print(df.describe())

百度分词

github地址 : https://github.com/baidu/lac/

实现代码

from LAC import LAC



# 装载分词模型

lac = LAC(mode='seg')



# 单个样本输入，输入为Unicode编码的字符串

text = u"LAC是个优秀的分词工具"

seg_result = lac.run(text)



# 批量样本输入, 输入为多个句子组成的list，平均速率会更快

texts = [u"腰部酸痛"]

lac.load_customization('userdict.txt', sep=None)

seg_result = lac.run(texts)

print(seg_result)

用户词典只需要添加词语和词性即可。经过测试得到结论：

1.百度分词无词频的概念，但是也更倾向于分长度更长的词语。

后匹配的词语优先，如无尿频，也会划分成无/尿频，与词典中的顺序无关。