jieba：我虽然结巴，但是我会分词啊

介绍

jieba目前是一款比较好分词模块

---

分词

import jieba

# 可以使用jieba.cut进行分词
sentence = "失去恋人所带来的苦痛远远超过了他的承受范围"
"""
函数大致如下
jieba.cut(sentence, cut_all=False, HMM=True)

sentence：分词的句子
cut_all:是否使用全模式，默认是False，表示精准模式
HMM：是否使用隐藏马尔科夫模型，默认为True
"""
seg = jieba.cut(sentence)
# 得到的seg是一个生成器
print(list(seg))  # ['失去', '恋人', '所', '带来', '的', '苦痛', '远远', '超过', '了', '他', '的', '承受', '范围']
# 可以看到分的还是蛮准确的

# 如果使用全模式呢
seg = jieba.cut(sentence, cut_all=True)
print(list(seg))  # ['失去', '恋人', '所', '带来', '的', '苦痛', '远远', '远超过', '超过', '了', '他', '的', '承受', '范围']

# 默认一般都是用精准模式

# 除了jieba.cut之外还有一个jieba.lcut，两者之间功能一样，只不过后者会直接返回一个列表

# 搜索引擎模式
seg = jieba.cut_for_search(sentence)
print(list(seg))  # ['失去', '恋人', '所', '带来', '的', '苦痛', '远远', '超过', '了', '他', '的', '承受', '范围']
# 由于句子比较简单，导致和cut的结果是类似的
# 同理也有lcut_for_search，也是直接返回一个列表

---

添加自定义词典

import jieba

# 可以使用jieba.cut进行分词
sentence = "古明地觉来自于东方地灵殿,是一个超级可爱的女孩"
print(jieba.lcut(sentence))  # ['古明', '地觉', '来自', '于', '东方', '地灵', '殿', ',', '是', '一个', '超级', '可爱', '的', '女孩']

# 注意到，古明地觉四个字被进行了切割，可以如果我想让它作为整体出现呢
# jieba分词会使用一个词典，根据词典里面的词进行分词，如果像人名之类的，不再jieba使用的词典里，那么分词就会出现不预期之内的结果

# 所以我们可以自定义词典，追加到jieba使用的词典里面

自定义的词典格式如下：

词语 词频(可省略) 词性(可省略)

至于词频和词性后面会说

自定义一个1.txt文件，里面包含内容如下

古明地觉
东方地灵殿

import jieba

sentence = "古明地觉来自于东方地灵殿,是一个超级可爱的女孩"
print(jieba.lcut(sentence))  # ['古明', '地觉', '来自', '于', '东方', '地灵', '殿', ',', '是', '一个', '超级', '可爱', '的', '女孩']

jieba.load_userdict("1.txt")
print(jieba.lcut(sentence))  # ['古明地觉', '来自', '于', '东方地灵殿', ',', '是', '一个', '超级', '可爱', '的', '女孩']

# 可以看到，在将我们自定义的词典load进去之后，就能分出我们想要的结果了
# 因为jieba使用词典里的单词，词性标注，词频等等来切割单词
# 但如果词不在里面的话，就不行了，因此我们可以自己定义告诉结巴，'古明地觉'和'东方地灵殿'都是一个整体，不要进行切割

除此之外，还可以不用通过加载文件的方式来加载词典

import jieba

sentence = "古明地觉来自于东方地灵殿,是一个超级可爱的女孩"
print(jieba.lcut(sentence))  # ['古明', '地觉', '来自', '于', '东方', '地灵', '殿', ',', '是', '一个', '超级', '可爱', '的', '女孩']

# 通过add_word的方式同样可以添加我们自己定义的词语
jieba.add_word("古明地觉")
jieba.add_word("东方地灵殿")
print(jieba.lcut(sentence))  # ['古明地觉', '来自', '于', '东方地灵殿', ',', '是', '一个', '超级', '可爱', '的', '女孩']

# 当然也可以动态参数
jieba.del_word("东方地灵殿")
print(jieba.lcut(sentence))  # ['古明地觉', '来自', '于', '东方', '地灵', '殿', ',', '是', '一个', '超级', '可爱', '的', '女孩']

# 可以看到，在删除'东方地灵殿'之后，又分的不准了

---

关键词提取

jieba 提供了两种关键词提取方法，分别基于 TF-IDF 算法和 TextRank 算法。

• TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)

  一个词语在一篇文章中出现次数越多，同时在所有文档中出现次数越少，越能够代表该文章

  import jieba
  import jieba.analyse
  
  sentence = """
  
  地灵殿的主人。
  虽然地底都市已经被排除在地狱之外，但那些曾经是地狱设施的遗迹里
  依然还残留着无数充满怨念的灵们，因而必须有人对他们进行管理。
  在灼热地狱遗址上建立起了地灵殿，她就在那里居住了下来。
  因为她能够读取他人心中的想法，不管是任何妖怪，怨灵都为之感到恐惧，
  不知从何时起几乎没有人再来地灵殿造访了。
  但是，相反因为能读心而受到那些不会说话的动物们的喜爱，地灵殿逐渐
  变成了充满火焰猫，地狱鸦等宠物们的房屋。
  因为宠物的增多结果导致灼热地狱遗迹无法完美的管理，最后只得把很多
  管理事项交由宠物们去做。
  把宠物的管理交给宠物去做。
  把庭院的修缮交给宠物去做。
  把陪妹妹玩的工作交给宠物去做，如此。
  但是，突然出现不应该出现的地上的人类，在听说怨灵和间歇泉异变
  之后她大吃一惊。
  怨灵的管理她交由阿燐去做，灼热地狱的火力调节则交给了阿空。
  她们应该都是忠心于觉不会做什么坏事才对。她相信决不会发生
  什么异变才对。
  搞不好，也许是眼前这个人类撒谎有什么别的企图，她这么想着。
  读了那人类心中的想法之后，她又吃了一惊。
  她们的心中，几乎没有任何关于怨灵和间歇泉的情报。
  觉诧异了，她决定先试探一下她们。
  """
  for x in jieba.analyse.extract_tags(sentence, withWeight=True):
      """
      接收参数如下：
      sentence：句子
      topK：返回几个 TF/IDF 权重最大的关键词，默认值为20
      withWeight：是否一并返回关键词权重值，默认值为 False
      allowPOS：仅包括指定词性的词，默认值为空
      """
      print(x)
  """
  ('宠物', 0.42209719717412125)
  ('地灵', 0.31035309971636366)
  ('地狱', 0.29652634405236367)
  ('怨灵', 0.2898125455248485)
  ('灼热', 0.16584643925200002)
  ('交给', 0.1567760269529697)
  ('管理', 0.14164445757030303)
  ('异变', 0.13837298184484847)
  ('间歇泉', 0.13345825326181818)
  ('她们', 0.11076269718599999)
  ('交由', 0.10921610331818181)
  ('人类', 0.10237571981272728)
  ('心中', 0.09523635988763636)
  ('遗迹', 0.09067494210703031)
  ('想法', 0.08044421223127274)
  ('充满', 0.07707872184351516)
  ('因为', 0.07360687520381819)
  ('灵们', 0.07245313638121212)
  ('读心', 0.07245313638121212)
  ('鸦等', 0.07245313638121212)
  """
  
  

• 基于 TextRank 算法的关键词提取

  import jieba
  import jieba.analyse
  
  sentence = """
  
  地灵殿的主人。
  虽然地底都市已经被排除在地狱之外，但那些曾经是地狱设施的遗迹里
  依然还残留着无数充满怨念的灵们，因而必须有人对他们进行管理。
  在灼热地狱遗址上建立起了地灵殿，她就在那里居住了下来。
  因为她能够读取他人心中的想法，不管是任何妖怪，怨灵都为之感到恐惧，
  不知从何时起几乎没有人再来地灵殿造访了。
  但是，相反因为能读心而受到那些不会说话的动物们的喜爱，地灵殿逐渐
  变成了充满火焰猫，地狱鸦等宠物们的房屋。
  因为宠物的增多结果导致灼热地狱遗迹无法完美的管理，最后只得把很多
  管理事项交由宠物们去做。
  把宠物的管理交给宠物去做。
  把庭院的修缮交给宠物去做。
  把陪妹妹玩的工作交给宠物去做，如此。
  但是，突然出现不应该出现的地上的人类，在听说怨灵和间歇泉异变
  之后她大吃一惊。
  怨灵的管理她交由阿燐去做，灼热地狱的火力调节则交给了阿空。
  她们应该都是忠心于觉不会做什么坏事才对。她相信决不会发生
  什么异变才对。
  搞不好，也许是眼前这个人类撒谎有什么别的企图，她这么想着。
  读了那人类心中的想法之后，她又吃了一惊。
  她们的心中，几乎没有任何关于怨灵和间歇泉的情报。
  觉诧异了，她决定先试探一下她们。
  """
  for x in jieba.analyse.textrank(sentence, withWeight=True):
      """
      接收参数如下,和extract_tags参数一致，但allowPOS默认值不会空：
      sentence：句子
      topK：返回几个 TF/IDF 权重最大的关键词，默认值为20
      withWeight：是否一并返回关键词权重值，默认值为 False
      allowPOS：仅包括指定词性的词，默认值不为空
      """
      print(x)
  """
  ('宠物', 1.0)
  ('地狱', 0.8169410022497963)
  ('管理', 0.7111631257164159)
  ('怨灵', 0.6872520018950034)
  ('交给', 0.5766849288790858)
  ('不会', 0.5671709845112852)
  ('地灵', 0.5418423145115177)
  ('人类', 0.4235967140492308)
  ('怨念', 0.40976053284203795)
  ('遗迹', 0.3890312542892664)
  ('出现', 0.38728082208337444)
  ('异变', 0.3678994864195963)
  ('间歇泉', 0.3523723288507097)
  ('导致', 0.3217237709168045)
  ('读心', 0.3193653873378865)
  ('受到', 0.29192544019397326)
  ('听说', 0.2910761395893028)
  ('说话', 0.28670968889003423)
  ('动物', 0.28639826197065527)
  ('试探', 0.2805685960379144)
  """
  

---

词性标注

jieba.cut只是分词，其实jieba.posseg.cut在分词的时候还能给出词性

import jieba.posseg

sentence = "古明地觉是一个可爱的女孩子"
# 这里的tag表示单词的词性，nr表示人名
jieba.add_word("古明地觉", tag="nr")
for k, v in jieba.posseg.lcut(sentence):
    print(k, v)
"""
古明地觉 nr
是 v
一个 m
可爱 v
的 uj
女孩子 n
"""
# n: 名词  ns: 地名  vn: 名动词  v: 动词  nr: 人名，不在这里面的会被过滤掉

---

返回词语的位置

在分词的时候，除了返回分好的，还可以返回词语的开始位置和结束位置

import jieba

sentence = "古明地觉是一个可爱的女孩子"
for k, start, last in jieba.tokenize(sentence):
    print(k, start, last, sentence[start: last])
"""
古明 0 2 古明
地觉 2 4 地觉
是 4 5 是
一个 5 7 一个
可爱 7 9 可爱
的 9 10 的
女孩子 10 13 女孩子
"""