假期学习【十一】Python切词，以及从百度爬取词典

今天主要对从CSDN爬取的标题利用jieba（结巴）进行分词，但在分词过程中发现，如大数据被分成了大/数据，云计算被分隔成了云/计算。

后来又从百度百科---》信息领域爬取了相关词语作为词典，预计今天晚上完成切词任务。

其中分割代码如下：

 import jieba
 import io

 #对句子进行分词
 def cut():
     f=open("E://luntan.txt","r+",encoding="utf-8")
     for line in f:
         seg_list=jieba.cut(line)
         #print(' '.join(seg_list))
         for i in seg_list:
             print(i)
             write(i+" ")
         #write(' '.join(seg_list))

 #分词后写入
 def write(contents):
     f=open("E://luntan_cut.txt","a+",encoding="utf-8")
     f.write(contents)
     print("写入成功！")
     f.close()

 #创建停用词
 def stopwordslist(filepath):
     stopwords = [line.strip() for line in open(filepath, 'r', encoding='utf-8').readlines()]
     return stopwords

 # 对句子进行去除停用词
 def seg_sentence(sentence):
     sentence_seged = jieba.cut(sentence.strip())
     stopwords = stopwordslist('E://stop.txt')  # 这里加载停用词的路径
     outstr = ''
     for word in sentence_seged:
         if word not in stopwords:
             if word != '\t':
                 outstr += word
                 outstr += " "
     return outstr

 #循环去除
 def cut_all():
     inputs = open('E://luntan_cut.txt', 'r', encoding='utf-8')
     outputs = open('E//luntan_stop', 'w')
     for line in inputs:
         line_seg = seg_sentence(line)  # 这里的返回值是字符串
         outputs.write(line_seg + '\n')
     outputs.close()
     inputs.close()

 if __name__=="__main__":
     cut()

分割后的文本

从百度爬取词典要把百度页面 地址：https://baike.baidu.com/wikitag/taglist?tagId=76607

该页拉到最下，并存为本地mhtml格式，在浏览器打开然后右击查看源代码，源代码保存为txt格式文件，

代码如下：

 import io
 import re

 patton=re.compile(r'title=".*"')
 def read():
     f=open("E://mhtml.txt","r+",encoding="utf-8")
     for line in f:
         line=line.rstrip("\n")
         m=patton.findall(line)
         #print(line)
         if len(m)!=0:
             print(m)
             write(str(m).lstrip("['title=\"").rstrip("\"']")+"\r")

 def write(contents):
     f=open("E://xinxi.txt","a+",encoding="utf-8")
     f.write(contents)
     print("写入成功！")
     f.close()

 if __name__=="__main__":
     read()

效果：