Python给小说做词云

　　闲暇时间喜欢看小说，就想着给小说做词云，展示小说的主要内容。开发语言是Python，主要用到的库有wordcloud、jieba、scipy。代码很简单，首先用jieba.cut()函数做分词，生成以空格分割的字符串，然后新建WordCloud类，保存为图片。

 #coding:utf-8
 import sys
 import jieba
 import matplotlib.pyplot as plt
 from wordcloud import WordCloud,ImageColorGenerator
 from scipy.misc import imread
 from datetime import datetime

 novel=sys.argv[1] #'assz.txt'
 imgmask=sys.argv[2] #'assz.jpg'
 t=datetime.now()
 resimg="word_"+novel.split('.')[0]+"_"+str(t.month)+str(t.day)+str(t.hour)+str(t.minute)+str(t.second)+".jpg"

 novletext=open(novel).read()
 hmseg=jieba.cut(novletext)

 seg_space=' '.join(hmseg)

 alice_color=imread(imgmask)
#wordcloud默认不支持中文，这里的font_path需要指向中文字体，不然得到的词云全是乱码

 fwc=WordCloud(font_path='msyh.ttc',max_words=700,background_color='white',mask=alice_color,max_font_size=100,font_step=1).generate(seg_space)
 imagecolor=ImageColorGenerator(alice_color)
 plt.imshow(fwc.recolor(color_func=imagecolor))
 plt.axis("off")
 plt.show()
 fwc.to_file(resimg)

结果如下

　　得到的结果很不理想，一是角色的名字被分割开，比如“路西恩”被分割成了“路西”、“恩”或者“路”、“西恩”；二是“这样”、“那样”、“他们”这样的常用词太多，盖住了其他词语，让人无法确定小说的内容。

　　因此在生成词云之前，还得先生成一个过滤表，把“这样”、“那样”、“他们”这样的常用词去掉，不参与词云展示。这里我选了《斗破苍穹》《回到过去变成猫》《奥术神座》《灭运图录》《一世之尊》5本书，求出词频并排序，取每本书出现频率最高的1500个词，如果一个词在这7500个词中出现两次（不含）以上，则认为是高频常用词，写入过滤表中。

 #coding:utf-8
 import os
 import jieba

 def ff(dd):
     return dd[1]

 def array2dic(arr):
     segdict={}
     for seg in arr:
         if len(seg)<2:
             continue
         if seg in segdict:
             segdict[seg]+=1
         else:
             segdict[seg]=1
     return segdict

 novels=['斗破苍穹.txt','回到过去变成猫.txt','assz.txt','mytl.txt','yszz.txt']
 freq=[]
 for novel in novels:
     maotext=open(novel).read()
     seglist=jieba.cut(maotext)
     segdict=array2dic(seglist)

     c=1
     segsort=sorted(segdict.items(),key=ff,reverse=True)
     for item in segsort:
         #print(item[0]+'  '+str(item[1]))
         freq.append(item[0])
         if c==1500:
             break
         c+=1

 freqdict=array2dic(freq)
 freqsort=sorted(freqdict.items(),key=ff,reverse=True)
 k=1
 f=open('filter3.txt','w+')
 for item in freqsort:
     if item[1]>3:
         f.write(item[0]+"  ")
     if k%5==0:
         f.write("\n")
     k+=1
 f.close()
 print('ok')

同时，在分词之前，添加新词，保证分词准确。修改后的代码如下

 #coding:utf-8
 import sys
 import jieba
 import matplotlib.pyplot as plt
 from wordcloud import WordCloud,ImageColorGenerator
 from scipy.misc import imread
 from datetime import datetime

 jieba.add_word('路西恩')
 jieba.add_word('恐怖如斯')

 def customfilter(segs):
     filter=open('filter.txt').read()
     resseg=""
     for seg in segs:
         if seg not in filter:
             resseg+=' '+seg
     return resseg

 novel=sys.argv[1] #'assz.txt'
 imgmask=sys.argv[2] #'assz.jpg'
 t=datetime.now()
 resimg="word_"+novel.split('.')[0]+"_"+str(t.month)+str(t.day)+str(t.hour)+str(t.minute)+str(t.second)+".jpg"

 novletext=open(novel).read()
 hmseg=jieba.cut(novletext)

 seg_space=customfilter(hmseg)

 alice_color=imread(imgmask)

 fwc=WordCloud(font_path='msyh.ttc',max_words=700,background_color='white',mask=alice_color,max_font_size=100,font_step=1).generate(seg_space)
 imagecolor=ImageColorGenerator(alice_color)
 plt.imshow(fwc.recolor(color_func=imagecolor))
 plt.axis("off")
 plt.show()
 fwc.to_file(resimg)

成果代码

这样的结果比之前进步不小。

　　从词云上能看出不少有意思的规律，比如：有女主的小说，女主的名字出现频率往往仅次于主角。比如路西恩与娜塔莎，郝仁与薇薇安。但是全职里陈果在词频上享受了女主的待遇，钦点的女主苏沐橙反倒要仔细找才能看到。