60行python代码分析2018互联网大事件

2018年是改革开放四十周年，也是互联网发展的重要一年。经历了区块链，人工智能潮的互联网行业逐渐迎来了冬天。这一年里有无数的事件发生着，正好学了python数据处理相关，那么就用python对18年的互联网事件进行一个简单的记录与分析。这里主要用了wordcloud和jieba。

首先来看一个数据表，这份excel表单几乎就是2018全年互联网圈发生的所有事件了。

那么现在想要分析着数万条数据，可以用什么方法呢，我们首先会想到用可视化来呈现，图表展示也许会更清晰，但是这里我们选择用python中简单易用的词云来展示。

废话就不多说了，直接贴代码。

 #copyright by pricechen
 #几个常用库
 import xlrd
 import jieba
 from wordcloud import WordCloud,ImageColorGenerator
 import codecs
 import imageio

 #先把文件地址写好，对文件保存地址有需求的同学可以自行设置一下输入input
 Savepath = 'E:\\pricechen\\data\\'
 filename = '2018大事件记录.xlsx'
 month = ['', '', '', '', '', '', '', '', '', '', '', '']

 #对内容进行封装
 def fileHandle(Savepath,filename,month):
     #打开excel文件
     book = xlrd.open_workbook(Savepath+filename)
     sheet = book.sheet_by_name('Sheet')

     #处理新闻数据
     for i in range(0,sheet.nrows):
         #每一行内容
         textLine = sheet.row_values(i)
         # print(textLine)
         #遍历月份
         for data in month:
             if textLine[0][5:7]==data:
                 #这里进行异常处理
                 try:
                     #写入以月份命名的文件夹
                     with open(Savepath+ data + '.txt', 'a+') as f:
                         f.write(textLine[1]+' ')
                 except FileNotFoundError:#文件不存在异常
                     continue
                 except UnicodeEncodeError:#编码异常
                     continue

 def WCHandle(Savepath,month):
     #处理词云图片
     for i in range(0,12):
         imagePath = Savepath + 'background\\' + month[i] + '.jpg'
         textPath = Savepath + month[i] +'.txt'
         with codecs.open(textPath) as f:
             text = f.read()
             # cut_text = ' '.join(jieba.cut(text))#使用jieba分词得到词语字符串
　　　　　　　　　#这里原本使用的是jieba分词，但是后面觉得分词之后展现的数据反而没有那么直观
             cut_text = ' '.join(text.split(',')) #改用了将每一句话展现到词云里面
             try:    #背景图片选择，这里最后因为序号错误需要加一个异常处理，选择第00张图片
                 background = imageio.imread(imagePath)
             except FileNotFoundError:
                 background = imageio.imread('E:\\pricechen\\data\\background\\00.jpg')
             #设置词云参数
             cloud = WordCloud(font_path = \
                     Savepath+'WenYue-FangTangTi-NC-2.otf',
                     background_color = 'white',mask = background,\
                     max_words=2000,max_font_size = 40,\
                     scale=10,   #清晰度，这里考虑电脑配置，只选择15
                     )
             word_cloud = cloud.generate(cut_text)
             #保存，使用原图保存方式
             word_cloud.to_file(Savepath+'2018\\Chinese'+month[i]+'.jpg')
 
　　#这边就是自动化处理了
 if __name__=='__main__':
     fileHandle(Savepath,filename,month)
     WCHandle(Savepath,month)

以上就是所有代码了，一共六十行左右代码，就能处理近六万条数据。

十二个月的数据，每个月都处理为一张词云图，每张词云图都用了一个省的地图作为模板。

来看看处理后的结果，我就直接上图了，因为图片比较大（保存的清晰度较高），这里就只放两张图。

需要2018年互联网大事件数据的可以私信我，代码有错误的话欢迎指正哦。