利用jieba库和wordcloud生成中文词云。

jieba库:中文分词第三方库

  分词原理:

    利用中文词库,确定汉字之间的关联概率,关联概率大的生成词组

  三种分词模式:

    1、精确模式:把文本精确的切分开,不存在冗余单词

    2、全模式:把文本中所有可能的词语都扫描出来,有冗余

       3、搜索引擎模式:在精确模式基础上,对长词再次切分

  常用函数:

    jieba.lcut(s)       #精确模式,返回列表类型的分词结果

    jieba.lcut(s,cut_all=True)        #全模式,返回列表类型的分词结果

    jieba.lcut_for_search(s,cut_all=True)         # 搜索引擎模式(精确模式后对过长的词再精确分词),返回列表类型的分词结果

    jieba.add_word(w)  #在参考的中文词库中添加自定义的词,如:jieba.add_word(“产生式系统”),无返回

    jieba.del_word(w)  #在参考的中文词库中删除

    jieba.analyse.extract_tags(sentence,topK=10)  #关键词提取,返回权重最大的10个词语,返回列表类型的提取结果,注意:import jieba.analyse

    

wordcloud库:词云生成库

  生成词云的三个步骤:   

import wordcloud

#1、生成wordcloud对象,设置字体路径和其他基本属性
#除了font_path外的一些常用属性:
#词云使用的字体:font_path
#生成图片的大小:width=120,height=120
#生成词云的形状:mask(结合下面的实例解释)
#词云的背景颜色:background_color="white"
w = wordcloud.WordCloud(font_path="C:/Users/ASUS/Desktop/aaa.ttf") #2、产生词云
w.generate("春天 春天 在哪里 这里") #3、把词云输出到已创建的png、jpg文件里,可打开查看结果
w.to_file("outfile.png")

  产生的词云:

  

  安装与运行时可能遇到的问题:

    1、安装:直接用命令行 pip install wordcloud 安装会产生错误   Microsoft Visual C++ 14.0 is required.

       解决方法:1)点击进入pythonlib页面:https://www.lfd.uci.edu/~gohlke/pythonlibs/

            2)下拉找到wordcloud包:

           3)下载对应版本的wordcloud,存放到文件夹下

                其中cp表示python版本,如36对应3.6 win为操作系统位数,32位或6位

           4)再执行命令行:

              pip install C:\data\wordcloud-1.4.1-cp36-cp36m-win_amd64.whl

           5)安装成功

      2、编译时显示 OSError: cannot open resource

         解决方法:库中自带的字体文件不是中文,可以自己下载一个ttf字体文件放到对应文件夹下,

              一个ttf字体文件链接: https://pan.baidu.com/s/1xJVPe1YIXN9Wl_z3fkVpFg 密码: 7iux

              在生成词云时使用 wordcloud.WordCloud( font_path="C:/Users/ASUS/Desktop/returnline/aaa.ttf" )

利用jieba+wordcloud生成词云

import wordcloud
import jieba
from scipy.misc import imread #生成遮罩mask(词云的形状)
import jieba.analyse #top30关键词提取 mk=imread("0.jpg") #获得作为遮罩的图片,我的是一只蜗牛
txt = open("1.txt").read() #获得要生成词云的文本,并将内容转换为字符串
#生成词云对象,大小为120*120,遮罩是0.jpg,背景颜色是白色
w = wordcloud.WordCloud(font_path="C:/Users/ASUS/Desktop/returnline/aaa.ttf",width=120,height=120,mask=mk,background_color="white")
#jieba统计并提取权值top30的词语,返回list
ls=jieba.analyse.extract_tags(txt,topK=30)
#将list转换为元素间空格分隔的字符串,创建词云
w.generate(" ".join(ls))
#将词云导出到outfile.png
w.to_file("outfile.png")

    遮罩图:

  词云图:

  

        

wordcloud + jieba 生成词云的更多相关文章

  1. Python3+pdfminer+jieba+wordcloud+matplotlib生成词云(以深圳十三五规划纲要为例)

    一.各库功能说明 pdfminer----用于读取pdf文件的内容,python3安装pdfminer3k jieba----用于中文分词 wordcloud----用于生成词云 matplotlib ...

  2. python爬取豆瓣流浪地球影评,生成词云

    代码很简单,一看就懂. (没有模拟点击,所以都是未展开的) 地址: https://movie.douban.com/subject/26266893/reviews?rating=&star ...

  3. 爬虫之使用requests爬取某条标签并生成词云

    一.爬虫前准备 1.工具:pychram(python3.7) 2.库:random,requests,fake-useragent,json,re,bs4,matplotlib,worldcloud ...

  4. python 基于 wordcloud + jieba + matplotlib 生成词云

    词云 词云是啥?词云突出一个数据可视化,酷炫.以前以为很复杂,不想python已经有成熟的工具来做词云.而我们要做的就是准备关键词数据,挑一款字体,挑一张模板图片,非常非常无脑.准备好了吗,快跟我一起 ...

  5. 已知词频生成词云图(数据库到生成词云)--generate_from_frequencies(WordCloud)

    词云图是根据词出现的频率生成词云,词的字体大小表现了其频率大小. 写在前面: 用wc.generate(text)直接生成词频的方法使用很多,所以不再赘述. 但是对于根据generate_from_f ...

  6. 作业练习P194,jieba应用,读取,分词,存储,生成词云,排序,保存

    import jieba #第一题 txt='Python是最有意思的编程语言' words=jieba.lcut(txt) #精确分词 words_all=jieba.lcut(txt,cut_al ...

  7. 根据词频生成词云(Python wordcloud实现)

    网上大多数词云的代码都是基于原始文本生成,这里写一个根据词频生成词云的小例子,都是基于现成的函数. 另外有个在线制作词云的网站也很不错,推荐使用:WordArt 安装词云与画图包 pip3 insta ...

  8. Python统计excel表格中文本的词频,生成词云图片

    import xlrd import jieba import pymysql import matplotlib.pylab as plt from wordcloud import WordClo ...

  9. 【python3】爬取简书评论生成词云

    一.起因: 昨天在简书上看到这么一篇文章<中国的父母,大都有毛病>,看完之后个人是比较认同作者的观点. 不过,翻了下评论,发现评论区争议颇大,基本两极化.好奇,想看看整体的评论是个什么样, ...

随机推荐

  1. Fedora Atomic Host 使用中的几个坑

    做成U盘启动:必须用配套工具写U盘,否则安装时各种timeout Cockpit中文页面会导致登录后页面空白的bug,解决办法是更改浏览器首选语言 没有yum,无法下载网页浏览器w3m,Pydio c ...

  2. 前端工具gulp2

    var gulp = require('gulp'); var less = require('gulp-less'); var htmlmin = require('gulp-htmlmin'); ...

  3. 【转载】使用JSONObject生成和解析json

    1. json数据类型 类型 描述 Number 数字型 String 字符串型 Boolean 布尔型 Array 数组 Object 对象 null 空值 (1)json中不区分整数.小数等类型, ...

  4. 写代码怎能不会这些Linux命令?

    转自:https://zhuanlan.zhihu.com/p/28674639?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=to ...

  5. [Ynoi2016]镜中的昆虫

    题目大意: 给定一个序列,有2个操作: 1. 区间覆盖.2. 区间数颜色. 解题思路: 珂朵莉树+树套树. 看到区间覆盖当然想到珂朵莉树然而这是Ynoi 所以我们得优化掉珂朵莉树那个暴力过程. 考虑对 ...

  6. centos7下源码方式安装gitlab8.9+发送邮件+ldap

    CentOS7下源码方式安装gitlab 环境描述 操作系统: centos7 redis: >=2.8 mysql >=5.5.14 git >=2.7.4 架构设计 一台gitl ...

  7. CSS max-width: 0;

    写CSS,大家都知道max-width是要在宽度超过后才会生效,但今天我发现一个神奇的现象, 为表格td加上max-width: 0;可以让上下两个表格自动对齐,这句的作用到底是什么还有待研究,今天先 ...

  8. win7 VMware下安装centos和Ubuntu共存

      最近在空闲时间学习Linux环境中各种服务的安装与配置,都属于入门级别的,这里把所有的学习过程记录下来,和大家一起分享. 我的电脑系统是win7,所以我需要在win7上安装一个虚拟机-VMware ...

  9. (32)Spring Boot使用@SpringBootApplication注解,从零开始学Spring Boot

    [来也匆匆,去也匆匆,在此留下您的脚印吧,转发点赞评论] 如果看了我之前的文章,这个节你就可以忽略了,这个是针对一些刚入门的选手存在的困惑进行写的一篇文章. 很多Spring Boot开发者总是使用 ...

  10. magento 的一些Sql查询

    1,模拟使用getName()获取产品名称的sql SELECT `value` AS product_name FROM yo_catalog_product_entity_varchar WHER ...