画词云首先需要安装wordcloud(生成词云)和jieba(中文分词). 先来说说wordcloud的安装吧,真是一波三折.首先用pip install wordcloud出现错误,说需要安装Visual C++ 14.0.折腾半天安装好Visual C++后,还是不行,按网上指点,下载第三方包安装(https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud).安装是成功了,可是在anaconda里导入的时候又出现了问题,说是"no module…
"词云"这个概念由美国西北大学新闻学副教授.新媒体专业主任里奇·戈登(Rich Gordon)提出. "词云"就是对网络文本中出现频率较高的"关键词"予以视觉上的突出,形成"关键词云层"或"关键词渲染",从而过滤掉大量的文本信息,使浏览网页者只要一眼扫过文本就可以领略文本的主旨. 今天推荐一个免费的生成词云的在线网站: http://www.yyyweb.com/demo/inner-show/word-i…
环境及模块: Win7 64位 Python 3.6.4 WordCloud 1.5.0 Pillow 5.0.0 Jieba 0.39 目标: 绘制安徽省2018年某些科技项目的词云,直观展示热点. 思路: 先提取项目的名称,再用Jieba分词后提取词汇:过滤掉“研发”.“系列”等无意义的词:最后用WordCloud 绘制词云. 扩展: 词云默认是矩形的,本代码采用图片作为蒙版,产生异形词云图.这里用的图片是安徽省地图. 秘笈: 用网上的常规方法绘制的词云,字体有点模糊,秘笈在最后点明. 本文…
py库: jieba (中文词频统计) .collections (字频统计).WordCloud (词云) 先来个最简单的: # 查找列表中出现次数最多的值 ls = [1, 2, 3, 4, 5, 6, 1, 2, 1, 2, 1, 1] ls = ["呵呵", "呵呵", "呵呵", "哈哈", "哈哈", "拉拉"] y = max(set(ls), key=ls.count)…
适合阅读人群:有一定的数学基础. 这几篇文章是16年写的,之前发布在个人公众号上,公众号现已弃用.回过头来再看这几篇文章,发现写的过于稚嫩,思考也不全面,这说明我又进步了,但还是作为学习笔记记在这里了,方便以后自己经常查阅. 支持向量机(SVM)理论总结系列.线性可分(附带R程序案例:用体重和心脏重量来预测一只猫的性别) R系列:关联分析:某电商平台的数据:做捆绑销售和商品关联推荐 R系列:分词.去停用词.画词云(词云形状可自定义) end!…
附注:不要问我为什么写这么快,是16年写的. R的优点:免费.界面友好(个人认为没有matlab友好,matlab在我心中就是统计软件中极简主义的代表).小(压缩包就几十M,MATLAB.R2009b的压缩包是1.46G).包多(是真的多,各路好友会经常上传新的包). R的麻烦之处:经常升级,是经常,非常经常,这就导致你在加载一个包之前需要考虑这个包要在R的哪个版本上才能使用,而往往做一件事情都要加载10个包左右,一般比较方便的做法就是先升级到最新版,因为只有小部分的包在新版本上不能用. 言归正…
前言: 笔主开发环境:Python3+Windows 推荐初学者使用Anaconda来搭建Python环境,这样很方便而且能提高学习速度与效率. 简介: wordcloud是Python中的一个小巧的词云生成器. github:https://github.com/amueller/word_cloud 官网:https://amueller.github.io/word_cloud/ 下载: 1--使用conda下载(前提是安装了Anaconda,推荐这种方法): conda install…
一.使用matplotlib画图 关注公众号"轻松学编程"了解更多. 使用matplotlib画柱形图 import matplotlib from matplotlib import pyplot as plt #数据视图 #配置字体 matplotlib.rcParams["font.sans-serif"] = ["simhei"] # 黑体 matplotlib.rcParams["font.family"] = &q…
先来个最简单的: # 查找列表中出现次数最多的值 ls = [1, 2, 3, 4, 5, 6, 1, 2, 1, 2, 1, 1] ls = ["呵呵", "呵呵", "呵呵", "哈哈", "哈哈", "拉拉"] y = max(set(ls), key=ls.count) print(y) 一.字频统计: ( collections 库) 2017-10-27 这个库是python…
简单示例 from matplotlib import pyplot as plt from wordcloud import WordCloud filename = "text.txt" #文本路径 with open(filename,encoding="utf-8") as f: data = f.read() font = r'C:\Windows\Fonts\FZSTK.TTF' wc = WordCloud(font_path=font, # 如果是中…
from wordcloud import WordCloud import matplotlib.pyplot as plt import jieba # 生成词云 def create_word_cloud(filename): with open('hongloumong.txt',encoding='utf-8') as f: text = f.read() wordlist = jieba.cut(text, cut_all=True) # 结巴分词 wl = " ".joi…
(电脑烧掉了主板,地方上的所有门店全部关闭了,幸好现在京东还通物流,总算是进行把电脑拿回来了.对于一些东西无法实际操作真的是很难受,言归正传,说一下Wordcloud) Wordcloud安装(全局安装) Wordcloud是python的一个第三方模块,其最大的特点就是可以通过我们的内容直接统计出单词出次数,随后以图形化的形式直观的展示给用户(按照大小,出现次数越多,显示的形状越大),这样就对于我们直观的进行查看显的特别方便了. 对于Wordcloud的安装,一般我们首先会考虑到使用pip进行…
•wordcloud使用方法 常规使用方法 import wordcloud #创建一个词云对象 w = wordcloud.WordCloud(background_color="white") #向WordCloud对象w中加载文本txt txt1 = "life is short,you need python" w.generate(txt1) # #将词云输出为图像文件png/jpg 参数 利用jieba库做中文词云 import jieba import…
有时我们不仅需要查看单个变量的分布,同时也需要查看变量之间的联系,这时就需要用到联合分布图. 这里利用Jake Vanderplas所著的<Python数据科学手册>一书中的数据,学习画图. 数据地址:http://raw.githubusercontent.com/jakevdp/marathon-data/master/marathon-data.csv 先来看一下这个数据文件(此处只摘取部分): age gender split final 0 33 M 01:05:38 02:08:5…
mplot3d是matplotlib里用于绘制3D图形的一个模块.关于mplot3d 绘图模块的介绍请见:https://blog.csdn.net/dahunihao/article/details/77833877. 莫比乌斯环(mobius strip)是一种只有一个曲面的拓扑结构.把一个纸条扭转180°后,两头再粘接起来,这样的纸带只有一个面(即单侧曲面),一只小虫可以爬遍整个曲面而不必跨过它的边缘. 莫比乌斯环是一个二维的紧致流形 (即一个有边界的面),可以嵌入到三维或更高维的流形中…
矩阵图非常有用,人们经常用它来查看多个变量之间的联系. 下面用著名的鸢尾花数据来画一个矩阵图.从sklearn导入鸢尾花数据,然后将其转换成pandas的DataFrame类型,最后用seaborn画图.(seaborn包里也有这个数据,也可以直接从seaborn包导入此数据) 矩阵图: sns.pairplot(data,hue=...)   ---   hue为data里的数据,用其来显示不同颜色 由于data需要的格式为每列是变量(在这里是鸢尾花的四个特征),每行则是各变量的观测数据,因此…
由于直方图受组距(bin size)影响很大,设置不同的组距可能会产生完全不同的可视化结果.因此我们可以用密度平滑估计来更好地反映数据的真实特征.具体可参见这篇文章:https://blog.csdn.net/unixtch/article/details/78556499. 还是用我们自己创建的一组符合正态分布的数据来画图. 准备工作:先导入matplotlib,seaborn和numpy,然后创建一个图像和一个坐标轴 import numpy as np from matplotlib im…
原始数据: 程序: #统计词频 library(wordcloud) # F:/master2017/ch4/weibo170.cut.txt text <- readLines("F:/master2017/ch4/weibo170.cut.txt") txtList <- lapply(txt, strsplit," ") txtChar <- unlist(txtList) txtChar <- gsub(pattern = "…
因为词云有利于体现文本信息,所以我就将那天无聊时爬取的<悲伤逆流成河>的评论处理了一下,生成了词云. 关于爬取影评的爬虫大概长这个样子(实际上是没有爬完的): #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/10/15 16:34 # @Author : Sa.Song # @Desc : 爬取买猫眼电影悲伤逆流成河的评论 # @File : maoyan_BS.py # @Software: PyCharm impor…
1 绘制条形图 import matplotlib # 数据可视化 from matplotlib import pyplot as plt # 配置字体 matplotlib.rcParams["font.sans-serif"] = ["simhei"] # 黑体 matplotlib.rcParams["font.family"] = "sans-serif" ''' left, x轴 height, y轴 width=…
词云 (Word Cloud)是对文本中出现频率较高的词语给予视觉化展示的图形, 是一种常见的文本挖掘的方法. 实例:     依赖包: # pip3 install wordcloud  jieba   matplotlib  imageio wordcloud 模块介绍: class wordcloud.WordCloud( font_path=None, #(string)字体OTF or TTF路径,需要展现什么字体就把该字体路径+后缀名写上,如:font_path = '黑体.ttf'…
网上大多数词云的代码都是基于原始文本生成,这里写一个根据词频生成词云的小例子,都是基于现成的函数. 另外有个在线制作词云的网站也很不错,推荐使用:WordArt 安装词云与画图包 pip3 install wordcloud pip3 install matplotlib word_cloud.py(生成词云的程序) from wordcloud import WordCloud import matplotlib.pyplot as plt # 生成词云 def create_word_clo…
直方图用于展示数据的分布情况,x轴是一个连续变量,y轴是该变量的频次. 下面利用Nathan Yau所著的<鲜活的数据:数据可视化指南>一书中的数据,学习画图. 数据地址:http://datasets.flowingdata.com/crimeRatesByState2005.csv 以下是这个数据文件的前5行: state murder forcible_rape robbery aggravated_assault \ 0 United States 5.6 31.7 140.7 291…
利用jieba库和wordcloud生成中文词云. jieba库:中文分词第三方库 分词原理: 利用中文词库,确定汉字之间的关联概率,关联概率大的生成词组 三种分词模式: 1.精确模式:把文本精确的切分开,不存在冗余单词 2.全模式:把文本中所有可能的词语都扫描出来,有冗余     3.搜索引擎模式:在精确模式基础上,对长词再次切分 常用函数: jieba.lcut(s)       #精确模式,返回列表类型的分词结果 jieba.lcut(s,cut_all=True)        #全模式…
今日学习了python的词云技术 from os import path from wordcloud import WordCloud import matplotlib.pyplot as plt d=path.dirname(__file__) text=open(path.join(d,"data//constitution.txt")).read() # 步骤3-2:设置一张词云图对象 wordcloud = WordCloud(background_color="…
最近看到不少公众号都有一些词云图,于是想学习一下使用Python生成可视化的词云,上B站搜索教程的时候,发现了一位UP讲的很不错,UP也给出了GitHub上的源码,是一个很不错的教程,这篇博客主要就是搬运UP主的教程吧,做一些笔记,留着以后看. B站视频链接:https://www.bilibili.com/video/av53917673/?p=1 Github源码:https://github.com/TommyZihao/zihaowordcloud 本课概要 词云是文本大数据可视化的重要…
1.打开cmd安装jieba库和 matplotlib. 2.打开python,输入代码.代码如下: from wordcloud import WordCloud import matplotlib.pyplot as plt import jieba def create_word_cloud(filename): text = open("孙子兵法.txt","r",encoding='GBK').read() #打开自己想要的文本 wordlist = ji…
1.利用jieba分词,排除停用词stopword之后,对文章中的词进行词频统计,并用matplotlib进行直方图展示 # coding: utf-8 import codecs import matplotlib.pyplot as plt import jieba # import sys # reload(sys) # sys.setdefaultencoding('utf-8') from pylab import mpl mpl.rcParams['font.sans-serif']…
公号:码农充电站pro 主页:https://codeshellme.github.io 今天来介绍一下如何使用 Python 制作词云. 词云又叫文字云,它可以统计文本中频率较高的词,并将这些词可视化,让我们可以直观的了解文本中的重点词汇. 词的频率越高,词显示的大小也就越大. 1,wordcloud 模块 wordcloud 是一个词云生成器,它不仅是一个 Python 库,还是一个命令行工具.我们可以通过 wordcloud 官方文档,和示例库来学习如何使用它. 在使用 wordcloud…
一.起因: 昨天在简书上看到这么一篇文章<中国的父母,大都有毛病>,看完之后个人是比较认同作者的观点. 不过,翻了下评论,发现评论区争议颇大,基本两极化.好奇,想看看整体的评论是个什么样,就写个爬虫,做了词云. 二.怎么做: ① 观察页面,找到获取评论的请求,查看评论数据样式,写爬虫 ② 用 jieba 模块,将爬取的评论做分词处理 ③ 用 wordcloud 模块,生成词云 三.代码如下: #!/usr/bin/env python3 # -*- coding: utf-8 -*- impo…