Python 词频统计
利用Python做一个词频统计
GitHub地址:FightingBob 【Give me a star , thanks.】
词频统计
对纯英语的文本文件【Eg: 瓦尔登湖(英文版).txt】的英文单词出现的次数进行统计,并记录起来
代码实现
import string
from os import path
with open('瓦尔登湖(英文版).txt','rb') as text1:
words = [word.strip(string.punctuation).lower() for word in str(text1.read()).split()]
words_index = set(words)
count_dict = {index:words.count(index) for index in words_index}
with open(path.dirname(__file__) + '/file1.txt','a+') as text2:
text2.writelines('以下是词频统计的结果:' + '\n')
for word in sorted(count_dict,key=lambda x:count_dict[x],reverse=True):
text2.writelines('{}--{} times'.format(word,count_dict[word]) + '\n')
text1.close()
text2.close()
代码解析
获取文件,以二进制格式打开文件,用于读取内容
1 with open('瓦尔登湖(英文版).txt','rb') as text1:
获取单词列表
先读取内容
- content = text1.read()
再获取单词列表(使用split() 通过指定分隔符对字符串进行切片)
- words = content.split()
单词大写改小写,去掉单词前后符号
- word,strip(string.punctuation).lower()
去除重复的单词
- words_index = set(words)
设置单词:单词次数的字典
- count_dict = {index:words.count(index) for index in words_index}
写入词频统计
先创建文件,获取当前目录,并以追加写入的方式写入
- with open(path.dirname(__file__) + '/file1.txt','a+') as text2:
换行写入
- text2.writelines('以下是词频统计的结果:' + '\n')
对单词进行排序,根据次数从大到小【key=lambda x:count_dict[x]以值排序】
- sorted(count_dict,key=lambda x:count_dict[x],reverse=True)
换行写入词频
- text2.writelines('{}--{} times'.format(word,count_dict[word]) + '\n')
关闭资源
- text1.close()
- text2.close()
GitHub地址:FightingBob 【Give me a star , thanks.】
Python 词频统计的更多相关文章
- python词频统计及其效能分析
1) 博客开头给出自己的基本信息,格式建议如下: 学号2017****7128 姓名:肖文秀 词频统计及其效能分析仓库:https://gitee.com/aichenxi/word_frequenc ...
- 大数据python词频统计之本地分发-file
统计某几个词在文章出现的次数 -file参数分发,是从客户端分发到各个执行mapreduce端的机器上 1.找一篇文章The_Man_of_Property.txt如下: He was proud o ...
- 大数据python词频统计之hdfs分发-cacheArchive
-cacheArchive也是从hdfs上进分发,但是分发文件是一个压缩包,压缩包内可能会包含多层目录多个文件 1.The_Man_of_Property.txt文件如下(将其上传至hdfs上) ha ...
- 大数据python词频统计之hdfs分发-cacheFile
-cacheFile 分发,文件事先上传至Hdfs上,分发的是一个文件 1.找一篇文章The_Man_of_Property.txt: He was proud of him! He could no ...
- python词频统计
1.jieba 库 -中文分词库 words = jieba.lcut(str) --->列表,词语 count = {} for word in words: if len(word)==1 ...
- python瓦登尔湖词频统计
#瓦登尔湖词频统计: import string path = 'D:/python3/Walden.txt' with open(path,'r',encoding= 'utf-8') as tex ...
- Python中文词频统计
以下是关于小说的中文词频统计 这里有三个文件,分别为novel.txt.punctuation.txt.meaningless.txt. 这三个是小说文本.特殊符号和无意义词 Python代码统计词频 ...
- 用Python实现一个词频统计(词云+图)
第一步:首先需要安装工具python 第二步:在电脑cmd后台下载安装如下工具: (有一些是安装好python电脑自带有哦) 有一些会出现一种情况就是安装不了词云展示库 有下面解决方法,需看请复制链接 ...
- Python——字符串、文件操作,英文词频统计预处理
一.字符串操作: 解析身份证号:生日.性别.出生地等. 凯撒密码编码与解码 网址观察与批量生成 2.凯撒密码编码与解码 凯撒加密法的替换方法是通过排列明文和密文字母表,密文字母表示通过将明文字母表向左 ...
随机推荐
- 003javascript语句
javascript语句和java差不多,注意==和===区别 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" " ...
- 11.Set 和 Map数据结构
1.set 基本用法 ES6 提供了新的数据结构 Set.它类似于数组,但是成员的值都是唯一的,没有重复的值. Set 本身是一个构造函数,用来生成 Set 数据结构. const s = new S ...
- ECharts概念学习系列之ECharts的下载和安装(图文详解)
不多说,直接上干货! http://echarts.baidu.com/download.html 前言 如果你想要用较少的代码实现比较酷炫的数据统计表,echarts是值得你考虑的一种实现方式.官网 ...
- vue测试安装和配置
npm install --save-dev @vue/test-utils mocha mocha-webpack npm install --save-dev jsdom jsdom-global ...
- Http的Get和Post--扫盲篇
Http Get请求,根据Http规范Get用于服务器信息的获取,而且安全及幂等的.其中安全的在此处的含义是:不会对服务器数据造成修改.增加.以及数据状态的改变. Http Post请求,表示可能修改 ...
- MVC5 知识点记录
http://blog.csdn.net/qinkeliangqin/article/details/27084639#t27 一.概述 MVC简介: • 模型(Model) “数据模型” ...
- R语言多元素向量
使用冒号运算带有数值数据(数值的增加为1) # Creating a sequence from 5 to 13. v <- 5:13 print(v) # Creating a sequenc ...
- Lineare Algebra
Grundlegendes Wort: 矩阵列:Das Spalte von der Matrix 行列式:Die Determinante 对角矩阵:Die diagonal Matrix 逆矩阵: ...
- Github - 修改语言统计
前些日子看到有人提到这个问题,于是自己也试着解决了一番,在此记录下来,希望对大家有帮助. Github中创建一个repository后会出现一个统计使用语言的颜色条. 就是下面这个东西: 似乎很多人遇 ...
- SublimeText3 插件的使用和本身的配置
--------------------20180109----------------------- Part1:如何设置代码字体变大变小 1.点击菜单栏 Sublime Text 中prefere ...