value_counts函数用于统计dataframe或series中不同数或字符串出现的次数 ascending=True时,按升序排列. normalize=True时,可计算出不同字符出现的频率,画柱状图统计时可以用到. # trian中标签的比例 label_proportion = train['label'].value_counts(normalize=True).reset_index().sort_values(by=['index']) # index label # 5 1…

一.value_counts pandas 的value_counts()函数可以对Series里面的每个值进行计数并且排序. value_counts是计数,统计所有非零元素的个数,默认以降序的方式输出Series. 按区域进行分类统计(默认降序排列,如果要升序排列可以添加参数ascending = True): 统计每个区域的占比(指定normalize参数为True,也可以用sum函数进行计算): 空值是默认剔除掉的,value_counts()返回的结果是一个Series数组,可以跟别的…

来自:曹骥 在pandas里面常用value_counts确认数据出现的频率. 1. Series 情况下: pandas 的 value_counts() 函数可以对Series里面的每个值进行计数并且排序. import pandas as pd df = pd.DataFrame({'区域' : ['西安', '太原', '西安', '太原', '郑州', '太原'], '10月份销售' : ['0.477468', '0.195046', '0.015964', '0.259654',…

使用pandas进行数据清洗 本文转载自:蓝鲸的网站分析笔记 原文链接:使用python进行数据清洗 目录: 数据表中的重复值 duplicated() drop_duplicated() 数据表中的空值/缺失值 isnull()&notnull() dropna() fillna() 数据间的空格 查看数据中的空格 去除数据中的空格 大小写转换 数据中的异常和极端值 replace() 更改数据格式 astype() to_datetime() 数据分组 cut() 数据分列 split()…

一.本节用到的基础知识 1.逐行读取文件 for line in open('E:\Demo\python\json.txt'): print line 2.解析json字符串 Python中有一些内置模块可以非常便捷地将json字符串转换为Python对象.比如json模块中的json.relaods()方法可以将json字符串解析为相应的字典. import json s='{ "a": "GoogleMaps\/RochesterNY", "c&qu…

一.Pandas介绍 1.介绍 pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的.Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具.pandas提供了大量能使我们快速便捷地处理数据的函数和方法.你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一. 2.数据结构 Series:一维数组,与Numpy中的一维array类似.二者与Python基本的数据结构List也很相近.Series如今能保存不同种数据类…

1.Scrapy框架介绍 主要介绍,spiders,engine,scheduler,downloader,Item pipeline scrapy常见命令如下: 对应在scrapy文件中有,自己增加爬虫文件,系统生成items,pipelines,setting的配置文件就这些. items写需要爬取的属性名,pipelines写一些数据流操作,写入文件,还是导入数据库中.主要爬虫文件写domain,属性名的xpath,在每页添加属性对应的信息等. movieRank = scrapy.Fie…

导入模块 import matplotlib.pyplot as plt import seaborn as sb 绘制条形图 countplot(data:数据集, x:x坐标轴, color:条形图颜色, order:排序) color_palette():返回一个RGB元组列表 test = pd.read_csv('pokemon.csv') print(test.shape) print(test.tail(10)) # value_counts函数统计各序列频率,并降序 genera…

本文转载自:蓝鲸的网站分析笔记 原文链接:使用python进行数据清洗 目录: 数据表中的重复值 duplicated() drop_duplicated() 数据表中的空值/缺失值 isnull()&notnull() dropna() fillna() 数据间的空格 查看数据中的空格 去除数据中的空格 大小写转换 数据中的异常和极端值 replace() 更改数据格式 astype() to_datetime() 数据分组 cut() 数据分列 split() 数据清洗是一项复杂且繁琐(ku…

一.Matplotlib基础知识 Matplotlib中的基本图表包括的元素 x轴和y轴 axis水平和垂直的轴线 x轴和y轴刻度 tick刻度标示坐标轴的分隔,包括最小刻度和最大刻度 x轴和y轴刻度标签 tick label表示特定坐标轴的值 绘图区域(坐标系) axes实际绘图的区域 坐标系标题 title实际绘图的区域 轴标签 xlabel ylabel实际绘图的区域 导入模块 import seaborn as sb import numpy as np import pandas as…

Matplotlib介绍 Matplotlib是一个强大的Python绘图和数据可视化的工具包. Matplotlib的主要功能 Matplotlib是python中的一个包,主要用于绘制2D图形(当然也可以绘制3D,但是需要额外安装支持的工具包) Matplotliban安装.调用   安装:pip install matplotlib 调用:import matplotlib.pyplot as plt Plot函数绘制多条曲线 一维参数 例如传入一个list对象使用plot,打印输出形成的…

做数据分析的同学大部分入门都是从excel开始的,excel也是微软office系列评价最高的一种工具. 但当数据量超过百万行的时候,excel就无能无力了,python第三方包pandas极大的扩展excel的功能,入门需要花费一点时间,但是真的是做大数据的必备神器! 1.从文件读数据 pandas支持多种格式数据的读取,当然最常见的是excel文件.csv文件和TXT文件. names指定列名,delimiter指定列之间的分隔符 文件名前最好加‘r’,代表不转义. import numpy…

python利用Matplotlib.pyplot库绘制不同的图形,但是在显示中文时存在部分问题,一般在导入库后,添加如下代码: # 设置中文正常显示 plt.rcParams['font.sans-serif'] = ['SimHei'] # 设置负号正常显示 plt.rcParams['axes.unicode_minus'] = False 1.折线图 一般折线图 输入: # 画出折线图 import pandas as pd import numpy as np import matpl…

5.2 基本功能 (1)重新索引 - 方法reindex 方法reindex是pandas对象地一个重要方法,其作用是:创建一个新对象,它地数据符合新地索引. 如,对下面的Series数据按新索引进行重排: 根据新索引重排后的结果如下,当某个索引值不存在,就会在原来的基础上引入缺失值NaN: 利用reindex的method选项,实现插值处理.尤其对于时间序列这样的有序数据,会经常用到该选项. 如,使用 ffill 实现 前向值 填充: 利用DataFrame,reindex修改(行)索引和列.…

完整实例 import sys from PyQt5.QtWidgets import QApplication, QMainWindow, QMenu, QVBoxLayout, QSizePolicy, QMessageBox, QWidget, \ QPushButton from PyQt5.QtGui import QIcon from matplotlib.backends.backend_qt5agg import FigureCanvasQTAgg as FigureCanvas…

  本文翻译自https://nbviewer.jupyter.org/github/justmarkham/pandas-videos/blob/master/top_25_pandas_tricks.ipynb ,翻译如有不当之处,还请批评指正.   首先我们需要先提前下载好示例数据集: drinksbycountry.csv : http://bit.ly/drinksbycountry imdbratings.csv : http://bit.ly/imdbratings chipord…

pandas:简单的房价预测实例 我们使用pandas等工具,对于给出的.csv文件进行处理,完成要求的几个Task. 利用sklearn的线性回归,对于房价进行简单的预测. 所有的要求,数据集等文件,请到我的GitHub仓库自行下载:github.com/rongyupan/HousePricePred 如果你是pandas这类数据分析工具的新手,那这个项目很适合你.因为这个项目只需要用到最基本,最简单的操作. 数据集描述 transactions.csv数据集是我们的主要数据集:agents…

1.项目背景 随着科技的飞速发展,数据呈现爆发式的增长,任何人都摆脱不了与数据打交道,社会对于“数据”方面的人才需求也在不断增大.因此了解当下企业究竟需要招聘什么样的人才?需要什么样的技能?不管是对于在校生,还是对于求职者来说,都显得很有必要. 本文基于这个问题,针对51job招聘网站,爬取了全国范围内大数据.数据分析.数据挖掘.机器学习.人工智能等相关岗位的招聘信息.分析比较了不同岗位的薪资.学历要求:分析比较了不同区域.行业对相关人才的需求情况:分析比较了不同岗位的知识.技能要求等. 做完以…

1. df.head(n): 显示数据前n行,不指定n,df.head则会显示所有的行 2. df.columns.values获取所有列索引的名称 3. df.column_name: 直接获取列column_name的数据 4. pd.unique(Series)获取Series中元素的唯一值(即去掉重复的) 注意和nunique的区别,nunique只作用于Series,用法是Series.nunique() 可以看得出,nuinque()是查看该序列(axis=0/1对应着列或行)的不同…

用Python做数据分析,涉及到的函数实在是太多了,容易忘记,去网上查中文基本上差不到,英文有时候描述不清楚问题. 这里搞个针对个人习惯的函数汇总速查手册,下次需要用一个什么功能,就在这里面查到对应的函数名字,然后取搜索具体用法.随时更新. Numpy 创建: 创建一个随机数组x*y: np.empty(x,y) 产生随机数组,产生指定大小随机数组,指定范围随机数组,均匀分布,数组元素在0到1之间 np.random.uniform(0,100,size=5) -----------Pandas…

pandas常用函数整理,作为个人笔记. 仅标记函数大概用途做索引用,具体使用方式请参照pandas官方技术文档. 约定 from pandas import Series, DataFrame import pandas as pd import numpy as np 带.的为Series或者DataFrame对象的方法,只列举了部分关键字参数. 1.基础 .values 获取值,返回array对象 .index 获取(行)索引,返回索引对象 Series( index=) 创建Series…

1. df.head(n): 显示数据前n行,不指定n,df.head则会显示所有的行 2. df.columns.values获取所有列索引的名称 3. df.column_name: 直接获取列column_name的数据 4. pd.unique(Series)获取Series中元素的唯一值(即去掉重复的) 注意和nunique的区别,nunique只作用于Series,用法是Series.nunique() 可以看得出,nuinque()是查看该序列(axis=0/1对应着列或行)的不同…

今天这里谈的函数,以后进行数据分析的时候会经常用到. import numpy as npimport pandas as pdfrom pandas import DataFrame , Seriesfrom numpy import nan as NA obj = Series(['c', 'a', 'd', 'a', 'a', 'b', 'b', 'c', 'c']) uniques = obj.unique()print("obj is \n", obj)print("…

文件读取 df = pd.read_csv(path='file.csv') 参数:header=None 用默认列名,0,1,2,3... names=['A', 'B', 'C'...] 自定义列名 index_col='A'|['A', 'B'...] 给索引列指定名称,如果是多重索引,可以传list skiprows=[0,1,2] 需要跳过的行号,从文件头0开始,skip_footer从文件尾开始 nrows=N 需要读取的行数,前N行 chunksize=M 返回迭代类型TextFi…

原文链接:https://www.jianshu.com/p/f773b4b82c66 value_counts()是一种查看表格某列中有多少个不同值的快捷方法,并计算每个不同值有在该列中有多少重复值.value_counts()是Series拥有的方法,一般在DataFrame中使用时,需要指定对哪一列或行使用,该函数返回的也是Series类型,且index为该列的不同值,values为不同值的个数 import pandas as pd import numpy as np filepath…

//2019.07.22pyhton中matplotlib模块的应用pyhton中matplotlib是可视化图像库的第三方库,它可以实现图像的可视化,输出不同形式的图形1.可视化图形的输出和展示需要调用matplotlib第三方库的函数plt.show(),它的功能类似于print,相当于打印出自己需要输出的可视化图像,当然也可以用一些特殊的输出语句如下:%matplotlib.notebook%matplotlib.inline2.对于一般的二维图像输出可以用函数plt.plot(x,y)来…

原文链接:https://www.cnblogs.com/rexyan/p/7975707.html 一.import语句 import pandas as pd import numpy as np import matplotlib.pyplot as plt import datetime import re 二.文件读取 df = pd.read_csv(path='file.csv') 参数:header=None 用默认列名,0,1,2,3... names=['A', 'B', '…

本节目录 常用函数一:向量距离和相似度计算 常用函数二:pagerank 常用函数三:TF-IDF 常用函数四:关键词提取 常用函数一:向量距离和相似度计算 KL距离.JS距离.余弦距离 # -*- coding: utf-8 -*- """ @Datetime: 2019/3/30 @Author: Zhang Yafei """ import numpy as np import pandas as pd import scipy.stats…

学习自:pandas1.2.1documentation 0.常用 1)读写 ①从不同文本文件中读取数据的函数,都是read_xxx的形式:写函数则是to_xxx: ②对前n行感兴趣,或者用于检查读进来的数据的正确性,用head(n)方法:类似的,后n行,用tail(n)--如果不写参数n,将会是5行:信息浏览可以用info()方法: ③检查各列的类型,用dtypes属性. 2)取子集 ①这一部分的内容与numpy的切片.索引部分很类似: ②可以通过shape属性查看DataFrame与Seri…

python提供了一些有趣且实用的函数,如any all zip,这些函数能够大幅简化我们得代码,可以更优雅的处理可迭代的对象,同时使用的时候也得注意一些情况   any any(iterable) Return True if any element of the iterable is true. If the iterable is empty, return False 如果序列中任何一个元素为True,那么any返回True.该函数可以让我们少些一个for循环.有两点需要注意 (1)如…