Python数据分析 Pandas模块 基础数据结构与简介(二)
重点方法
分组:groupby('列名') groupby(['列1'],['列2'........])
分组步骤:
(spiltting)拆分 按照一些规则将数据分为不同的组
(Applying)申请 对于每组数据分别执行一个函数
(Combining) 组合 将结果组合到一个数据结构
分组后默认统计的方法
1.size() 大小 = count() max(),min(),std(),median()中位数,first(),last()
函数名 使用 count 分组中非NA(空值)的数量 sum 非NA的和 mean 非NA的平均值 median 非NA的值的算术中位数 std;var 无偏(分母为n-1)标准差和方差 prod 非NA值的积 first;last 第一个和最后一个非NA的值
以上统计函数:除了count()外,都会自动过滤非数字列!!!
排重:duplicated() 重复
1.检查重复数据:df.duplicated() 判断整行数据
2.检查重复指定列名:df.duplicated(['列1','列2....'])
3.删除重复数据:df.drop_duplicates()
4.删除时指定保留的数据:df.drop_duplicates(['列1','列2'...],keep='first/last')
keep:保存
first:第一个
last:最后一个
数据透视表
df.pivot_table(df,index=['列1','列2...'],values='名',aggfunc=np.mean/sum)
index : 排序的列
values: 统计列
aggfunc :执行的统计函数,不写默认统计平均值
分组替换:categories 分组/分类
实现第二列!分组,并替换数据!
df['新列名']=df['B'].astype('category'): 转换为分类/分组类型
分配列名:df['新列名'].cat.categories(['值1','值2....'])
重新设置:df['新列名']=df['新列名'].cat.set_categories(['值1','值2.....'])
读写文件
HDF5:存储大数据,可方便和其他语言对接, 了解
to_hdf(文件)
read_hdf(文件)
csv:
to_csv(文件)
read_csv(文件)
表格 excel:
to_excel(文件)
read_excel(文件)
Python数据分析 Pandas模块 基础数据结构与简介(二)的更多相关文章
- Python数据分析 Pandas模块 基础数据结构与简介(一)
pandas 入门 简介 pandas 组成 = 数据面板 + 数据分析工具 poandas 把数组分为3类 一维矩阵:Series 把ndarray强大在可以存储任意数据类型可以专门处理时间数据 二 ...
- Python数据分析Pandas库之熊猫(10分钟二)
pandas 10分钟教程(二) 重点发法 分组 groupby('列名') groupby(['列名1','列名2',.........]) 分组的步骤 (Splitting) 按照一些规则将数据分 ...
- Python数据分析--Pandas知识点(二)
本文主要是总结学习pandas过程中用到的函数和方法, 在此记录, 防止遗忘. Python数据分析--Pandas知识点(一) 下面将是在知识点一的基础上继续总结. 13. 简单计算 新建一个数据表 ...
- Python数据分析--Pandas知识点(三)
本文主要是总结学习pandas过程中用到的函数和方法, 在此记录, 防止遗忘. Python数据分析--Pandas知识点(一) Python数据分析--Pandas知识点(二) 下面将是在知识点一, ...
- python 数据分析--pandas
接下来pandas介绍中将学习到如下8块内容:1.数据结构简介:DataFrame和Series2.数据索引index3.利用pandas查询数据4.利用pandas的DataFrames进行统计分析 ...
- Python数据分析-Day2-Pandas模块
1.pandas简介 Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的.Pandas 纳入了大量库和一些标 ...
- Python数据分析-Pandas(Series与DataFrame)
Pandas介绍: pandas是一个强大的Python数据分析的工具包,是基于NumPy构建的. Pandas的主要功能: 1)具备对其功能的数据结构DataFrame.Series 2)集成时间序 ...
- 第一章:Python数据分析前的基础铺垫
本节概要 - 数据类型 - 数据结构 - 数据的常用操作方法 数据类型 基础铺垫 定义 我们搞数据时,首先要告诉Python我们的数据类型是什么 数值型:直接写一个数字即可 逻辑型:True,Fals ...
- 小白学 Python 数据分析(17):Matplotlib(二)基础操作
人生苦短,我用 Python 前文传送门: 小白学 Python 数据分析(1):数据分析基础 小白学 Python 数据分析(2):Pandas (一)概述 小白学 Python 数据分析(3):P ...
随机推荐
- HDU 6183 Color it(动态开点线段树)
题目原网址:http://acm.hdu.edu.cn/showproblem.php?pid=6183 题目中文翻译: Time Limit: 20000/10000 MS (Java/Others ...
- java中常用到的math方法(Math.PI、Math.random()、Math.abs(double)、Math.floor(double)、Math.ceil(double)、Math.round(double))
public class MathDemo { public static void main(String args[]){ /** * abs求绝对值 */ System.out.println( ...
- Linux下cpu过高问题排查
原文地址:https://blog.csdn.net/chenjunan888/article/details/80447800 在服务器报cpu过高时,可使用以下命令,快速导出堆栈信息,以方便查看具 ...
- RHEL6.5---LVS(IP-TUN)
实验环境: 主机名 IP 所需软件 master eth0==>192.168.30.160(RIP) eth0:1==>192.168.30.130(VIP) ipvsadm node ...
- canvas画饼图
<style> body { background: black; text-align: center; } #cans { background: white; } ...
- 数据库SQL server 删除一张表中的重复记录
--建立一张表 create table cat( catId int, catName varchar(40) ) --将下边的插入语句,多执行几次. insert into catvalues(1 ...
- Scala 学习记录(一)
1. 相对于java,scala的值修饰用val,变量修饰用var.值相当于java的final 修饰了. package demo object ScalaBase extends App { pr ...
- Android开发精品收藏贴
各种下拉刷新效果: https://github.com/scwang90/SmartRefreshLayout
- vue+element ui项目总结点(一)select、Cascader级联选择器、encodeURI、decodeURI转码解码、mockjs用法、路由懒加载三种方式
不多说上代码: <template> <div class="hello"> <h1>{{ msg }}</h1> <p> ...
- sql格式化工具
桌面版: SQLInform: http://www.sqlinform.com/download_free_desktop_sw.html 在线格式化: http://www.dpriver.com ...