重点方法

  • 分组:groupby('列名') groupby(['列1'],['列2'........])

分组步骤:

  1. (spiltting)拆分 按照一些规则将数据分为不同的组

  2. (Applying)申请 对于每组数据分别执行一个函数

  3. (Combining) 组合 将结果组合到一个数据结构

  • 分组后默认统计的方法

    1.size() 大小 = count() max(),min(),std(),median()中位数,first(),last()

    函数名 使用
    count 分组中非NA(空值)的数量
    sum 非NA的和
    mean 非NA的平均值
    median 非NA的值的算术中位数
    std;var 无偏(分母为n-1)标准差和方差
    prod 非NA值的积
    first;last 第一个和最后一个非NA的值

以上统计函数:除了count()外,都会自动过滤非数字列!!!

排重:duplicated() 重复

1.检查重复数据:df.duplicated() 判断整行数据

2.检查重复指定列名:df.duplicated(['列1','列2....'])

3.删除重复数据:df.drop_duplicates()

4.删除时指定保留的数据:df.drop_duplicates(['列1','列2'...],keep='first/last')

  • keep:保存

  • first:第一个

  • last:最后一个

数据透视表

  • df.pivot_table(df,index=['列1','列2...'],values='名',aggfunc=np.mean/sum)

    • index : 排序的列

    • values: 统计列

    • aggfunc :执行的统计函数,不写默认统计平均值

分组替换:categories 分组/分类

  • 实现第二列!分组,并替换数据!

  • df['新列名']=df['B'].astype('category'): 转换为分类/分组类型

  • 分配列名:df['新列名'].cat.categories(['值1','值2....'])

  • 重新设置:df['新列名']=df['新列名'].cat.set_categories(['值1','值2.....'])

读写文件

  • HDF5:存储大数据,可方便和其他语言对接, 了解

    • to_hdf(文件)

    • read_hdf(文件)

  • csv:

    • to_csv(文件)

    • read_csv(文件)

  • 表格 excel:

    • to_excel(文件)

    • read_excel(文件)

Python数据分析 Pandas模块 基础数据结构与简介(二)的更多相关文章

  1. Python数据分析 Pandas模块 基础数据结构与简介(一)

    pandas 入门 简介 pandas 组成 = 数据面板 + 数据分析工具 poandas 把数组分为3类 一维矩阵:Series 把ndarray强大在可以存储任意数据类型可以专门处理时间数据 二 ...

  2. Python数据分析Pandas库之熊猫(10分钟二)

    pandas 10分钟教程(二) 重点发法 分组 groupby('列名') groupby(['列名1','列名2',.........]) 分组的步骤 (Splitting) 按照一些规则将数据分 ...

  3. Python数据分析--Pandas知识点(二)

    本文主要是总结学习pandas过程中用到的函数和方法, 在此记录, 防止遗忘. Python数据分析--Pandas知识点(一) 下面将是在知识点一的基础上继续总结. 13. 简单计算 新建一个数据表 ...

  4. Python数据分析--Pandas知识点(三)

    本文主要是总结学习pandas过程中用到的函数和方法, 在此记录, 防止遗忘. Python数据分析--Pandas知识点(一) Python数据分析--Pandas知识点(二) 下面将是在知识点一, ...

  5. python 数据分析--pandas

    接下来pandas介绍中将学习到如下8块内容:1.数据结构简介:DataFrame和Series2.数据索引index3.利用pandas查询数据4.利用pandas的DataFrames进行统计分析 ...

  6. Python数据分析-Day2-Pandas模块

    1.pandas简介 Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的.Pandas 纳入了大量库和一些标 ...

  7. Python数据分析-Pandas(Series与DataFrame)

    Pandas介绍: pandas是一个强大的Python数据分析的工具包,是基于NumPy构建的. Pandas的主要功能: 1)具备对其功能的数据结构DataFrame.Series 2)集成时间序 ...

  8. 第一章:Python数据分析前的基础铺垫

    本节概要 - 数据类型 - 数据结构 - 数据的常用操作方法 数据类型 基础铺垫 定义 我们搞数据时,首先要告诉Python我们的数据类型是什么 数值型:直接写一个数字即可 逻辑型:True,Fals ...

  9. 小白学 Python 数据分析(17):Matplotlib(二)基础操作

    人生苦短,我用 Python 前文传送门: 小白学 Python 数据分析(1):数据分析基础 小白学 Python 数据分析(2):Pandas (一)概述 小白学 Python 数据分析(3):P ...

随机推荐

  1. HDU 6183 Color it(动态开点线段树)

    题目原网址:http://acm.hdu.edu.cn/showproblem.php?pid=6183 题目中文翻译: Time Limit: 20000/10000 MS (Java/Others ...

  2. java中常用到的math方法(Math.PI、Math.random()、Math.abs(double)、Math.floor(double)、Math.ceil(double)、Math.round(double))

    public class MathDemo { public static void main(String args[]){ /** * abs求绝对值 */ System.out.println( ...

  3. Linux下cpu过高问题排查

    原文地址:https://blog.csdn.net/chenjunan888/article/details/80447800 在服务器报cpu过高时,可使用以下命令,快速导出堆栈信息,以方便查看具 ...

  4. RHEL6.5---LVS(IP-TUN)

    实验环境: 主机名 IP  所需软件 master eth0==>192.168.30.160(RIP) eth0:1==>192.168.30.130(VIP) ipvsadm node ...

  5. canvas画饼图

    <style> body {    background: black;    text-align: center; } #cans {    background: white; } ...

  6. 数据库SQL server 删除一张表中的重复记录

    --建立一张表 create table cat( catId int, catName varchar(40) ) --将下边的插入语句,多执行几次. insert into catvalues(1 ...

  7. Scala 学习记录(一)

    1. 相对于java,scala的值修饰用val,变量修饰用var.值相当于java的final 修饰了. package demo object ScalaBase extends App { pr ...

  8. Android开发精品收藏贴

    各种下拉刷新效果: https://github.com/scwang90/SmartRefreshLayout

  9. vue+element ui项目总结点(一)select、Cascader级联选择器、encodeURI、decodeURI转码解码、mockjs用法、路由懒加载三种方式

    不多说上代码: <template> <div class="hello"> <h1>{{ msg }}</h1> <p> ...

  10. sql格式化工具

    桌面版: SQLInform: http://www.sqlinform.com/download_free_desktop_sw.html 在线格式化: http://www.dpriver.com ...