import pandas as pd

import numpy as np

# 读取全部数据，使用默认索引

data = pd.read_excel(r'C:\Users\lenovo\Desktop\总结\Python\超市营业额.xlsx')

# 修改异常值

data.loc[data.交易额 > 3000,'交易额'] = 3000

data.loc[data.交易额 < 200,'交易额'] = 200

# 删除重复值

data.drop_duplicates(inplace = True)

#   inplace 表示对源数据也进行修改

# 填充缺失值

data['交易额'].fillna(data['交易额'].mean(),inplace = True)

# 使用交叉表得到每人在各柜台交易额的平均值

data_group = pd.crosstab(data.姓名,data.柜台,data.交易额,aggfunc = 'mean').apply(round)

# 绘制柱状图

data_group.plot(kind = 'bar')

# <matplotlib.axes._subplots.AxesSubplot object at 0x000001D681607888>

#  数据的合并

data1 = pd.read_excel(r'C:\Users\lenovo\Desktop\总结\Python\超市营业额.xlsx')

data2 = pd.read_excel(r'C:\Users\lenovo\Desktop\总结\Python\超市营业额.xlsx',sheet_name = 'Sheet2')

df1 = data1[:3]

'''

     工号  姓名        日期           时段   交易额   柜台

0  1001  张三  20190301   9:00-14:00  2000  化妆品

1  1002  李四  20190301  14:00-21:00  1800  化妆品

2  1003  王五  20190301   9:00-14:00   800   食品

'''

df2 = data2[:4]

'''

     工号  姓名        日期           时段   交易额    柜台

0  1006  钱八  20190301   9:00-14:00   850  蔬菜水果

1  1001  张三  20190302  14:00-21:00   600  蔬菜水果

2  1001  张三  20190302   9:00-14:00  1300   化妆品

3  1002  李四  20190302  14:00-21:00  1500   化妆品

'''

# 使用 concat 连接两个相同结构的 DataFrame 对象

df3 = pd.concat([df1,df2])

'''

     工号  姓名        日期           时段   交易额    柜台

0  1001  张三  20190301   9:00-14:00  2000   化妆品

1  1002  李四  20190301  14:00-21:00  1800   化妆品

2  1003  王五  20190301   9:00-14:00   800    食品

0  1006  钱八  20190301   9:00-14:00   850  蔬菜水果

1  1001  张三  20190302  14:00-21:00   600  蔬菜水果

2  1001  张三  20190302   9:00-14:00  1300   化妆品

3  1002  李四  20190302  14:00-21:00  1500   化妆品

'''

# 合并，忽略原来的索引 ignore_index

df4 = df3.append([df1,df2],ignore_index = True)

'''

      工号  姓名        日期           时段   交易额    柜台

0   1001  张三  20190301   9:00-14:00  2000   化妆品

1   1002  李四  20190301  14:00-21:00  1800   化妆品

2   1003  王五  20190301   9:00-14:00   800    食品

3   1006  钱八  20190301   9:00-14:00   850  蔬菜水果

4   1001  张三  20190302  14:00-21:00   600  蔬菜水果

5   1001  张三  20190302   9:00-14:00  1300   化妆品

6   1002  李四  20190302  14:00-21:00  1500   化妆品

7   1001  张三  20190301   9:00-14:00  2000   化妆品

8   1002  李四  20190301  14:00-21:00  1800   化妆品

9   1003  王五  20190301   9:00-14:00   800    食品

10  1006  钱八  20190301   9:00-14:00   850  蔬菜水果

11  1001  张三  20190302  14:00-21:00   600  蔬菜水果

12  1001  张三  20190302   9:00-14:00  1300   化妆品

13  1002  李四  20190302  14:00-21:00  1500   化妆品

'''

# 按照列进行拆分

df5 = df4.loc[:,['姓名','柜台','交易额']]

# 查看前五条数据

df5[:5]

'''

   姓名    柜台   交易额

0  张三   化妆品  2000

1  李四   化妆品  1800

2  王五    食品   800

3  钱八  蔬菜水果   850

4  张三  蔬菜水果   600

'''

# 合并 merge 、 join

# 按照工号进行合并，随机查看 3 条数据

rows = np.random.randint(0,len(df5),3)

pd.merge(df4,df5).iloc[rows,:]

'''

      工号  姓名        日期           时段   交易额   柜台

7   1002  李四  20190301  14:00-21:00  1800  化妆品

4   1002  李四  20190301  14:00-21:00  1800  化妆品

10  1003  王五  20190301   9:00-14:00   800   食品

'''

# 按照工号进行合并，指定其他同名列的后缀

pd.merge(df1,df2,on = '工号',suffixes = ['_x','_y']).iloc[:,:]

'''

     工号 姓名_x      日期_x         时段_x  ...      日期_y         时段_y 交易额_y  柜台_y

0  1001   张三  20190301   9:00-14:00  ...  20190302  14:00-21:00   600  蔬菜水果

1  1001   张三  20190301   9:00-14:00  ...  20190302   9:00-14:00  1300   化妆品

2  1002   李四  20190301  14:00-21:00  ...  20190302  14:00-21:00  1500   化妆品

'''

# 两个表都设置工号为索引 set_index

df2.set_index('工号').join(df3.set_index('工号'),lsuffix = '_x',rsuffix = '_y').iloc[:]

'''

     姓名_x      日期_x         时段_x  交易额_x  ...      日期_y         时段_y  交易额_y  柜台_y

工号                                      ...

1001   张三  20190302  14:00-21:00    600  ...  20190301   9:00-14:00   2000   化妆品

1001   张三  20190302  14:00-21:00    600  ...  20190302  14:00-21:00    600  蔬菜水果

1001   张三  20190302  14:00-21:00    600  ...  20190302   9:00-14:00   1300   化妆品

1001   张三  20190302   9:00-14:00   1300  ...  20190301   9:00-14:00   2000   化妆品

1001   张三  20190302   9:00-14:00   1300  ...  20190302  14:00-21:00    600  蔬菜水果

1001   张三  20190302   9:00-14:00   1300  ...  20190302   9:00-14:00   1300   化妆品

1002   李四  20190302  14:00-21:00   1500  ...  20190301  14:00-21:00   1800   化妆品

1002   李四  20190302  14:00-21:00   1500  ...  20190302  14:00-21:00   1500   化妆品

1006   钱八  20190301   9:00-14:00    850  ...  20190301   9:00-14:00    850  蔬菜水果

'''

2020-05-07

pandas_数据拆分与合并的更多相关文章

  1. Oracle_表数据拆分与合并

    参考文档: [1]http://blog.itpub.net/8858072/viewspace-426960/ [2]http://blog.csdn.net/mattlinsheep/articl ...

  2. (Sql Server)数据的拆分和合并

    (Sql Server)数据的拆分和合并 背景: 今天遇到了数据合并和拆分的问题,尝试了几种写法.但大致可分为两类:一.原始写法.二.Sql Server 2005之后支持的写法.第一种写法复杂而且效 ...

  3. 45.oracle表类型、数据拆分、表分区

    不要做一些没有意义的事情,就比如说你要离职并不打算吃回头草,离职理由中完全没有必要说明“领导的水平太渣,人品太差”此类的原因,而是“个人原因”,当然实在不批准辞职另说. oracle表类型 表的类型分 ...

  4. NDK学习笔记-文件的拆分与合并

    文件的拆分与合并在开发中经常会用到,上传或是下载的时候都有这样的运用 文件拆分的思路 将文件大小拆分为n个文件 那么,每个文件的大小就是等大小的 如果文件大小被n除不尽,那么就使用n+1个文件来拆分 ...

  5. spss-数据抽取-拆分与合并

    spss-数据抽取-拆分与合并 数据抽取也成为数据拆分,是指保留.抽取原数据表中某些字段.记录的部分信息,形成一个新字段.新纪录.分为:字段拆分和随机抽样两种方法. 一:字段拆分 如何提取" ...

  6. 【BIM】基于BIMFACE的空间拆分与合并

    BIMFACE中矩形空间拆分与合并 应用场景 在BIM运维场景中,空间同设备一样,作为一种资产被纳入运维管理体系,典型的应用场景例如商铺.防火分区等,这就涉及到空间的拆分和合并,在bimface中,已 ...

  7. 利用SQl对数据库实行数据拆分与组合

    利用SQl对数据库实行数据拆分与组合实现提供以下几种方案: 方法一: WITH CTE AS (SELECT A.Id,A.[Uid],UserName FROM (SELECT A.[id], RE ...

  8. pdf拆分与合并

    1.引用iTextSharp,用于拆分和合并pdf文件 using iTextSharp.text; using iTextSharp.text.pdf; 2.合并pdf //outMergeFile ...

  9. fasta文件拆分与合并

    Linux中fasta文件的拆分与合并 FASTA文件的拆分: (1)如果从一个文件a提取第11至20个序列存到另一个文件b: awk -v RS='>' 'NR>1{i++}i>= ...

随机推荐

  1. ibit-mybatis 2.x 介绍

    原文链接:ibit-mybatis 2.x 介绍 概述 ibit-mybatis 是一个 Mybatis 的增强工具,在 Mybatis 的基础上增加了新的特性与功能,志在简化开发流程.提高开发效率. ...

  2. npm tip: go to the package's home page

    exec the following order: --- npm home <package name>

  3. JavaScript图形实例：再谈IFS生成图形

    在“JavaScript图形实例:迭代函数系统生成图形”一文中,我们介绍了采用迭代函数系统(Iterated Function System,IFS)创建分形图案的一些实例.在该文中,仿射变换函数W的 ...

  4. YAML & JSON &XML如何选择

    前言 本文翻译https://www.csestack.org/yaml-vs-json-vs-xml-difference/,下文会针对当前现有的数据序列化语言做下梳理.重点突出YAML是什么,优缺 ...

  5. Mysql如何取当日的数据

    下面的sql语句可以取出当日的数据 SELECT * FROM table WHERE 时间字段 BETWEEN DATE_FORMAT(NOW(),'%Y-%m-%d 00:00:00') AND ...

  6. 07 . Jenkins忘记root密码

    重置Jenkins用户名密码 忘记用户名密码(如图)不管是忘记用户名密码还是误删jenkins目录下的users文件都可以使用下面的方式找回密码,我的版本是Jenkins 2.134 配置config ...

  7. 2018年BRATS 肿瘤分割挑战赛第三名分割方案One-pass Multi-task Networks with Cross-task Guided Attention for Brain Tumor Segmentation

    首先说一下我对这个方案的看法,相比第一名与第二名的方案,这个方案的分割方法确实复杂的多,原论文是发表在MICCAI,后来砖投到IEEE image processing(SCI 1区),总体感觉给人一 ...

  8. python 魔法方法总结

    目录 一.__str__ 二.__repr__ 三.__format__ 四.__del__ 五.__dict__和__slots__ 六.__item__.__attr__系列 七.__init__ ...

  9. C#中关于Task.Yeild()的探究

    在与同事讨论async/await内部实现的时候,突然想到Task.Yeild()这个函数,为什么呢,了解一点C#async/await内部机制的都知道,在await一个异步任务(函数)的时候,它会先 ...

  10. Scala 基础（十一）：Scala 函数式编程（三）高级（一）偏函数、作为参数的函数、匿名函数、高阶函数

    1 偏函数 1)在对符合某个条件,而不是所有情况进行逻辑操作时,使用偏函数是一个不错的选择 2)将包在大括号内的一组case语句封装为函数,我们称之为偏函数,它只对会作用于指定类型的参数或指定范围值的 ...