pandas处理多组数据的时候往往会要用到数据的合并处理,使用 concat是一种基本的合并方式.而且concat中有很多参数可以调整,合并成你想要的数据形式.

1、axis(合并方向)：axis=0是预设值，因此未设定任何参数时，函数默认axis=0。

>>> import pandas as pd

>>> import numpy as np

#定义资料集

>>> df1 = pd.DataFrame(np.ones((3,4))*0, columns=['a','b','c','d'])

>>> df2 = pd.DataFrame(np.ones((3,4))*1, columns=['a','b','c','d'])

>>> df3 = pd.DataFrame(np.ones((3,4))*2, columns=['a','b','c','d'])

#concat纵向合并

>>> res = pd.concat([df1, df2, df3], axis=0)

>>> print(res)

     a    b    c    d

0  0.0  0.0  0.0  0.0

1  0.0  0.0  0.0  0.0

2  0.0  0.0  0.0  0.0

0  1.0  1.0  1.0  1.0

1  1.0  1.0  1.0  1.0

2  1.0  1.0  1.0  1.0

0  2.0  2.0  2.0  2.0

1  2.0  2.0  2.0  2.0

2  2.0  2.0  2.0  2.0

仔细观察会发现结果的index是0, 1, 2, 0, 1, 2, 0, 1, 2，若要将index重置，请看下面。

2、ignore——index(重置index)

#承上一个例子，并将index_ignore设定为True

>>> res = pd.concat([df1, df2, df3], axis=0, ignore_index=True)

>>> print(res)

     a    b    c    d

0  0.0  0.0  0.0  0.0

1  0.0  0.0  0.0  0.0

2  0.0  0.0  0.0  0.0

3  1.0  1.0  1.0  1.0

4  1.0  1.0  1.0  1.0

5  1.0  1.0  1.0  1.0

6  2.0  2.0  2.0  2.0

7  2.0  2.0  2.0  2.0

8  2.0  2.0  2.0  2.0

结果的index变0, 1, 2, 3, 4, 5, 6, 7, 8。

3、join(合并方式)

join='outer'为预设值，因此未设定任何参数时，函数默认join='outer'。此方式是依照column来做纵向合并，有相同的column上下合并在一起，其他独自的column个自成列，原本没有值的位置皆以NaN填充。

>>> import pandas as pd

>>> import numpy as np

>>> df1 = pd.DataFrame(np.ones((3,4))*0, columns=['a','b','c','d'], index=[1,2,3])

>>> df2 = pd.DataFrame(np.ones((3,4))*1, columns=['b','c','d','e'], index=[2,3,4])

#纵向"外"合并df1与df2

>>> res = pd.concat([df1, df2], axis=0, join='outer')

>>> print(res)

     a    b    c    d    e

1  0.0  0.0  0.0  0.0  NaN

2  0.0  0.0  0.0  0.0  NaN

3  0.0  0.0  0.0  0.0  NaN

2  NaN  1.0  1.0  1.0  1.0

3  NaN  1.0  1.0  1.0  1.0

4  NaN  1.0  1.0  1.0  1.0

#原理同上个例子的说明，但只有相同的column合并在一起，其他的会被抛弃。

#纵向"内"合并df1与df2

>>> res = pd.concat([df1, df2], axis=0, join='inner')

>>> print(res)

     b    c    d

1  0.0  0.0  0.0

2  0.0  0.0  0.0

3  0.0  0.0  0.0

2  1.0  1.0  1.0

3  1.0  1.0  1.0

4  1.0  1.0  1.0

#重置index并打印结果

>>> res = pd.concat([df1, df2], axis=0, join='inner', ignore_index=True)

>>> print(res)

     b    c    d

0  0.0  0.0  0.0

1  0.0  0.0  0.0

2  0.0  0.0  0.0

3  1.0  1.0  1.0

4  1.0  1.0  1.0

5  1.0  1.0  1.0

4、join_axes(依照axes合并)

>>> import pandas as pd

>>> import numpy as np

>>> df1 = pd.DataFrame(np.ones((3,4))*0, columns=['a','b','c','d'], index=[1,2,3])

>>> df2 = pd.DataFrame(np.ones((3,4))*1, columns=['b','c','d','e'], index=[2,3,4])

#依照`df1.index`进行横向合并

>>> res = pd.concat([df1, df2], axis=1, join_axes=[df1.index])

>>> print(res)

     a    b    c    d    b    c    d    e

1  0.0  0.0  0.0  0.0  NaN  NaN  NaN  NaN

2  0.0  0.0  0.0  0.0  1.0  1.0  1.0  1.0

3  0.0  0.0  0.0  0.0  1.0  1.0  1.0  1.0

#移除join_axes，并打印结果

>>> res = pd.concat([df1, df2], axis=1)

>>> print(res)

     a    b    c    d    b    c    d    e

1  0.0  0.0  0.0  0.0  NaN  NaN  NaN  NaN

2  0.0  0.0  0.0  0.0  1.0  1.0  1.0  1.0

3  0.0  0.0  0.0  0.0  1.0  1.0  1.0  1.0

4  NaN  NaN  NaN  NaN  1.0  1.0  1.0  1.0

5、append(添加数据)

append只有纵向合并，没有横向合并。

>>> import pandas as pd

>>> import numpy as np 

>>> df1 = pd.DataFrame(np.ones((3,4))*0, columns=['a','b','c','d'])

>>> df2 = pd.DataFrame(np.ones((3,4))*1, columns=['a','b','c','d'])

>>> df3 = pd.DataFrame(np.ones((3,4))*1, columns=['a','b','c','d'])

>>> s1 = pd.Series([1,2,3,4], index=['a','b','c','d'])

#将df2合并到df1的下面，以及重置index，并打印出结果

>>> res = df1.append(df2, ignore_index=True)

>>> print(res)

     a    b    c    d

0  0.0  0.0  0.0  0.0

1  0.0  0.0  0.0  0.0

2  0.0  0.0  0.0  0.0

3  1.0  1.0  1.0  1.0

4  1.0  1.0  1.0  1.0

5  1.0  1.0  1.0  1.0

#合并多个df，将df2与df3合并至df1的下面，以及重置index，并打印出结果

>>> res = df1.append([df2, df3], ignore_index=True)

>>> print(res)

     a    b    c    d

0  0.0  0.0  0.0  0.0

1  0.0  0.0  0.0  0.0

2  0.0  0.0  0.0  0.0

3  1.0  1.0  1.0  1.0

4  1.0  1.0  1.0  1.0

5  1.0  1.0  1.0  1.0

6  1.0  1.0  1.0  1.0

7  1.0  1.0  1.0  1.0

8  1.0  1.0  1.0  1.0

#合并series，将s1合并至df1，以及重置index，并打印出结果

>>> res = df1.append(s1, ignore_index=True)

>>> print(res)

     a    b    c    d

0  0.0  0.0  0.0  0.0

1  0.0  0.0  0.0  0.0

2  0.0  0.0  0.0  0.0

3  1.0  2.0  3.0  4.0

Pandas 合并 concat的更多相关文章

  1. 【转】Pandas学习笔记（五）合并 concat

    Pandas学习笔记系列: Pandas学习笔记(一)基本介绍 Pandas学习笔记(二)选择数据 Pandas学习笔记(三)修改&添加值 Pandas学习笔记(四)处理丢失值 Pandas学 ...

  2. pandas的concat函数和append方法

    pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,keys=None, levels=None, nam ...

  3. python pandas合并多个excel(xls和xlsx)文件（弹窗选择文件夹和保存文件）

    # python pandas合并多个excel(xls和xlsx)文件(弹窗选择文件夹和保存文件) import tkinter as tk from tkinter import filedial ...

  4. python pandas 合并数据函数merge join concat combine_first 区分

    pandas对象中的数据可以通过一些内置的方法进行合并:pandas.merge,pandas.concat,实例方法join,combine_first,它们的使用对象和效果都是不同的,下面进行区分 ...

  5. Pandas合并数据集之concat、combine_first方法

    轴向连接(concat) Numpy import numpy as np import pandas as pd from pandas import Series arr = np.arange( ...

  6. pandas合并数据集-【老鱼学pandas】

    有两个数据集,我们想把他们的结果根据相同的列名或索引号之类的进行合并,有点类似SQL中的从两个表中选择出不同的记录并进行合并返回. 合并 首先准备数据: import pandas as pd imp ...

  7. Pandas合并数据集之merge、join方法

    合并数据集 pandas.merge 可根据一个或多个键将不同DataFrame中的行连接起来. pandas.concat 可以沿着一条轴将多个对象堆叠到一起. combine_first merg ...

  8. Pandas 合并merge

    pandas中的merge和concat类似,但主要是用于两组有key column的数据,统一索引的数据. 通常也被用在Database的处理当中. 1.依据一组key合并 >>> ...

  9. pandas 合并数据

    1.  pandas 的merge,join 就不说了. 2.  神奇的:  concat      append 参考: PANDAS 数据合并与重塑(concat篇) 3.

随机推荐

  1. 关于DDR3控制器的使用

    关于DDR3控制器的使用 mig_7series_0 u_mig_7series_0 ( // Memory interface ports .ddr3_addr (ddr3_addr), // ou ...

  2. Linux 释放cache化缓存

    Linux 释放cache化缓存 free -g查看空余内存以及已使用内存 原文  https://blog.csdn.net/tomspcc/article/details/78131468 机械硬 ...

  3. SqlDbx 个人版本使用指定的instant client

    set Oracle_Home=D:\Toolkit\Oracle kits\instantclient_x86 set TNS_ADMIN=%Oracle_Home% set NLS_LANG=SI ...

  4. 【OpenStack】network相关知识学习

    network 类型 local:通信不跨主机,必须同一网段,主要做单机测试使用: flat:统计可以跨主机,但是需要在同一网段: 每个 flat network 都会独占一个物理网卡 计算节点上 b ...

  5. 虚拟机克隆之后，网卡名称从eth0变成eth1之后的解决办法

    使用VMware安装了CentOS虚拟机,克隆之后使用service network restart指令来重新启动网络服务时,会看到有eth0网卡不存在的提示.出现这种现象的原因是,很多Linux d ...

  6. k8s学习笔记之一：kubernetes简介

    一.虚拟化技术 1.什么是虚拟化技术 虚拟化,是指通过虚拟化技术将一台计算机虚拟为多台逻辑计算机.在一台计算机上同时运行多个逻辑计算机,每个逻辑计算机可运行不同的操作系统,并且应用程序都可以在相互独立 ...

  7. java 解耦

    探索目的:使用的时候,只需要一次调用就可以完成日常复杂的操作.而工具类的高耦合带来业务代码维护复杂度加大.以 java 的思想对原始工具加以改进. 有没有比这里尝试的方法更高明的,在 A_Utils. ...

  8. JAVA多线程17个问题

    1.Thread 类中的start() 和 run() 方法有什么区别? Thread.start()方法(native)启动线程,使之进入就绪状态,当cpu分配时间该线程时,由JVM调度执行run( ...

  9. VS2015密匙--VS2015打开丢失msvcp140.dll--cannot find one or more components ,please reinstall the application

    win7旗舰版 64位 + vs2015 专业版 1.安装VS2015过程中可能需要用到的VS2015专业版钥匙:(测试,可用) HMGNV-WCYXV-X7G9W-YCX63-B98R2 2.VS2 ...

  10. 关于h5使用bpmn.js

    bpmn.js网站地址:https://bpmn.io/toolkit/bpmn-js/ bpmnjs是一款工作流绘制框架,遵循了bpmn2.0规范,实现从前台绘制工作流到后台执行的效果. 图示: 但 ...