Pandas提供了各种工具(功能)，可以轻松地将Series，DataFrame和Panel对象组合在一起。

pd.concat(objs,axis=0,join='outer',join_axes=None,

ignore_index=False)
Python

其中，

  • objs - 这是Series，DataFrame或Panel对象的序列或映射。
  • axis - {0，1，...}，默认为0，这是连接的轴。
  • join - {'inner', 'outer'}，默认inner。如何处理其他轴上的索引。联合的外部和交叉的内部。
  • ignore_index − 布尔值，默认为False。如果指定为True，则不要使用连接轴上的索引值。结果轴将被标记为：0，...，n-1。
  • join_axes - 这是Index对象的列表。用于其他(n-1)轴的特定索引，而不是执行内部/外部集逻辑。

连接对象

concat()函数完成了沿轴执行级联操作的所有重要工作。下面代码中，创建不同的对象并进行连接。

import pandas as pd

one = pd.DataFrame({

         'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'],

         'subject_id':['sub1','sub2','sub4','sub6','sub5'],

         'Marks_scored':[98,90,87,69,78]},

         index=[1,2,3,4,5])

two = pd.DataFrame({

         'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'],

         'subject_id':['sub2','sub4','sub3','sub6','sub5'],

         'Marks_scored':[89,80,79,97,88]},

         index=[1,2,3,4,5])

rs = pd.concat([one,two])

print(rs)
Python

执行上面示例代码，得到以下结果 -

   Marks_scored    Name subject_id

1            98    Alex       sub1

2            90     Amy       sub2

3            87   Allen       sub4

4            69   Alice       sub6

5            78  Ayoung       sub5

1            89   Billy       sub2

2            80   Brian       sub4

3            79    Bran       sub3

4            97   Bryce       sub6

5            88   Betty       sub5
Shell

假设想把特定的键与每个碎片的DataFrame关联起来。可以通过使用键参数来实现这一点 -

import pandas as pd

one = pd.DataFrame({

         'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'],

         'subject_id':['sub1','sub2','sub4','sub6','sub5'],

         'Marks_scored':[98,90,87,69,78]},

         index=[1,2,3,4,5])

two = pd.DataFrame({

         'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'],

         'subject_id':['sub2','sub4','sub3','sub6','sub5'],

         'Marks_scored':[89,80,79,97,88]},

         index=[1,2,3,4,5])

rs = pd.concat([one,two],keys=['x','y'])

print(rs)
Python

执行上面示例代码，得到以下结果 -

     Marks_scored    Name subject_id

x 1            98    Alex       sub1

  2            90     Amy       sub2

  3            87   Allen       sub4

  4            69   Alice       sub6

  5            78  Ayoung       sub5

y 1            89   Billy       sub2

  2            80   Brian       sub4

  3            79    Bran       sub3

  4            97   Bryce       sub6

  5            88   Betty       sub5
Shell

结果的索引是重复的; 每个索引重复。如果想要生成的对象必须遵循自己的索引，请将ignore_index设置为True。参考以下示例代码 -

import pandas as pd

one = pd.DataFrame({

         'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'],

         'subject_id':['sub1','sub2','sub4','sub6','sub5'],

         'Marks_scored':[98,90,87,69,78]},

         index=[1,2,3,4,5])

two = pd.DataFrame({

         'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'],

         'subject_id':['sub2','sub4','sub3','sub6','sub5'],

         'Marks_scored':[89,80,79,97,88]},

         index=[1,2,3,4,5])

rs = pd.concat([one,two],keys=['x','y'],ignore_index=True)

print(rs)
Python

执行上面示例代码，得到以下结果 -

   Marks_scored    Name subject_id

0            98    Alex       sub1

1            90     Amy       sub2

2            87   Allen       sub4

3            69   Alice       sub6

4            78  Ayoung       sub5

5            89   Billy       sub2

6            80   Brian       sub4

7            79    Bran       sub3

8            97   Bryce       sub6

9            88   Betty       sub5
Shell

观察，索引完全改变，键也被覆盖。如果需要沿axis=1添加两个对象，则会添加新列。

import pandas as pd

one = pd.DataFrame({

         'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'],

         'subject_id':['sub1','sub2','sub4','sub6','sub5'],

         'Marks_scored':[98,90,87,69,78]},

         index=[1,2,3,4,5])

two = pd.DataFrame({

         'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'],

         'subject_id':['sub2','sub4','sub3','sub6','sub5'],

         'Marks_scored':[89,80,79,97,88]},

         index=[1,2,3,4,5])

rs = pd.concat([one,two],axis=1)

print(rs)
Python

执行上面示例代码，得到以下结果 -

   Marks_scored    Name subject_id  Marks_scored   Name subject_id

1            98    Alex       sub1            89  Billy       sub2

2            90     Amy       sub2            80  Brian       sub4

3            87   Allen       sub4            79   Bran       sub3

4            69   Alice       sub6            97  Bryce       sub6

5            78  Ayoung       sub5            88  Betty       sub5
Shell

使用附加连接

连接的一个有用的快捷方式是在Series和DataFrame实例的append方法。这些方法实际上早于concat()方法。 它们沿axis=0连接，即索引 -

import pandas as pd

one = pd.DataFrame({

         'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'],

         'subject_id':['sub1','sub2','sub4','sub6','sub5'],

         'Marks_scored':[98,90,87,69,78]},

         index=[1,2,3,4,5])

two = pd.DataFrame({

         'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'],

         'subject_id':['sub2','sub4','sub3','sub6','sub5'],

         'Marks_scored':[89,80,79,97,88]},

         index=[1,2,3,4,5])

rs = one.append(two)

print(rs)
Python

执行上面示例代码，得到以下结果 -

   Marks_scored    Name subject_id

1            98    Alex       sub1

2            90     Amy       sub2

3            87   Allen       sub4

4            69   Alice       sub6

5            78  Ayoung       sub5

1            89   Billy       sub2

2            80   Brian       sub4

3            79    Bran       sub3

4            97   Bryce       sub6

5            88   Betty       sub5
Shell

append()函数也可以带多个对象 -

import pandas as pd

one = pd.DataFrame({

         'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'],

         'subject_id':['sub1','sub2','sub4','sub6','sub5'],

         'Marks_scored':[98,90,87,69,78]},

         index=[1,2,3,4,5])

two = pd.DataFrame({

         'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'],

         'subject_id':['sub2','sub4','sub3','sub6','sub5'],

         'Marks_scored':[89,80,79,97,88]},

         index=[1,2,3,4,5])

rs = one.append([two,one,two])

print(rs)
Python

执行上面示例代码，得到以下结果 -

   Marks_scored    Name subject_id

1            98    Alex       sub1

2            90     Amy       sub2

3            87   Allen       sub4

4            69   Alice       sub6

5            78  Ayoung       sub5

1            89   Billy       sub2

2            80   Brian       sub4

3            79    Bran       sub3

4            97   Bryce       sub6

5            88   Betty       sub5

1            98    Alex       sub1

2            90     Amy       sub2

3            87   Allen       sub4

4            69   Alice       sub6

5            78  Ayoung       sub5

1            89   Billy       sub2

2            80   Brian       sub4

3            79    Bran       sub3

4            97   Bryce       sub6

5            88   Betty       sub5
Shell

时间序列

Pandas为时间序列数据的工作时间提供了一个强大的工具，尤其是在金融领域。在处理时间序列数据时，我们经常遇到以下情况 -

  • 生成时间序列
  • 将时间序列转换为不同的频率

Pandas提供了一个相对紧凑和自包含的工具来执行上述任务。

获取当前时间

datetime.now()用于获取当前的日期和时间。

import pandas as pd

print pd.datetime.now()
Python

上述代码执行结果如下 -

2017-11-03 02:17:45.997992
Shell

创建一个时间戳

时间戳数据是时间序列数据的最基本类型，它将数值与时间点相关联。 对于Pandas对象来说，意味着使用时间点。举个例子 -

import pandas as pd

time = pd.Timestamp('2018-11-01')

print(time)
Python

执行上面示例代码，得到以下结果 -

2018-11-01 00:00:00
Shell

也可以转换整数或浮动时期。这些的默认单位是纳秒(因为这些是如何存储时间戳的)。 然而，时代往往存储在另一个可以指定的单元中。 再举一个例子 -

import pandas as pd

time = pd.Timestamp(1588686880,unit='s')

print(time)
Python

执行上面示例代码，得到以下结果 -

2020-05-05 13:54:40
Shell

创建一个时间范围

import pandas as pd

time = pd.date_range("12:00", "23:59", freq="30min").time

print(time)
Python

执行上面示例代码，得到以下结果 -

[datetime.time(12, 0) datetime.time(12, 30) datetime.time(13, 0)

 datetime.time(13, 30) datetime.time(14, 0) datetime.time(14, 30)

 datetime.time(15, 0) datetime.time(15, 30) datetime.time(16, 0)

 datetime.time(16, 30) datetime.time(17, 0) datetime.time(17, 30)

 datetime.time(18, 0) datetime.time(18, 30) datetime.time(19, 0)

 datetime.time(19, 30) datetime.time(20, 0) datetime.time(20, 30)

 datetime.time(21, 0) datetime.time(21, 30) datetime.time(22, 0)

 datetime.time(22, 30) datetime.time(23, 0) datetime.time(23, 30)]
Shell

改变时间的频率

import pandas as pd

time = pd.date_range("12:00", "23:59", freq="H").time

print(time)
Python

执行上面示例代码，得到以下结果 -

[datetime.time(12, 0) datetime.time(13, 0) datetime.time(14, 0)

 datetime.time(15, 0) datetime.time(16, 0) datetime.time(17, 0)

 datetime.time(18, 0) datetime.time(19, 0) datetime.time(20, 0)

 datetime.time(21, 0) datetime.time(22, 0) datetime.time(23, 0)]
Shell

转换为时间戳

要转换类似日期的对象(例如字符串，时代或混合)的序列或类似列表的对象，可以使用to_datetime函数。当传递时将返回一个Series(具有相同的索引)，而类似列表被转换为DatetimeIndex。 看看下面的例子 -

import pandas as pd

time = pd.to_datetime(pd.Series(['Jul 31, 2009','2019-10-10', None]))

print(time)
Python

执行上面示例代码，得到以下结果 -

0   2009-07-31

1   2019-10-10

2          NaT

dtype: datetime64[ns]
Shell

NaT表示不是一个时间的值(相当于NaN)

举一个例子，

import pandas as pd

import pandas as pd

time = pd.to_datetime(['2009/11/23', '2019.12.31', None])

print(time)
Python

执行上面示例代码，得到以下结果 -

DatetimeIndex(['2009-11-23', '2019-12-31', 'NaT'], dtype='datetime64[ns]', freq=None)

Pandas级联的更多相关文章

  1. pandas 级联 concat append

    连接的一个有用的快捷方式是在Series和DataFrame实例的append方法.这些方法实际上早于concat()方法. 它们沿axis=0连接 #encoding:utf8 import pan ...

  2. Pandas教程目录

    Pandas数据结构 Pandas系列 Pandas数据帧(DataFrame) Pandas面板(Panel) Pandas基本功能 Pandas描述性统计 Pandas函数应用 Pandas重建索 ...

  3. Numpy Pandas

    数据分析 : 是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来,总结出所研究对象的内在规律. 数据分析三剑客 -  Numpy Pandas Matplotlib # Numpy 基于一维或多维的数 ...

  4. Pandas | 20 级联

    Pandas提供了各种工具(功能),可以轻松地将Series,DataFrame和Panel对象组合在一起. pd.concat(objs,axis=0,join='outer',join_axes= ...

  5. 数据分析03 /基于pandas的数据清洗、级联、合并

    数据分析03 /基于pandas的数据清洗.级联.合并 目录 数据分析03 /基于pandas的数据清洗.级联.合并 1. 处理丢失的数据 2. pandas处理空值操作 3. 数据清洗案例 4. 处 ...

  6. pandas的级联操作

    级联操作 pd.concat, pd.append import pandas as pd from pandas import DataFrame import numpy as np pandas ...

  7. 第十五节：pandas之concat（）级联

    Pandas 提供了concat()函数可以轻松的将Series.DataFrame对象进行合并在一起. pandas.concat(obj , axis=0 , join="inner&q ...

  8. 第三节 pandas续集

    import pandas as pd from pandas import Series from pandas import DataFrame import numpy as np 一 创建多层 ...

  9. 数据分析之Pandas

    一.Pandas介绍 1.介绍 pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的.Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具. ...

随机推荐

  1. 【IDEA】Maven踩坑：pom文件中的默认profiles不生效+IDEA中Maven的profiles使用说明

    一.问题即分析 项目pom文件中的profiles有3个配置:dev.test和production 默认配置的是dev,如下图: 但在本地起服务时,读取的配置始终是test里的. 二.原因 2.1 ...

  2. node.js开发学习一HelloWorld

    前言:由于公司业务需求,最近启动了node.js的开发任务,想把自己的开发学习历程记录记录下来,可以增加记忆,也方便查找.虽然对javascript有一定的了解,但是刚接触node.js的时候,发现还 ...

  3. windows程序查看可以行文件依赖库

    通常在做windows下开发程序,发布的时候需要同时打包一些依赖库:我们可以通过工具直接查看需要发布的程序依赖的程序,这样可以方便快捷的打包程序 这里我们推荐使用:dependencywalker 下 ...

  4. Storm的组件

    摘自网上 当时写的很好,很详细的介绍了各个组件直接的关系 Storm集群和Hadoop集群表面上看很类似.但是Hadoop上运行的是MapReduce jobs,而在Storm上运行的是拓扑(topo ...

  5. Restful风格到底是什么？怎么应用到我们的项目中？

    rest越来越流行,感觉挺高大尚的.网上看了很多网友的说法,各有各的看法,我觉得很多说得很有道理. 说法一 restful风格,就是一种面向资源服务的API设计方式,它不是规范,不是标准,它一种设计模 ...

  6. mysql主从同步因断电产生的不能同步问题

    偶尔因为断电导致mysql slave 出现复制错误“Could not parse relay log event entry” Could not parse relay log event en ...

  7. 以K个为一组反转单链表，最后不足K个节点的部分也反转

    package StackMin.ReverseList_offer16; public class ReverseKgroup_extend_offer16 { /** * 分组反转单链表,最后不足 ...

  8. django 表单系统 之 forms.Form

    继承forms.Form实现django表单系统 参考: https://www.cnblogs.com/zongfa/p/7709639.html https://www.cnblogs.com/c ...

  9. Python__return

    return的注意点: return返回的值, 没有任何类型限制 return是函数结束的标志,函数内可以写多个return,但执行一次,函数就立刻结束,并把return后的值作为本次调用的返回值.

  10. Flask（4）- flask请求上下文源码解读、http聊天室单聊/群聊（基于gevent-websocket）

    一.flask请求上下文源码解读 通过上篇源码分析,我们知道了有请求发来的时候就执行了app(Flask的实例化对象)的__call__方法,而__call__方法返回了app的wsgi_app(en ...