一、pandas的数据结构介绍

Series

Series是由一种类似于一维数组的对象,它由一组数据以及一组与之相关的数据索引构成。仅由一组数据可产生最简单的Series。

obj=Series([4,5,-7,6])

Series字符串表现形式为索引在左边,值在右边。

通过Series的index方法获取索引,values方法获取值。可通过索引的方式获取Series中的单个或者一组值

>>>obj2
a 4
b 7
c -5
d 3
dtype: int64
#可以通过索引的方式获取值
>>> obj2['a']
4

Series的数组运算会保留索引与值的连接

>>> obj2=Series([4,7,-5,3],index=['d','b','a','c'])
>>> obj2
d 4
b 7
a -5
c 3
dtype: int64
>>> obj2[obj2>0]
d 4
b 7
c 3
dtype: int64
>>> obj2*2
d 8
b 14
a -10
c 6
dtype: int64

如果数据存放在一个字典中,可以根据这个字典来创建Series,Series中的索引就是原字典的键,

>>> sdata={'ohio':35000,'texas':71000,'oregon':16000,'utah':5000}
>>> obj3=Series(sdata)
>>> obj3
ohio 35000
oregon 16000
texas 71000
utah 5000
dtype: int64
#如果指定索引,则会找出匹配值

 >>> obj4=Series(sdata,index=['california','ohio','oregon','texas'])
  >>> obj4
  california NaN
  ohio 35000
  oregon 16000
  texas 71000
  dtype: float64

对众多情况而言,Series最重要的功能是在算术运算中会自动对齐不同的索引数据:

>>> obj3+obj4
california NaN
ohio 70000
oregon 32000
texas 142000
utah NaN
dtype: float64

DataFrame

DataFrame是一个表格型的数据结构,它含有一组有序的列,每列可以是不同的值类型(数值,字符串,布尔型)。DateFrame既有行索引也有列索引,可以被看作为由Series组成的字典。

构建DataFrame:

1、直接传入一个由等长列表或numpy数组组成的字典,       

data={'state':['ohio','ohio','ohio','nevada','nevada'],'year':[2000,2001,2002,2001,2002],'pop':[1.5,1.7,3.6,2.4,2.9]}
frame=DataFrame(data)

 >>> frame
     pop state year
  0 1.5 ohio 2000
  1 1.7 ohio 2001
  2 3.6 ohio 2002
  3 2.4 nevada 2001
  4 2.9 nevada 2002

#可指定序列,DataFrame的列会按照指定的顺序进行排列:

>>> DataFrame(data,columns=['year','state','pop'])

 year state pop
  0 2000 ohio 1.5
  1 2001 ohio 1.7
  2 2002 ohio 3.6
  3 2001 nevada 2.4
  4 2002 nevada 2.9

#如果传入的数据找不到,就会NA值

>>> frame2=DataFrame(data,columns=['year','state','pop','debt'],index=['one','two','three','four','five'])

>>> frame2

     year state pop debt
 one 2000 ohio 1.5 NaN
 two 2001 ohio 1.7 NaN
 three 2002 ohio 3.6 NaN
 four 2001 nevada 2.4 NaN
 five 2002 nevada 2.9 NaN

#通过类似字典标记的方式或属性的方式,可,以将DataFrame的列获取为一个Series,返回的Series与原来有相同的索引,且name属性已指定

>>> frame2.year

one 2000
 two 2001
 three 2002
 four 2001
 five 2002
 Name: year, dtype: int64

>>> frame2['state']

one ohio
 two ohio
 three ohio
 four nevada
 five nevada
 Name: state, dtype: object

#行也可以通过位置或名称的方式进行获取比如索引字段ix

>>> frame2.ix['three']

year 2002
 state ohio
 pop 3.6
 debt NaN
 Name: three, dtype: object

#列可以通过赋值的方式进行修改

>>> frame2['debt']=16.5
 >>> frame2

year state pop debt
 one 2000 ohio 1.5 16.5
 two 2001 ohio 1.7 16.5
 three 2002 ohio 3.6 16.5
 four 2001 nevada 2.4 16.5
 five 2002 nevada 2.9 16.5

#为不存在的列赋值会创建出一个新列,关键词del用于删除列

>>> frame2['eastern']=frame2.state=='ohio'

>>> frame2
     year state pop debt eastern
 one 2000 ohio 1.5 16.5 True
 two 2001 ohio 1.7 16.5 True
 three 2002 ohio 3.6 16.5 True
 four 2001 nevada 2.4 16.5 False
 five 2002 nevada 2.9 16.5 False

>>> del frame2['eastern']

>>> frame2
     year state pop debt
 one 2000 ohio 1.5 16.5
 two 2001 ohio 1.7 16.5
 three 2002 ohio 3.6 16.5
 four 2001 nevada 2.4 16.5
 five 2002 nevada 2.9 16.5

2、另一种常见的数据形式是嵌套字典,传入时会将外层字典作为列,内层的的键则作为行索引

>>> pop={'nevada':{2001:2.4,2002:2.9},'ohio':{2000:1.5,2001:1.7,2002:3.6}}
>>> frame3=DataFrame(pop)
>>> frame3
nevada ohio
2000 NaN 1.5
2001 2.4 1.7
2002 2.9 3.6
>>> frame3.T

2000 2001 2002
 nevada NaN 2.4 2.9
 ohio 1.5 1.7 3.6

索引对象介绍

pandas的索引对象负责管理轴标签和其他元数据,构建Series或DataFrame时,所用到的任何数组或其他序列标签都会被转换成一个Index。

>>>obj=Series(range(3),index=['a','b','c'])
>>> index=obj.index
>>> index[1:]
Index([u'b', u'c'], dtype='object')
#index对象不可修改,只有这样才能使index对象在多个数据结构之间安全共享

利用python进行数据分析之pandas库的应用(一)的更多相关文章

  1. 利用python进行数据分析之pandas库的应用(二)

    本节介绍Series和DataFrame中的数据的基本手段 重新索引 pandas对象的一个重要方法就是reindex,作用是创建一个适应新索引的新对象 >>> from panda ...

  2. 利用Python进行数据分析(12) pandas基础: 数据合并

    pandas 提供了三种主要方法可以对数据进行合并: pandas.merge()方法:数据库风格的合并: pandas.concat()方法:轴向连接,即沿着一条轴将多个对象堆叠到一起: 实例方法c ...

  3. 利用Python进行数据分析(9) pandas基础: 汇总统计和计算

    pandas 对象拥有一些常用的数学和统计方法.   例如,sum() 方法,进行列小计:   sum() 方法传入 axis=1 指定为横向汇总,即行小计:   idxmax() 获取最大值对应的索 ...

  4. 利用Python进行数据分析(8) pandas基础: Series和DataFrame的基本操作

    一.reindex() 方法:重新索引 针对 Series   重新索引指的是根据index参数重新进行排序. 如果传入的索引值在数据里不存在,则不会报错,而是添加缺失值的新行. 不想用缺失值,可以用 ...

  5. 利用Python进行数据分析(7) pandas基础: Series和DataFrame的简单介绍

    一.pandas 是什么 pandas 是基于 NumPy 的一个 Python 数据分析包,主要目的是为了数据分析.它提供了大量高级的数据结构和对数据处理的方法. pandas 有两个主要的数据结构 ...

  6. 利用python进行数据分析之pandas入门

    转自https://zhuanlan.zhihu.com/p/26100976 目录: 5.1 pandas 的数据结构介绍5.1.1 Series5.1.2 DataFrame5.1.3索引对象5. ...

  7. 利用Python进行数据分析(10) pandas基础: 处理缺失数据

      数据不完整在数据分析的过程中很常见. pandas使用浮点值NaN表示浮点和非浮点数组里的缺失数据. pandas使用isnull()和notnull()函数来判断缺失情况. 对于缺失数据一般处理 ...

  8. 用python做数据分析4|pandas库介绍之DataFrame基本操作

    原文地址 怎样删除list中空字符? 最简单的方法:new_list = [ x for x in li if x != '' ] 今天是5.1号. 这一部分主要学习pandas中基于前面两种数据结构 ...

  9. 利用Python进行数据分析(14) pandas基础: 数据转换

    数据转换指的是对数据的过滤.清理以及其他的转换操作. 移除重复数据 DataFrame里经常会出现重复行,DataFrame提供一个duplicated()方法检测各行是否重复,另一个drop_dup ...

随机推荐

  1. objective-c 中代码块(blocks)

    在ios4之后,引入了代码块的特性,在gcd中会经常的用到,所以决定好好的看看代码块文档,把这块总结一下.从头开始讲解代码块. 1.声明和使用代码块 一般用^操作符声明一个块变量,并作为块的开始符.而 ...

  2. 浅谈Spring(三)

    一.基础Spring的标准测试 1.导入spring与junit继承的jar 2.引入注解 @RunWith(SpringJUnit4ClassRunner.class) @ContextConfig ...

  3. PHP系列笔记——Zend_Controller工作流程

    Zend_Controller_Front接收请求,然后调用Zend_Controller_Router_Rewrite来决定哪个控制器被派遣.为了在请求中设置控制器和动作名称,Zend_Contro ...

  4. 今年暑假不AC1

    Description "今年暑假不AC?"  "是的."  "那你干什么呢?"  "看世界杯呀,笨蛋!"  " ...

  5. 简单的scrapy实战:爬取腾讯招聘北京地区的相关招聘信息

    简单的scrapy实战:爬取腾讯招聘北京地区的相关招聘信息 简单的scrapy实战:爬取腾讯招聘北京地区的相关招聘信息 系统环境:Fedora22(昨天已安装scrapy环境) 爬取的开始URL:ht ...

  6. Main方法中传入参数

    ↓ 这个时候会报错: Instantiate the class:DonutShop java.lang.ClassNotFoundException: DonutShop    at java.ne ...

  7. xStream完美转换XML、JSON_java

    http://www.cnblogs.com/hoojo/archive/2011/04/22/2025197.html

  8. C语言复合梯形公式实现定积分

    假设被积函数为   f x ,积分区间为   , a b ,把区间   , a b 等分成 n 个小区间, 各个区间的长度为 h ,即   / h b a n   ,称之为“步长” ...

  9. Word2Vec在Tensorflow上的版本以及与Gensim之间的运行对比

    接昨天的博客,这篇随笔将会对本人运行Word2Vec算法时在Gensim以及Tensorflow的不同版本下的运行结果对比.在运行中,参数的调节以及迭代的决定本人并没有很好的经验,所以希望在展出运行的 ...

  10. 共享内存(shared memory)

    共享内存指在多处理器的计算机系统中,可以被不同中央处理器(CPU)访问的大容量内存.由于多个CPU需要快速访问存储器,这样就要对存储器进行缓存(Cache). 任何一个缓存的数据被更新后,由于其他处理 ...