DataFrame的构建及一些操作
一、DataFrame构建
1.用多个列表构建
#构建DataFrame
#self._stkpool_uni、codes、end_date(这些list用append填充值,保证各个list中元素个数一致)
dfData = {"STK_UNI_CODE":self._stkpool_uni, "STK_CODE":codes, "END_DATE":end_date,
"SCORE_FAC":score, "DIS_FAC":descri, "RAT_FAC":star, "MAC_FAC":mac}
df = pd.DataFrame(data=dfData)
2.用一个列表构建(其中列表元素为dict,dict的值来自tuple)
findata_list = [] #定义一个空list
for res in query_Object: #res是元组
dict_fin = {} #定义一个空dict
for arr in range(0,len(res)): #for循环元组
dict_fin[columns[arr]] = res[arr] #给dict填值
findata_list.append(dict_fin) #给list填值
dfQuery = pd.DataFrame(findata_list) #通过list构建DataFrame
二、DataFrame一系列小操作总结
1.DataFrame排序
①.根据列值排序(sort_values)
df_return = df_return.sort_values(['date', 'gpcode'], ascending=[0,1]) # 排序,0倒序,1正序
②.根据索引值排序(sort_index)
dfSort = dfSort.sort_index(ascending=False)
2.DataFrame query
strsql = "index <= '{0}'".format(date)
df_entrydate = dfSort.query(strsql)
3.DataFrame取值
①根据已知索引取值(ix)
res= dfQuery.ix[index]
②取一段数据块(iloc)
ret = copy.copy(df_entrydate.iloc[:1]) #取dataframe第一行数据
4.DataFrame更改某列的某一个值(loc[索引值,列名])
df_stopdate.loc[df_stopdate.index, "date"] = dict_stopdate[key]
5.DataFrame设置索引(set_index)
①df_return = df_return.set_index('a', 'b')
②
import copy
ret = copy.copy(df_entrydate.iloc[:1]) #取dataframe第一行数据
ret.index=[[gpcode],[date]]
ret.index.names=["gpcode","date"]
df_return = df_return.append(ret)
6.DataFrame取一列索引的值
①一重索引取值
df.index.tolist()
②多重索引取值(df.index.get_level_values('列名'))
dfQuery.index.get_level_values('gpcode')
7.DataFrame删除某一列(del)
del(df_entrydate["gpcode"])
未完待续。。。
DataFrame的构建及一些操作的更多相关文章
- Jenkins环境搭建(5)-与Jmeter完成参数化构建和构建前删除操作
此前介绍过几篇关于Jenkins配置相关的文章,今天再来说说参数化构建和构建前删除已有的报告.在实际测试过程中,是需要测试几套环境的,不使用参数化构建的话,构建脚本就比较麻烦了:自然,已生成的报告,不 ...
- [转]python中pandas库中DataFrame对行和列的操作使用方法
转自:http://blog.csdn.net/u011089523/article/details/60341016 用pandas中的DataFrame时选取行或列: import numpy a ...
- pandas 学习 第7篇:DataFrame - 数据处理(应用、操作索引、重命名、合并)
DataFrame的这些操作和Series很相似,这里简单介绍一下. 一,应用和应用映射 apply()函数对每个轴应用一个函数,applymap()函数对每个元素应用一个函数: DataFrame. ...
- python中pandas库中DataFrame对行和列的操作使用方法
用pandas中的DataFrame时选取行或列: import numpy as np import pandas as pd from pandas import Sereis, DataFram ...
- Mybatis项目构建和CURD操作
Mybatis入门 一.使用SqlSession对象创建Dao接口代理对象进行持久化操作 1.使用maven构建java项目 2.修改pom.xml配置,添加所需jar包坐标 <?xml ver ...
- Spark操作dataFrame进行写入mysql,自定义sql的方式
业务场景: 现在项目中需要通过对spark对原始数据进行计算,然后将计算结果写入到mysql中,但是在写入的时候有个限制: 1.mysql中的目标表事先已经存在,并且当中存在主键,自增长的键id 2. ...
- SparkR(R on Spark)编程指南 含 dataframe操作 2.0
SparkR(R on Spark)编程指南 Spark 2015-06-09 28155 1评论 下载为PDF 为什么不允许复制 关注iteblog_hadoop公众号,并在这里评论区留言 ...
- SparkR(R on Spark)编程指南 含 dataframe操作
SparkR(R on Spark)编程指南 Spark 2015-06-09 28155 1评论 下载为PDF 为什么不允许复制 关注iteblog_hadoop公众号,并在这里评论区留言 ...
- Spark-SQL之DataFrame操作大全
Spark SQL中的DataFrame类似于一张关系型数据表.在关系型数据库中对单表或进行的查询操作,在DataFrame中都可以通过调用其API接口来实现.可以参考,Scala提供的DataFra ...
随机推荐
- hdu 2795 段树--点更新
http://acm.hdu.edu.cn/showproblem.php?pid=2795 在第一和第三多学校都出现线段树,我在比赛中并没有这样做.,热身下,然后31号之前把那两道多校的线段树都搞了 ...
- MVC无刷新分页
MVC无刷新分页(即局部刷新,带搜索,页数选择,排序功能) 我查看了很多网站,大部分评论分页都是局部刷新的,可大部分电商商品展示分页都是有刷新页面的,于是我便做了一个商品展示无刷新分页的例子.接下 ...
- QualityCenter的备份
1.停止QC Server:2.备份Domain repository,它囊括每个项目的大量数据(包括自动化测试数据.附件.设置和格式表单等).要想知道某个项目所使用的数据库的名字,可以在Site A ...
- Effective C++(13) 用对象管理资源
问题聚焦: 从这条准则开始,都是关于资源管理的. 资源,一旦用了它,将来必须还给系统. 本条准则,基于对象的资源管理办法,建立在C++的构造函数,析构函数和拷贝函数(拷贝构造函数和重载赋值操作符)的基 ...
- linux下的中文编码问题
很多linux的初学者都会碰到这样一个问题:把windows下的文档拷到linux系统,会出现乱码!其实这涉及到中文编码的问题.linux系统默认的是统一码(utf8).而如果你的文件是big5,显然 ...
- Redis for Windows(C#缓存)配置文件详解
Redis for Windows(C#缓存)配置文件详解 前言 在上一篇文章中主要介绍了Redis在Windows平台下的下载安装和简单使用http://www.cnblogs.com/aehy ...
- Code First 启用迁移时出错 HRESULT:0x80131040
问题:Enable-Migrations 使用“8”个参数调用“CreateInstanceFrom”时发生异常 (异常来自 HRESULT:0x80131040) PM> Enable-Mig ...
- Linux下获取硬盘使用情况
Linux下获取硬盘使用情况[总结] 1.前言 在嵌入式设备中,硬盘空间非常有限,在涉及到经常写日志的进程时候,需要考虑日志的大小和删除,不然很快就硬盘写满,导致日志程序崩溃.为了捕获硬盘写满的异常场 ...
- 异步执行Dos命令
//Minute const ; /// <summary> /// 执行命令行 /// </summary> /// <param name="cmdLine ...
- Lucene学习-深入Lucene分词器,TokenStream获取分词详细信息
Lucene学习-深入Lucene分词器,TokenStream获取分词详细信息 在此回复牛妞的关于程序中分词器的问题,其实可以直接很简单的在词库中配置就好了,Lucene中分词的所有信息我们都可以从 ...