pandas之系列操作(一)
1.读Excel:
- # coding=utf-8
- import pandas as pd
- import pymysql
- sql_select =" xxxxx "
- con = pymysql.connect(host="xxxx", user="xxx", passwd="xxxx", db="xxxx", charset='utf8',port=5366)
- df1 = pd.read_excel(r'D:\1.xls',header=None,sep=',')
- con.close()
2.写Excel:
- # coding=utf-8
- import pandas as pd
- import pymysql
- sql_select =" xxx "
- con = pymysql.connect(host="xxx", user="xx", passwd="xxx", db="xxx", charset='utf8',port=5366)
- df = pd.read_sql(sql_select,con)
- con.close()
- with pd.ExcelWriter(r'D:\2.xls') as writer:
- df.to_excel(writer,sheet_name ='',encoding = 'utf-8', index = False,header=False)
3.写入 Mysql:
- # coding=utf-8
- from sqlalchemy import create_engine
- import pandas as pd
- import sys
- reload(sys)
- sys.setdefaultencoding('utf8')
- host = 'xx'
- port = 5366
- db = 'xxx'
- user = 'xx'
- password = 'xxx'
- engine = create_engine(str(r"mysql+mysqldb://%s:" + '%s' + "@%s:%s/%s?charset=utf8") % (user, password, host, port,db))
- print(engine)
- try:
- df = pd.read_excel(r'D:\2.xls')
- print(df)
- pd.io.sql.to_sql(df,'app_errortest',con=engine,if_exists='append',index=False,chunksize=10000)
- except Exception as e:
- print(e.message)
4.根据周统计数据
- # coding=utf-8
- import pandas as pd
- import pymysql
- import numpy as np
- from pandas import Series,DataFrame
- from datetime import datetime
- sql_select =" select id, DataChange_LastTime from`app01_student` "
- con = pymysql.connect(host="127.0.0.1", user="root", passwd="", db="test", charset='utf8',port=3306)
- df = pd.read_sql(sql_select,con)
- con.close()
- df['DataChange_LastTime'] =pd.to_datetime(df['DataChange_LastTime']) #转化为DatetimeIndex格式
- df =df.set_index('DataChange_LastTime')#设置索引
- # print(type(df))
- # print(df.index)
- # print(type(df.index))
- # print(df.shape) #查看几行几列
- rs=df.resample('w').count()
- n = rs.to_dict('split')['index']
- v = rs.to_dict(orient="list")['id']
- name =[]
- value=[]
- for i in n:
- i=i.to_pydatetime()
- i =datetime.strftime(i,'%Y-%m-%d')
- name.append(i)
- for i in v:
- i =int(i)
- value.append(i)
- print(name)
- print(value)
5.pandas 将Excel转换字典
- #! /usr/bin/env python
- # coding=utf-8
- import pandas as pd
- df =pd.read_excel(r'D:\pandas.xls') #字典形式
- res = df.to_dict(orient="records") #大字典嵌套小字典
- res = df.to_dict()
- print res
pandas之系列操作(一)的更多相关文章
- pandas的apply操作
pandas的apply操作类似于Scala的udf一样方便,假设存在如下dataframe: id_part pred pred_class v_id 0 d [0.722817, 0.650064 ...
- Jquery全选系列操作(锋利的jQuery)
Jquery全选系列操作(锋利的jQuery) <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml" ...
- Pandas的基础操作(一)——矩阵表的创建及其属性
Pandas的基础操作(一)——矩阵表的创建及其属性 (注:记得在文件开头导入import numpy as np以及import pandas as pd) import pandas as pd ...
- python数据结构:pandas(2)数据操作
一.Pandas的数据操作 0.DataFrame的数据结构 1.Series索引操作 (0)Series class Series(base.IndexOpsMixin, generic.NDFra ...
- Pandas的拼接操作
pandas的拼接操作 pandas的拼接分为两种: 级联:pd.concat, pd.append 合并:pd.merge, pd.join import pandas as pd import n ...
- C#对字典Dictionary 的添加,遍历,移除系列操作
C#对字典Dictionary 的添加,遍历,移除系列操作: //一.创建泛型哈希表,然后加入元素 Dictionary<string, string> oscar = new Dicti ...
- (四)pandas的拼接操作
pandas的拼接操作 #重点 pandas的拼接分为两种: 级联:pd.concat, pd.append 合并:pd.merge, pd.join 0. 回顾numpy的级联 import num ...
- 数据分析05 /pandas的高级操作
数据分析05 /pandas的高级操作 目录 数据分析05 /pandas的高级操作 1. 替换操作 2. 映射操作 3. 运算工具 4. 映射索引 / 更改之前索引 5. 排序实现的随机抽样/打乱表 ...
- pandas 写csv 操作
pandas 写csv 操作 def show_history(self): df = pd.DataFrame() df['Time'] = pd.Series(self.time_hist) df ...
随机推荐
- jenkins服务器上安装配置Android SDK
1.下载Android SDK http://tools.android-studio.org/index.php/sdk/ 我下载的是:android-sdk_r24.4.1-linux.tgz ...
- 如何在Delphi 中使用 DevExpressVCL的 CxGrid与CxTreeList,编辑某列后计算另一列的值
如何在Delphi 中使用 DevExpressVCL的 CxGrid与CxTreeList,编辑某列后计算另一列的值:比如 输入 单价,数量,计算金额. 参考: 1. 输入 单价,数量,计算金额 ...
- 移动硬盘和u盘的区别
移动硬盘和U盘都属于便携性存储器,用于计算机之间的数据交换.但移动硬盘和U盘的区别还是非常大的,包括内部构造.容量以及整体外观上. 移动硬盘又分为机械移动硬盘和固态移动硬盘两种,主要区别在于内置的存储 ...
- 在本地SharePoint 2013 搭建App开发环境
1.环境描述: SharePoint服务器: Windows Server 2012 R2+SharePoint 2013 IP:192.168.1.180,域控:ser.com 开发环境: Wind ...
- Linux Free命令每个数字的含义 和 cache 、buffer的区别
Linux Free命令每个数字的含义 和 cache .buffer的区别 我们按照图中来一细细研读(数字编号和图对应)1,total:物理内存实际总量2,used:这块千万注意,这里可不是实际已经 ...
- Light OJ 1095
题意: 给你 N 个数, 总共有 N! 种排列, 现在 要你统计前 M 个数 刚好 有K 个数 在原来的位置上 的排列个数 思路: 首先 M 中选 K C(m,k): 则 共 剩下 n - k 个数, ...
- 【原创】大叔经验分享(41)hdfs开启kerberos之后报错Encryption type AES256 CTS mode with HMAC SHA1-96 is not supported/enabled
hdfs开启kerberos之后,namenode报错,连不上journalnode 2019-03-15 18:54:46,504 WARN org.apache.hadoop.security.U ...
- Java实现三大简单排序算法
一.选择排序 public static void main(String[] args) { int[] nums = {1,2,8,4,6,7,3,6,4,9}; for (int i=0; i& ...
- JS将图片转换成Base64码
直接上代码 html页面代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset= ...
- Python-视图 触发器 事务 存储过程
1.视图2.触发器*** 在某个时间发生了某个事件时 会自动触发一段sql语句3.事务*****4.存储过程***** 5.函数6.备份与恢复*** mysqldump -u -p (库名 [表名] ...