pandas之系列操作(一)
1.读Excel:
# coding=utf-8
import pandas as pd
import pymysql
sql_select =" xxxxx "
con = pymysql.connect(host="xxxx", user="xxx", passwd="xxxx", db="xxxx", charset='utf8',port=5366)
df1 = pd.read_excel(r'D:\1.xls',header=None,sep=',')
con.close()
2.写Excel:
# coding=utf-8
import pandas as pd
import pymysql
sql_select =" xxx "
con = pymysql.connect(host="xxx", user="xx", passwd="xxx", db="xxx", charset='utf8',port=5366)
df = pd.read_sql(sql_select,con)
con.close()
with pd.ExcelWriter(r'D:\2.xls') as writer:
df.to_excel(writer,sheet_name ='',encoding = 'utf-8', index = False,header=False)
3.写入 Mysql:
# coding=utf-8
from sqlalchemy import create_engine
import pandas as pd
import sys
reload(sys)
sys.setdefaultencoding('utf8')
host = 'xx'
port = 5366
db = 'xxx'
user = 'xx'
password = 'xxx' engine = create_engine(str(r"mysql+mysqldb://%s:" + '%s' + "@%s:%s/%s?charset=utf8") % (user, password, host, port,db))
print(engine)
try:
df = pd.read_excel(r'D:\2.xls') print(df) pd.io.sql.to_sql(df,'app_errortest',con=engine,if_exists='append',index=False,chunksize=10000)
except Exception as e:
print(e.message)
4.根据周统计数据
# coding=utf-8
import pandas as pd
import pymysql
import numpy as np
from pandas import Series,DataFrame
from datetime import datetime
sql_select =" select id, DataChange_LastTime from`app01_student` "
con = pymysql.connect(host="127.0.0.1", user="root", passwd="", db="test", charset='utf8',port=3306)
df = pd.read_sql(sql_select,con)
con.close()
df['DataChange_LastTime'] =pd.to_datetime(df['DataChange_LastTime']) #转化为DatetimeIndex格式
df =df.set_index('DataChange_LastTime')#设置索引 # print(type(df))
# print(df.index)
# print(type(df.index))
# print(df.shape) #查看几行几列
rs=df.resample('w').count()
n = rs.to_dict('split')['index']
v = rs.to_dict(orient="list")['id']
name =[]
value=[]
for i in n:
i=i.to_pydatetime()
i =datetime.strftime(i,'%Y-%m-%d')
name.append(i)
for i in v:
i =int(i)
value.append(i) print(name)
print(value)
5.pandas 将Excel转换字典
#! /usr/bin/env python
# coding=utf-8
import pandas as pd
df =pd.read_excel(r'D:\pandas.xls') #字典形式
res = df.to_dict(orient="records") #大字典嵌套小字典
res = df.to_dict()
print res
pandas之系列操作(一)的更多相关文章
- pandas的apply操作
pandas的apply操作类似于Scala的udf一样方便,假设存在如下dataframe: id_part pred pred_class v_id 0 d [0.722817, 0.650064 ...
- Jquery全选系列操作(锋利的jQuery)
Jquery全选系列操作(锋利的jQuery) <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml" ...
- Pandas的基础操作(一)——矩阵表的创建及其属性
Pandas的基础操作(一)——矩阵表的创建及其属性 (注:记得在文件开头导入import numpy as np以及import pandas as pd) import pandas as pd ...
- python数据结构:pandas(2)数据操作
一.Pandas的数据操作 0.DataFrame的数据结构 1.Series索引操作 (0)Series class Series(base.IndexOpsMixin, generic.NDFra ...
- Pandas的拼接操作
pandas的拼接操作 pandas的拼接分为两种: 级联:pd.concat, pd.append 合并:pd.merge, pd.join import pandas as pd import n ...
- C#对字典Dictionary 的添加,遍历,移除系列操作
C#对字典Dictionary 的添加,遍历,移除系列操作: //一.创建泛型哈希表,然后加入元素 Dictionary<string, string> oscar = new Dicti ...
- (四)pandas的拼接操作
pandas的拼接操作 #重点 pandas的拼接分为两种: 级联:pd.concat, pd.append 合并:pd.merge, pd.join 0. 回顾numpy的级联 import num ...
- 数据分析05 /pandas的高级操作
数据分析05 /pandas的高级操作 目录 数据分析05 /pandas的高级操作 1. 替换操作 2. 映射操作 3. 运算工具 4. 映射索引 / 更改之前索引 5. 排序实现的随机抽样/打乱表 ...
- pandas 写csv 操作
pandas 写csv 操作 def show_history(self): df = pd.DataFrame() df['Time'] = pd.Series(self.time_hist) df ...
随机推荐
- 20165231 2017-2018-2《Java程序设计》课程总结
每周作业链接汇总 预备作业一:我期待的师生关系 预备作业二:学习基础和C语言基础调查 预备作业三:linux安装及学习 第一周作业:初识JAVA,注册码云并配置Git 第二周作业:JAVA基本语法,标 ...
- 2017-2018-2 20165231 实验四 Android程序设计
实验报告封面 课程:Java程序设计 班级:1652班 姓名:王杨鸿永 学号:20165231 指导教师:娄嘉鹏 实验日期:2018年5月14日 实验时间:15:25 - 17:15 实验序号:实验四 ...
- 关于boost中enable_shared_from_this类的原理分析
首先要说明的一个问题是:如何安全地将this指针返回给调用者.一般来说,我们不能直接将this指针返回.想象这样的情况,该函数将this指针返回到外部某个变量保存,然后这个对象自身已经析构了,但外部变 ...
- zabbix3.0.4利用iostat工具监控centos主机磁盘IO
该监控基于iostat,然后iostat 命令用来监视系统输入/输出设备负载 1.安装IOSTAT工具 # yum install sysstat -y 测试iostat 查看所有硬盘io # ios ...
- mysql生成数据字典
git clone https://github.com/twindb/undrop-for-innodb.git make [root@redis01 undrop-for-innodb]# mak ...
- Mysql 数据库增删改查
数据插入 语法:INSERT INTO Table_name(field1,field2……fieldN) values(value1,vlaue2,…valueN) 单行插入用户类型 INSERT ...
- CentOS 7安装Python3.5
CentOS 7下安装Python3.5 •安装python3.5可能使用的依赖 yum install openssl-devel bzip2-devel expat-devel gdbm-deve ...
- Tp5自定义标签
'taglib_build_in' => 'cx,tags', // 内置标签库名称(标签使用不必指定标签库名称),以逗号分隔 注意解析顺序 <?php namespace thin ...
- web.xml详细选项配置
Web.xml常用元素 <web-app> <display-name></display-name>定义了WEB应用的名字 <description> ...
- PHP 转义
函数名 释义 介绍 htmlspecialchars 将与.单双引号.大于和小于号化成HTML格式 &转成&"转成"' 转成'<转成<>转成> ...