python + docker, 实现天气数据 从FTP获取以及持久化(二)-- python操作MySQL数据库
前言
在这一节中,我们主要介绍如何使用python操作MySQL数据库。
准备
MySQL数据库使用的是上一节中的docker容器 “test-mysql”.
Python 操作 MySQL
我们使用的IDE是 “神奇” 的 pycharm:
1. 首先新建一个python的项目,并且安装 “mysql-connector-python”。
“mysql-connector-python” 是MySQL官方对于python的数据驱动,感兴趣的童鞋可以移步这里: https://dev.mysql.com/doc/connector-python/en/
2. 创建 MySQLUtil.py
基于上一节的介绍,我们的任务是要读取FTP上的文本文件,从中解析出天气数据,并且插入到数据库表中(持久化)。因此,我们将基本的数据库操作都封装到这个python 文件中。
3. 准备工作 -- 在第一次连接的时候需要DDL操作(创建相应的数据库和表); 之后的的操作是DML(增/删/改/查)
# -*- coding: utf-8 -*- from __future__ import print_function import mysql.connector
from mysql.connector import errorcode config_prepare = {
'user': 'root',
'password': 'password',
'host': '127.0.0.1',
#'database': 'weather_db',
'raise_on_warnings': True,
} config_op = {
'user': 'root',
'password': 'password',
'host': '127.0.0.1',
'database': 'weather_db',
#'raise_on_warnings': True,
} def preparation(db_name='weather_db', table_name='weather'):
try:
cnx = mysql.connector.connect(**config)
except mysql.connector.Error as err:
print(err)
return (-1) # try use db or create it
try:
cursor = cnx.cursor()
cursor.execute("CREATE DATABASE IF NOT EXISTS {} DEFAULT CHARACTER SET 'UTF8MB4'".format(db_name))
cnx.database = db_name
except mysql.connector.Error as err:
print(err)
#return (-2) # Create table if not exist
try:
cnx.database = db_name
cursor = cnx.cursor()
createTableSql = """CREATE TABLE IF NOT EXISTS `weather` ( \
`weather_timestamp` varchar(32) NOT NULL, \
`weather_data` varchar(256) NOT NULL, \
PRIMARY KEY (`weather_timestamp`) \
) ENGINE=InnoDB;""" cursor.execute(createTableSql)
cursor.close()
except mysql.connector.errorcode as err:
print(err.msg)
return (-3) print ("Preparation OK") return (0)
4. 插入或更新数据
def insert_or_update_weather_data(datas):
sql = "INSERT INTO weather(weather_timestamp, weather_data) " \
"VALUES(%s,%s)" \
"ON DUPLICATE KEY UPDATE weather_data = VALUES(weather_data);" try:
cnx = mysql.connector.connect(**config_op) cursor = cnx.cursor()
cursor.executemany(sql, datas) cnx.commit() except mysql.connector.errorcode as e:
print('Error:', e)
return (-1) finally:
cursor.close()
cnx.close() return (0)
PS: 由于天气数据是由供应商提供,提供的方式是 每日两次(早上8点;下午5点)放到FTP上面,每次提供7天的天气预报。 因此,当我们读取天气数据的时候,有一段时间的数据是重合的。因此采用插入或更新 (表中没有天气数据时:插入; 有数据时:更新)的方式来处理。
5. 根据时间条件,读取天气数据
def query_weather_data(begin_time_stamp, end_time_stamp): sql = "SELECT weather_timestamp, weather_data FROM weather " \
"WHERE weather_timestamp BETWEEN %s AND %s;" try:
cnx = mysql.connector.connect(**config_op) cursor = cnx.cursor()
# The second parameter must be a tuple that contains all the delimeters cursor.execute(sql, (begin_time_stamp, end_time_stamp))
rows = cursor.fetchall() return rows except mysql.connector.errorcode as e:
print('Error:', e)
return [] finally:
cursor.close()
cnx.close()
6. 最后附上测试代码
if __name__ == '__main__':
print("=== Unit test begin ===") # Test prepareation
nRet = preparation() # Test insert or update datas in 'weather' table
datas1 = (
('', '0.0 0.0 0.0 16.461 95.163 6.038 97.493 1013.791'),
('', '0.0 0.0 0.0 16.347 95.532 6.046 97.606 1013.713'),
('', '0.0 0.0 0.0 16.233 95.901 6.055 97.719 1013.634'),
('', '0.0 0.0 0.0 16.139 96.269 6.063 97.832 1013.556'),
)
nRet1 = insert_or_update_weather_data(datas1) datas2 = ( ('', '{data1:0.0, data2:0.0, data3:0.0, data4:16.233, data5:95.901, data6:6.055, data7:97.719, data8:1013.030}'),
('', '{data1:0.0, data2:0.0, data3:0.0, data4:11.111, data5:93.901, data6:6.099, data7:97.700, data8:1013.045}'),
)
nRet2 = insert_or_update_weather_data(datas2) # Test query data from 'weather' table
ret_list = query_weather_data('', '')
if len(ret_list) == 0:
print ("No data queried out.")
else:
for timestamp, data in ret_list:
print ('timestamp:%s data:%s' %(timestamp, data)) print("=== Unit test done ===")
小结
至此,我们操作MySQL的工具代码就全部编写完成。 在下一节中,我们将着重FTP部分的说明。
感谢大家的收看,欢迎积极留言讨论~~
python + docker, 实现天气数据 从FTP获取以及持久化(二)-- python操作MySQL数据库的更多相关文章
- python + docker, 实现天气数据 从FTP获取以及持久化(一)
前情提要 最近项目需要天气数据(预报和历史数据)来作为算法程序的输入. 项目的甲方已经购买了天气数据, 依照他们的约定,天气数据的供应商会将数据以"文本" (.TXT)的方式发到F ...
- python + docker, 实现天气数据 从FTP获取以及持久化(五)-- 利用 Docker 容器化 Python 程序
背景 不知不觉中,我们已经完成了所有的编程工作.接下来,我们需要把 Python 程序 做 容器化 (Docker)部署. 思考 考虑到项目的实际情况,“持久化天气”的功能将会是一个独立的功能模块发布 ...
- python + docker, 实现天气数据 从FTP获取以及持久化(四)-- 数据准备
前情提要 在之前的文章里,我们已经掌握从FTP上面下载天气数据然后插入到数据库中. 但是如何将我们已有的数据放到生产环境中呢? 思考 首先,我们先简单的理一理现在的情况. 目前: FTP上面已有半个月 ...
- python + docker, 实现天气数据 从FTP获取以及持久化(三)-- python获取FTP数据
前言 经过前面两个小节的介绍,我们已经完成了MySQL数据库的搭建和数据库操作的事宜. 在本小节中,我们需要完成的任务是:使用python从FTP服务其上面获取文本文件. 搭建测试FTP服务器 LZ的 ...
- 毕设之Python爬取天气数据及可视化分析
写在前面的一些P话:(https://jq.qq.com/?_wv=1027&k=RFkfeU8j) 天气预报我们每天都会关注,我们可以根据未来的天气增减衣物.安排出行,每天的气温.风速风向. ...
- Dapper操作MySQL数据库获取JSON数据中文乱码
前言 在项目中利用Dapper将JSON数据存储到MySQL数据库,结果发现JSON数据中的中文乱码,特此记录,希望对存储JSON的童鞋能有所帮助,文中若有错误之处,还望批评指正. Dapper获取J ...
- python操作mysql数据库的相关操作实例
python操作mysql数据库的相关操作实例 # -*- coding: utf-8 -*- #python operate mysql database import MySQLdb #数据库名称 ...
- python【第十二篇下】操作MySQL数据库以及ORM之 sqlalchemy
内容一览: 1.Python操作MySQL数据库 2.ORM sqlalchemy学习 1.Python操作MySQL数据库 2. ORM sqlachemy 2.1 ORM简介 对象关系映射(英语: ...
- 使用python操作mysql数据库
这是我之前使用mysql时用到的一些库及开发的工具,这里记录下,也方便我查阅. python版本: 2.7.13 mysql版本: 5.5.36 几个python库 1.mysql-connector ...
随机推荐
- BZOJ 1269 【AHOI2006】 文本编辑器
题目链接:文本编辑器 这道题没啥好说的,直接上\(Splay\)就行了,板子题…… 但是我某个地方忘了下放标记导致调了一晚上 听说有个东西叫\(rope\)可以直接过?然而我并不会 保存一发板子: # ...
- 解决Error: ENOENT: no such file or directory, scandir 安装node-sass报错
新项目开发需要安装依赖,但是安装完之后通过gulp运行项目,产生了一下的报错: 解决方案是执行一些方法: npm rebuild node-sass 可是有时就是网络问题导致上面命令安装失败,查下失败 ...
- [java]java String.split()函数的用法分析
转自:http://swiftlet.net/archives/709 一.在java.lang包中有String.split()方法的原型是: public String[] split(Strin ...
- session放数据库里解决丢失的问题
在编程里是会话的意思Session 对象存储特定用户会话所需的信息.这样,当用户在应用程序的 Web 页之间跳转时,存储在 Session 对象中的变量将不会丢失,而是在整个用户会话中一直存在下去. ...
- Sum Problem
2018-04-22 19:59:52 Sum系列的问题是Leetcode上的一个很经典的系列题,这里做一个简单的总结. 167. Two Sum II - Input array is sorted ...
- Ant是什么
Ant是什么? 一.总结 一句话总结: 编译 打包 测试 工具 xml Ant是Java的生成工具,是Apache的核心项目: Ant类似于Unix中的Make工具,都是用来编译.生成: Ant是跨平 ...
- 安装pip最简单的方法
http://blog.csdn.net/lyj_viviani/article/details/70568434
- canvas实现的时钟效果
最近在网上看到了一个css3实现的可爱时钟,觉得很nice,然后就想着用canvas试试实现这个时钟效果. 首先,要实现时钟需要先计算时钟上的数字应该占整个圆的大小. 因为一个圆是360度,所以数字之 ...
- CF 920
t1 随便乱搞 t2 随便乱搞 然后wa了三发,QAQ t3 随便乱搞 t4 邻接表+堆 对进出进行一个统计 然后时间到了...
- android中string.xml中%一$s、%1$d等的用法
%n$ms:代表输出的是字符串,n代表是第几个参数,设置m的值可以在输出之前放置空格 %n$md:代表输出的是整数,n代表是第几个参数,设置m的值可以在输出之前放置空格,也可以设为0m,在输出之前放置 ...