python时间序列数据的对齐和数据库的分批查询

欲直接下载代码文件，关注我们的公众号哦！查看历史消息即可！

0. 前言

在机器学习里，我们对时间序列数据做预处理的时候，经常会碰到一个问题：有多个时间序列存在多个表里，每个表的的时间轴不完全相同，要如何把这些表在时间轴上进行对齐，从而合并成一个表呢？尤其是当这些表都存在数据库里，而且超级超级大的时候，怎样才能更高效地处理呢？

在上一篇文章中，已经介绍过了如何在Python中创建数据库连接以及对数据库进行增删改查、分组聚合以及批量读取和处理等操作。

今天就以上面的问题为导向，手把手教你如何用Python一步步实现相应的功能。讲解的内容主要有：

1. 如何实现两个有序序列的合并；

2. 延伸到两个时间序列数据的对齐；

3. 从数据库中自动循环分批读取数据。

需要掌握的主要编程技巧包括：

• 用函数实现特定功能

• 用类对功能进行封装

• 实现基本的迭代器

使用的工具及版本：Python3.7，MySQL8.0， Jupyter Notebook

1. 有序序列的合并

本节主要介绍如何实现将2个有序（默认从小到大排序）序列合并成一个序列，同时介绍Python中基本的循环结构。

其实在Python中固然有相应的方法可以很容易地做到（例如集合的set.union()方法），这里之所以要自己实现，主要是要理解这种思想，为后文的功能实现做铺垫。

1.1 Python知识点之条件测试

if 语句的语法结构为：

if boolean_expression1: #如果满足条件1，则执行suite1代码块
    suite1
elif boolean_expression2: #如果满足条件2，则执行suite2代码块
    suite2
else: #否则执行else_suite代码块
    else_suite

其中elif和else为可选。

1.2 Python知识点之循环控制

1.2.1 while循环

(1) 循环机制及应用场景

• 用于编写通用迭代结构

• 顶端测试为真时执行循环体，并会重复多次测试直到为假后结束循环

(2) 语法格式

while boolean_expression: #如果测试为真，则执行while_suite代码块（循环执行）
    while_suite
else: #直到测试为假，则执行一遍else_suite代码块之后结束循环
    else_suit

其中else为可选。

1.2.2 for 循环

（1）循环机制及应用场景

• 通用的序列迭代器，用于遍历任何有序的序列对象内的元素

• 可用于字符串、元组、列表和其它的内置可迭代对象，以及通过类所创建的新对象

（2）语法格式

for expression in iterable:
    for_suite
else:
    else_suite

其中else为可选。