python + docker, 实现天气数据从FTP获取以及持久化（四）-- 数据准备

前情提要

在之前的文章里，我们已经掌握从FTP上面下载天气数据然后插入到数据库中。

但是如何将我们已有的数据放到生产环境中呢？

思考

首先，我们先简单的理一理现在的情况。

目前： FTP上面已有半个月的天气数；每天会有2个txt文件产生（每个文件大小约为 50~60 kb），由天气供应商负责上传到FTP上。如图所示：

思路1：

经过简单的测试，每次读取一个txt文件然后写入数据库的时间大约为1s, 因此，可以考虑写一个小工具，从FTP上依次读取所有的txt, 然后插入数据库。也就是利用小工具到现场后再准备数据。

思路2：

直接将数据库文件导出，然后到现场部署的时候导入。

想好了就是干

① 思路1的解决方案

由于之前已经写好了FTP读取以及数据库插入数据的方法，这里只需要简单封装一下，即可满足我们的功能。 ~~~show me the code ~~

def fetch_insert_all_data():

    ftp = FTPUtil('xxx.xxx.xxx.xxx')

    ftp.Login('xxxxxx', 'xxxxxx')

    # create database and tables

    nRet = preparation()

    if nRet != 0:

        print "Connect MySQL DB error!"

        return

    # fetach all data from FTP and insert into database

    for file in ftp.listFiles():

        remote_file = file

        local_file = file

        if ftp.DownLoadFile(local_file, remote_file):

            print "Download file {0} from FTP ok.".format(remote_file)

            list_weather_tumple = decode_weather_from_txt(local_file)

            nRet2 = insert_or_update_weather_data(list_weather_tumple)

            if nRet2 >= 0:

                print "Insert or update weather {0} ok.".format(remote_file)

            else:

                print "Insert or update weather {0} error!".format(remote_file)

            delete_file(local_file)

        else:

            print "Download file {0} from FTP error!".format(remote_file)

    ftp.close();

② 思路2的解决方案

首先，不得不说，虽然这种办法不用撸代码，但是需要 play 数据库啊；经过了不断地尝试以及查找。。。总结如下：

1. 导出数据库表（在 terminal上输入）

# mysqldump   -u root  -p weather_db  weather > /var/lib/mysql/weather.sql

按照提示，输入正确的password, 我们就可以看到导出的文件啦！

2. 导入数据库表

2.1 首先需要进入MySQL命令行

# mysql -u root -pxxxx

2.2 建立数据库

mysql> create database weather_db

mysql> use weather_db

这一点非常重要：因为我们的导出文件是基于数据库表的，数据库表需要依附于数据库

2.3 运行 SQL脚本

这里不得不吐槽一下，网上的童鞋说可以在terminal上面直接执行 SQL文件，但是我这里一直出错！！！

当我 “不小心” （瞎尝试）在MySQL的命令行中运行脚本， where amazing happend !!

OK, 让我们查看一下数据库表和数据，

~大功告成~

总结

总的来说，两种方法各有千秋：

方案1 需要花费更多的时间（收集 1天数据耗时约为 1s）。

方案2 需要我们将数据导入后，也许还需要再做一些插入操作（再插入几天的数据）。

Lastly, 感谢大家的收看，如果有更好建议也欢迎留言交流。