hadoop项目实战--ETL--（二）实现自动向mysql中添加数据

四 项目开发

1 创建数据库db_etl,新建两张表user 和oder。表结构如第一部分图所示。

2 编写python脚本，实现自动向mysql中插入数据。

新建python 项目，目录结构如下图

编写代码如下：

# _*_ coding:UTF- _*_
'''
Created on 2016年12月1日

@author: duking
'''
import MySQLdb
import random,string
import time
import threading
'''
数据库连接
'''
def ConnMysql():
    #连接数据库
    conn = MySQLdb.connect(host = "192.168.0.154", user = 'root', passwd = '', db = 'db_etl', charset = 'utf8')
    cursor = conn.cursor()
    return conn,cursor

'''
插入user数据
'''
def AddUserInfo(username,passwd):

    conn,cursor = ConnMysql()

    sql = "insert into userinfo(username,passwd) values(%s,%s)"

    param = (username,passwd)

    cursor.execute(sql,param)

    conn.commit()
    cursor.close()
    conn.close()

'''
插入order数据
'''
def AddOderInfo(warename,price):

    conn,cursor = ConnMysql()

    sql = "insert into oderinfo(warename,price) values(%s,%s)"

    param = (warename,price)

    cursor.execute(sql,param)

    conn.commit()
    cursor.close()
    conn.close()

'''
随机产生字符串
'''
def Random_Str(randomlength):
    a = list(string.ascii_letters)
    random.shuffle(a)
    return ''.join(a[:randomlength])

#随机生成订单信息
def MakeOderInfo(threadname):
    while(True):
        #随机10~100秒生成一条Oder信息
        time.sleep(random.randint(,))
        AddOderInfo(Random_Str(random.randint(,)),float(round(random.uniform(,),)))
        print threadname + ':a new OderInfo is Maked    ' + time.ctime(time.time())

#随机生成用户信息
def MakeUserInfo(threadname):
    while(True):
        time.sleep(random.randint(,))
        AddUserInfo(Random_Str(random.randint(,)),Random_Str(random.randint(,)))
        print threadname + ':a new UserInfo is Maked    ' +time.ctime(time.time())

#python 模块的入口：main函数
if __name__ == '__main__':

    #多线程
    thread_1 = threading.Thread(target=MakeOderInfo,args=('thread_1', ))
    thread_2 = threading.Thread(target=MakeUserInfo,args=('thread_2', ))

    #启动线程
    thread_1.start()
    thread_2.start()

注意：python调用mysql需要引入MySQLdb模块，改模块的安装请看另外的教程

最后，将写好的python在linux中运行。

运行后查看数据库就可以看见数据在不断的增长了。