Excel 逐条导入Mysql(数据更新)

其实,我的业务流程是, 先读取excel/csv -> pandas 数据清洗 -> 导入Mysql, 一般是做一个表append 或者是 if exist -> replace的操作

逐行来添加数据其实更加灵活和方便.

这里用的驱动是pymysql的一个包, 其实本质就是一个客户端, 服务端已经和mysql进行匹配了, 只是使用client罢了.

还是直接上代码吧, 还是蛮简单的.

 #!/usr/bin/env python
 # coding: utf-8
 # author: chenjieyouge@gmail.com

 '''
 应用场景:
     将excel等存储的数据 逐条 导入到 Mysql, 即 拼接sql 语句insert into.

     特点:
         1. 更适用于有主键约束的的表, 如花名册管理, 直接将新花名册逐条插入, 如有门店重复,则 替换 掉,保持最新.
         2. to_sql 则更适用用于无主键约束, 大批量导入数据的场景.

     原理:
         连接: 用Python提供的pymysql驱动,直接拼接SQL去执行
         数据: 将每条数据进行"insert into 或 replace into 表名 values (), (), (), ()...每个()放一条数据.
         过程:
             1. 创建连接对象 con  名字取通俗易懂哈
             2. 创建游标对象cursor (通俗理解为连接对象的一个小弟, 用来执行sql, 获取数据..)
             3. 执行sql语句cursor.execute() 或 executemany()....
             4. 提交命令(事务) con.commit()
             5. 查询或提取数据 cursor.fetchall()
             6. 关闭con, cursor

 '''

 import pandas as pd
 import pymysql

 # 配置
 主机 = "192.168.6.81"
 用户 = "xxx"
 密码 = 123456
 库名 = "new_house"

 # 连接

 # 1. 创建连接对象, 游标对象
 con = pymysql.connect(主机, 用户, 密码, 库名)
 cursor = con.cursor()

 def 连接测试(cursor):
     try:
         # 3. 连接测试: 执行sql, 提交, 查询
         cursor.execute("show tables;")
         # 4. 提交
         con.commit()
         # 5. 获取数据
         print(cursor.fetchall())
         # 6. 关闭连接
         cursor.close(); con.close()
         print("连接测试成功!")
     except Exception as e:
         print("连接测试失败!", e)

 def 处理数据(path, sheet=None):
     """"后续可以写更复杂的数据处理逻辑"""
     table = pd.read_excel(path, sheet)
     # 将缺失值用 None 填充
     data = table.where(pd.notnull(table), None)
     return table

 def 导入数据(cursor, table, to_table, method="replace"):

     len_cols = table.columns.size  # 字段的个数

     # 拼接sql语句: => insert into 表名 (字段1, 字段2 ...字段n) values (a,b,c), (d,e,f)....
     if method not in ("insert", "replace"):
         print("input error!")

     insert_sql = "%s into %s values (%s)" % (method,to_table, "%s,"*(len_cols-1) + "%s")

     # 变量每行数据, 组成生成器对象  ( (),(),(),(),(),()... ), 每个元组表示一条记录
     args =  (tuple(row) for _, row in table.iterrows())
     try:
         _ = cursor.executemany(insert_sql, args)
         con.commit()
         print("successfully!")
     except Exception as e:
         print("fail",e)
     finally:
         cursor.close()
         con.close()

 if __name__ == '__main__':

     连接测试()

     # table = 处理数据("C:\\Users\\beike\\Desktop\\8月带看明细8.15.xls")
     #
     # 导入数据(cursor, table, "数据库有的表", "replace")