一个通用的脚本，处理MySQL WorkBench导出表的JSON数据进SQLITE3，创建的是FTS4的虚拟表

# -*- coding:utf-8 -*-

import json

import sqlite3

import os,  sys

def join_key_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        result += item + ','

    result = result.rstrip(',')

    return result

def join_value_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        if isinstance(dict_info[item], str):

            result += "'" + dict_info[item].replace("'",  "''") + "',"

        else:

            result += str(dict_info[item]) + ","

        # result += dict_info[item] + ','

    result = result.rstrip(',')

    return result

def create_tbl_by_json(json_file,  tbl_name,  db_conn):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    line = json_handle.readline()

    json_handle.close()

    # 清除左边的[，右边的,

    line = line.lstrip('[').rstrip('\r\n ,')

    json_line = json.loads(line)

    # 获取到所有key，构建表的创建命令

    create_tbl_str = "create virtual table %s USING fts4( %s );" % (tbl_name,  join_key_by_dict(json_line))

    # 打开光标

    cur = db_conn.cursor()

    cur.execute(create_tbl_str)

    db_conn.commit()

    cur.close()

    print('create %s table success[%s]' % (tbl_name,  json_file) )

def insert_record_by_json(json_file, tbl_name,  db_conn):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    cur = db_conn.cursor()

    count = 0

    for line in json_handle:

        json_line = json.loads(line.lstrip('[').rstrip('\r\n ,]'))

        # 获取到所有key，构建表的创建命令

        key_str = join_key_by_dict(json_line)

        val_str = join_value_by_dict(json_line)

        # 组装命令并执行

        insert_record_str = "INSERT INTO %s (%s) VALUES(%s);" % (tbl_name,  key_str, val_str)

        cur.execute(insert_record_str)

        count += 1

    db_conn.commit()

    cur.close()

    json_handle.close()

    print('insert record finish, count: %s' % count )

def convert_json_to_db(json_file,  db_file):

    # 检查json_file是否存在

    if not os.path.exists(json_file):

        print('file not exist: %s' % json_file)

        return

    # 打开数据库连接

    db_conn = sqlite3.connect(db_file)

    tbl_name,  _ = os.path.splitext(os.path.basename(json_file))

    # 开始创建表

    create_tbl_by_json(json_file,  tbl_name,  db_conn)

    # 开始插入记录

    insert_record_by_json(json_file,  tbl_name,  db_conn)

    # 关闭数据库

    db_conn.close()

    print('Operation done successfully')

if __name__ == '__main__':

    if len(sys.argv) != 3:

        print('Usage: python %s json_file db_file' % os.path.basename(__file__))

        exit(1)

    json_file = sys.argv[1]

    db_file = sys.argv[2]

    convert_json_to_db(json_file,  db_file)

一个通用的脚本，处理MySQL WorkBench导出表的JSON数据进SQLITE3，创建的是通用表

# -*- coding:utf-8 -*-

import json

import sqlite3

import os,  sys

def join_key_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        result += item + ','

    result = result.rstrip(',')

    return result

def join_value_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        if isinstance(dict_info[item], str):

            result += "'" + dict_info[item].replace("'",  "''") + "',"

        else:

            result += str(dict_info[item]) + ","

        # result += dict_info[item] + ','

    result = result.rstrip(',')

    return result

def join_keyvalue_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        if isinstance(dict_info[item], int):

            result += str(item) + " INTEGER,"

        else:

            result += str(item) + " TEXT,"

        # result += dict_info[item] + ','

    result = result.rstrip(',')

    return result

def create_tbl_by_json(json_file,  tbl_name,  db_conn):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    line = json_handle.readline()

    json_handle.close()

    # 清除左边的[，右边的,

    line = line.lstrip('[').rstrip('\r\n ,')

    json_line = json.loads(line)

    # 获取到所有key，构建表的创建命令

    create_tbl_str = "create table %s (%s);" % (tbl_name,  join_keyvalue_by_dict(json_line))

    # 打开光标

    cur = db_conn.cursor()

    cur.execute(create_tbl_str)

    db_conn.commit()

    cur.close()

    print('create %s table success[%s]' % (tbl_name,  json_file) )

def insert_record_by_json(json_file, tbl_name,  db_conn):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    cur = db_conn.cursor()

    count = 0

    for line in json_handle:

        json_line = json.loads(line.lstrip('[').rstrip('\r\n ,]'))

        # 获取到所有key，构建表的创建命令

        key_str = join_key_by_dict(json_line)

        val_str = join_value_by_dict(json_line)

        # 组装命令并执行

        insert_record_str = "INSERT INTO %s (%s) VALUES(%s);" % (tbl_name,  key_str, val_str)

        cur.execute(insert_record_str)

        count += 1

    db_conn.commit()

    cur.close()

    json_handle.close()

    print('insert record finish, count: %s' % count )

def convert_json_to_db(json_file,  db_file):

    # 检查json_file是否存在

    if not os.path.exists(json_file):

        print('file not exist: %s' % json_file)

        return

    # 打开数据库连接

    db_conn = sqlite3.connect(db_file)

    tbl_name,  _ = os.path.splitext(os.path.basename(json_file))

    # 开始创建表

    create_tbl_by_json(json_file,  tbl_name,  db_conn)

    # 开始插入记录

    insert_record_by_json(json_file,  tbl_name,  db_conn)

    # 关闭数据库

    db_conn.close()

    print('Operation done successfully')

if __name__ == '__main__':

    if len(sys.argv) != 3:

        print('Usage: python %s json_file db_file' % os.path.basename(__file__))

        exit(1)

    json_file = sys.argv[1]

    db_file = sys.argv[2]

    convert_json_to_db(json_file,  db_file)

　　

一个通用的脚本，处理MySQL WorkBench导出表的JSON数据进SQLITE3，输出的是可以执行的SQL语句

# -*- coding:utf-8 -*-

import json

import os,  sys

def join_key_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        result += item + ','

    result = result.rstrip(',')

    return result

def join_value_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        if isinstance(dict_info[item], str):

            result += "'" + dict_info[item].replace("'",  "''") + "',"

        else:

            result += str(dict_info[item]) + ","

        # result += dict_info[item] + ','

    result = result.rstrip(',')

    return result

def create_tbl_by_json(json_file,  tbl_name,  sql_file):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    line = json_handle.readline()

    json_handle.close()

    # 清除左边的[，右边的,

    line = line.lstrip('[').rstrip('\r\n ,')

    json_line = json.loads(line)

    # 获取到所有key，构建表的创建命令

    create_tbl_str = 'create virtual table %s USING fts4( %s );\n' % (tbl_name,  join_key_by_dict(json_line))

    sql_file.write(create_tbl_str)

    # 打开光标

    #print('create %s table success[%s]' % (tbl_name,  json_file) )

def insert_record_by_json(json_file, tbl_name,  sql_file):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    count = 0

    for line in json_handle:

        json_line = json.loads(line.lstrip('[').rstrip('\r\n ,]'))

        # 获取到所有key，构建表的创建命令

        key_str = join_key_by_dict(json_line)

        val_str = join_value_by_dict(json_line)

        # 组装命令并执行

        insert_record_str = "INSERT INTO %s (%s) VALUES(%s);\n" % (tbl_name,  key_str, val_str)

        sql_file.write(insert_record_str)

        count += 1

    json_handle.close()

    #print('insert record finish, count: %s' % count )

def convert_json_to_sql(json_file,  sql_file):

    # 检查json_file是否存在

    if not os.path.exists(json_file):

        print('file not exist: %s' % json_file)

        return

    # 检查sql_file是否存在

    if os.path.exists(sql_file):

        print('file is exist: %s, will overwrite it.' % sql_file)

    # 打开文件

    sql_handle = open(sql_file, "w")

    tbl_name,  _ = os.path.splitext(os.path.basename(json_file))

    # 开始创建表

    create_tbl_by_json(json_file,  tbl_name,  sql_handle)

    # 开始插入记录

    insert_record_by_json(json_file,  tbl_name,  sql_handle)

    # 关闭文件

    sql_handle.close()

    print('Operation done successfully')

if __name__ == '__main__':

    if len(sys.argv) != 3:

        print('Usage: python %s json_file db_file' % os.path.basename(__file__))

        exit(1)

    json_file = sys.argv[1]

    sql_file = sys.argv[2]

    convert_json_to_sql(json_file,  sql_file)

　　

 
 
 
 
 
 

三个通用的脚本，处理MySQL WorkBench导出表的JSON数据进SQLITE3的更多相关文章

  1. MySQL Workbench 6 不能删除数据等问题（“Error Code: 1175”） 和入门教程

    网络资料收集 当用MySQL Workbench进行数据库的批量更新时,执行一个语句会碰到以下错误提示: Error Code: 1175 You are using safe...without a ...

  2. [笔记] MySql Workbench 导出表结构和数据报错 mysqldump: [ERROR] unknown variable 'delayed-insert=FALSE'

    下午使用MySql Workbench导出数据库表结构,设置完导出选项后执行导出,报如下错误: :: Dumping nacweixindb (tb_app) Running: mysqldump.e ...

  3. 只要三步！阿里云DLA帮你处理海量JSON数据

    概述 您可能有大量应用程序产生的JSON数据,您可能需要对这些JSON数据进行整理,去除不想要的字段,或者只保留想要的字段,或者仅仅是进行数据查询. 那么,利用阿里云Data Lake Analyti ...

  4. 利用PHP脚本辅助MySQL数据库管理5-检查异常数据

    <?php $dbi = new DbMysql; $dbi->dbh = 'mysql://root:mysql@127.0.0.1/coffeetest'; $map = array( ...

  5. mysql workbench 导出表结构

    Server->Data Export 选择数据库(我的是 lhc库) -> 选择对应表(我的是  device表), Dump Structre and Data 导出表数据和表结构 D ...

  6. Mysql 导入导出表结构与数据

    1.导出整个数据库 mysqldump -u用户名 -p密码  数据库名 > 导出的文件名  C:\Users\jack> mysqldump -uroot -pmysql account ...

  7. mysql只导出表结构或数据

    唯一的非导电结构指南数据 mysqldump -t 数据库名称 -uroot -p > xxx.sql 指南结构不仅指导数据 mysqldump    --opt -d  数据库名 -u -p ...

  8. MySQL Workbench的使用教程 （初级入门版）

    MySQL Workbench 是 MySQL AB 最近释放的可视数据库设计工具.这个工具是设计 MySQL 数据库的专用工具. MySQL Workbench 拥有很多的功能和特性:这篇由Djon ...

  9. （转）MySQL Workbench的使用教程 （初级入门版）

    转自:http://www.cnblogs.com/yqskj/archive/2013/03/01/2938027.html MySQL Workbench 是 MySQL AB 最近释放的可视数据 ...

随机推荐

  1. 求前n项正整数的倒数和

    求前n项正整数的倒数和 前n项正整数的和是一个发散的序列,学过高等数学的这个都知道.所以它没有一个精确的公式,但是近似的公式是有的: 1 + 1/2 + 1/3 + …… + 1/n ≍ ln n + ...

  2. 代码Review发现问题

    FrmMain.cs中存在问题 1. int i=0 设定为了全局常量且未在类顶部,出现问题时不好查找 i 属于常用临时变量,设定全局变量容易引起混乱 2.定义的全局变量但仅在一处方法中使用,定义全局 ...

  3. python 基础--pip(转)

    感谢:http://www.cnblogs.com/csucat/p/4897695.html python需要用到一些其他的库,可以手动去各个库的官网下载,自己安装:也可以安装pip,使用pip可以 ...

  4. linux命令查看服务器的型号、序列号、内存插槽数（转）

    1,查看服务器型号.序列号: dmidecode|grep "System Information" -A9|egrep  "Manufacturer|Product|S ...

  5. 使用Apache Curator监控Zookeeper的Node和Path的状态

    1.Zookeeper经常被我们用来做配置管理,配置的管理在分布式应用环境中很常见,例如同一个应用系统需要多台 PC Server 运行,但是它们运行的应用系统的某些配置项是相同的,如果要修改这些相同 ...

  6. [cerc2012][Gym100624A]20181013

    A 题意:n(n<=20)个国家,每个国家之间有一些债务关系,总体为负债的国家会破产,破产国家的债务关系全部消除.问哪些国家可能成为最后一个唯一存在的国家. 题解: 对于每一个状态,面对若干个负 ...

  7. JS中的实例方法与静态方法

    一.静态方法与实例方法的例子: 我们先来看一个例子来看一下JS中的静态方法和实例方法到底是什么 静态方法: function A(){} A.sayMeS=function(){ console.lo ...

  8. hdu 3371（prim算法）

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=3371 Connect the Cities Time Limit: 2000/1000 MS (Jav ...

  9. Python阶段复习 - part 3 - Python函数

    利用函数打印9*9乘法表 def cheng(num): for i in range(1,num+1): for j in range(1,i+1): print('{0} * {1} = {2}' ...

  10. Django之项目搭建和配置总结（一）

    安装和创建虚拟环境 参考:linux系统下Python虚拟环境的安装和使用 安装Django包 先进入虚拟环境,在联网下执行: pip install django==1.8.7 1.8.7表示dja ...