一个通用的脚本，处理MySQL WorkBench导出表的JSON数据进SQLITE3，创建的是FTS4的虚拟表

# -*- coding:utf-8 -*-

import json

import sqlite3

import os,  sys

def join_key_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        result += item + ','

    result = result.rstrip(',')

    return result

def join_value_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        if isinstance(dict_info[item], str):

            result += "'" + dict_info[item].replace("'",  "''") + "',"

        else:

            result += str(dict_info[item]) + ","

        # result += dict_info[item] + ','

    result = result.rstrip(',')

    return result

def create_tbl_by_json(json_file,  tbl_name,  db_conn):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    line = json_handle.readline()

    json_handle.close()

    # 清除左边的[，右边的,

    line = line.lstrip('[').rstrip('\r\n ,')

    json_line = json.loads(line)

    # 获取到所有key，构建表的创建命令

    create_tbl_str = "create virtual table %s USING fts4( %s );" % (tbl_name,  join_key_by_dict(json_line))

    # 打开光标

    cur = db_conn.cursor()

    cur.execute(create_tbl_str)

    db_conn.commit()

    cur.close()

    print('create %s table success[%s]' % (tbl_name,  json_file) )

def insert_record_by_json(json_file, tbl_name,  db_conn):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    cur = db_conn.cursor()

    count = 0

    for line in json_handle:

        json_line = json.loads(line.lstrip('[').rstrip('\r\n ,]'))

        # 获取到所有key，构建表的创建命令

        key_str = join_key_by_dict(json_line)

        val_str = join_value_by_dict(json_line)

        # 组装命令并执行

        insert_record_str = "INSERT INTO %s (%s) VALUES(%s);" % (tbl_name,  key_str, val_str)

        cur.execute(insert_record_str)

        count += 1

    db_conn.commit()

    cur.close()

    json_handle.close()

    print('insert record finish, count: %s' % count )

def convert_json_to_db(json_file,  db_file):

    # 检查json_file是否存在

    if not os.path.exists(json_file):

        print('file not exist: %s' % json_file)

        return

    # 打开数据库连接

    db_conn = sqlite3.connect(db_file)

    tbl_name,  _ = os.path.splitext(os.path.basename(json_file))

    # 开始创建表

    create_tbl_by_json(json_file,  tbl_name,  db_conn)

    # 开始插入记录

    insert_record_by_json(json_file,  tbl_name,  db_conn)

    # 关闭数据库

    db_conn.close()

    print('Operation done successfully')

if __name__ == '__main__':

    if len(sys.argv) != 3:

        print('Usage: python %s json_file db_file' % os.path.basename(__file__))

        exit(1)

    json_file = sys.argv[1]

    db_file = sys.argv[2]

    convert_json_to_db(json_file,  db_file)

一个通用的脚本，处理MySQL WorkBench导出表的JSON数据进SQLITE3，创建的是通用表

# -*- coding:utf-8 -*-

import json

import sqlite3

import os,  sys

def join_key_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        result += item + ','

    result = result.rstrip(',')

    return result

def join_value_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        if isinstance(dict_info[item], str):

            result += "'" + dict_info[item].replace("'",  "''") + "',"

        else:

            result += str(dict_info[item]) + ","

        # result += dict_info[item] + ','

    result = result.rstrip(',')

    return result

def join_keyvalue_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        if isinstance(dict_info[item], int):

            result += str(item) + " INTEGER,"

        else:

            result += str(item) + " TEXT,"

        # result += dict_info[item] + ','

    result = result.rstrip(',')

    return result

def create_tbl_by_json(json_file,  tbl_name,  db_conn):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    line = json_handle.readline()

    json_handle.close()

    # 清除左边的[，右边的,

    line = line.lstrip('[').rstrip('\r\n ,')

    json_line = json.loads(line)

    # 获取到所有key，构建表的创建命令

    create_tbl_str = "create table %s (%s);" % (tbl_name,  join_keyvalue_by_dict(json_line))

    # 打开光标

    cur = db_conn.cursor()

    cur.execute(create_tbl_str)

    db_conn.commit()

    cur.close()

    print('create %s table success[%s]' % (tbl_name,  json_file) )

def insert_record_by_json(json_file, tbl_name,  db_conn):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    cur = db_conn.cursor()

    count = 0

    for line in json_handle:

        json_line = json.loads(line.lstrip('[').rstrip('\r\n ,]'))

        # 获取到所有key，构建表的创建命令

        key_str = join_key_by_dict(json_line)

        val_str = join_value_by_dict(json_line)

        # 组装命令并执行

        insert_record_str = "INSERT INTO %s (%s) VALUES(%s);" % (tbl_name,  key_str, val_str)

        cur.execute(insert_record_str)

        count += 1

    db_conn.commit()

    cur.close()

    json_handle.close()

    print('insert record finish, count: %s' % count )

def convert_json_to_db(json_file,  db_file):

    # 检查json_file是否存在

    if not os.path.exists(json_file):

        print('file not exist: %s' % json_file)

        return

    # 打开数据库连接

    db_conn = sqlite3.connect(db_file)

    tbl_name,  _ = os.path.splitext(os.path.basename(json_file))

    # 开始创建表

    create_tbl_by_json(json_file,  tbl_name,  db_conn)

    # 开始插入记录

    insert_record_by_json(json_file,  tbl_name,  db_conn)

    # 关闭数据库

    db_conn.close()

    print('Operation done successfully')

if __name__ == '__main__':

    if len(sys.argv) != 3:

        print('Usage: python %s json_file db_file' % os.path.basename(__file__))

        exit(1)

    json_file = sys.argv[1]

    db_file = sys.argv[2]

    convert_json_to_db(json_file,  db_file)

　　

一个通用的脚本，处理MySQL WorkBench导出表的JSON数据进SQLITE3，输出的是可以执行的SQL语句

# -*- coding:utf-8 -*-

import json

import os,  sys

def join_key_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        result += item + ','

    result = result.rstrip(',')

    return result

def join_value_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        if isinstance(dict_info[item], str):

            result += "'" + dict_info[item].replace("'",  "''") + "',"

        else:

            result += str(dict_info[item]) + ","

        # result += dict_info[item] + ','

    result = result.rstrip(',')

    return result

def create_tbl_by_json(json_file,  tbl_name,  sql_file):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    line = json_handle.readline()

    json_handle.close()

    # 清除左边的[，右边的,

    line = line.lstrip('[').rstrip('\r\n ,')

    json_line = json.loads(line)

    # 获取到所有key，构建表的创建命令

    create_tbl_str = 'create virtual table %s USING fts4( %s );\n' % (tbl_name,  join_key_by_dict(json_line))

    sql_file.write(create_tbl_str)

    # 打开光标

    #print('create %s table success[%s]' % (tbl_name,  json_file) )

def insert_record_by_json(json_file, tbl_name,  sql_file):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    count = 0

    for line in json_handle:

        json_line = json.loads(line.lstrip('[').rstrip('\r\n ,]'))

        # 获取到所有key，构建表的创建命令

        key_str = join_key_by_dict(json_line)

        val_str = join_value_by_dict(json_line)

        # 组装命令并执行

        insert_record_str = "INSERT INTO %s (%s) VALUES(%s);\n" % (tbl_name,  key_str, val_str)

        sql_file.write(insert_record_str)

        count += 1

    json_handle.close()

    #print('insert record finish, count: %s' % count )

def convert_json_to_sql(json_file,  sql_file):

    # 检查json_file是否存在

    if not os.path.exists(json_file):

        print('file not exist: %s' % json_file)

        return

    # 检查sql_file是否存在

    if os.path.exists(sql_file):

        print('file is exist: %s, will overwrite it.' % sql_file)

    # 打开文件

    sql_handle = open(sql_file, "w")

    tbl_name,  _ = os.path.splitext(os.path.basename(json_file))

    # 开始创建表

    create_tbl_by_json(json_file,  tbl_name,  sql_handle)

    # 开始插入记录

    insert_record_by_json(json_file,  tbl_name,  sql_handle)

    # 关闭文件

    sql_handle.close()

    print('Operation done successfully')

if __name__ == '__main__':

    if len(sys.argv) != 3:

        print('Usage: python %s json_file db_file' % os.path.basename(__file__))

        exit(1)

    json_file = sys.argv[1]

    sql_file = sys.argv[2]

    convert_json_to_sql(json_file,  sql_file)

　　

 
 
 
 
 
 

三个通用的脚本，处理MySQL WorkBench导出表的JSON数据进SQLITE3的更多相关文章

  1. MySQL Workbench 6 不能删除数据等问题（“Error Code: 1175”） 和入门教程

    网络资料收集 当用MySQL Workbench进行数据库的批量更新时,执行一个语句会碰到以下错误提示: Error Code: 1175 You are using safe...without a ...

  2. [笔记] MySql Workbench 导出表结构和数据报错 mysqldump: [ERROR] unknown variable 'delayed-insert=FALSE'

    下午使用MySql Workbench导出数据库表结构,设置完导出选项后执行导出,报如下错误: :: Dumping nacweixindb (tb_app) Running: mysqldump.e ...

  3. 只要三步！阿里云DLA帮你处理海量JSON数据

    概述 您可能有大量应用程序产生的JSON数据,您可能需要对这些JSON数据进行整理,去除不想要的字段,或者只保留想要的字段,或者仅仅是进行数据查询. 那么,利用阿里云Data Lake Analyti ...

  4. 利用PHP脚本辅助MySQL数据库管理5-检查异常数据

    <?php $dbi = new DbMysql; $dbi->dbh = 'mysql://root:mysql@127.0.0.1/coffeetest'; $map = array( ...

  5. mysql workbench 导出表结构

    Server->Data Export 选择数据库(我的是 lhc库) -> 选择对应表(我的是  device表), Dump Structre and Data 导出表数据和表结构 D ...

  6. Mysql 导入导出表结构与数据

    1.导出整个数据库 mysqldump -u用户名 -p密码  数据库名 > 导出的文件名  C:\Users\jack> mysqldump -uroot -pmysql account ...

  7. mysql只导出表结构或数据

    唯一的非导电结构指南数据 mysqldump -t 数据库名称 -uroot -p > xxx.sql 指南结构不仅指导数据 mysqldump    --opt -d  数据库名 -u -p ...

  8. MySQL Workbench的使用教程 （初级入门版）

    MySQL Workbench 是 MySQL AB 最近释放的可视数据库设计工具.这个工具是设计 MySQL 数据库的专用工具. MySQL Workbench 拥有很多的功能和特性:这篇由Djon ...

  9. （转）MySQL Workbench的使用教程 （初级入门版）

    转自:http://www.cnblogs.com/yqskj/archive/2013/03/01/2938027.html MySQL Workbench 是 MySQL AB 最近释放的可视数据 ...

随机推荐

  1. Leetcode 200. 岛屿的个数（扩展）

    1.题目描述 给定一个由 '1'(陆地)和 '0'(水)组成的的二维网格,计算岛屿的数量.一个岛被水包围,并且它是通过水平方向或垂直方向上相邻的陆地连接而成的.你可以假设网格的四个边均被水包围. 示例 ...

  2. 不要在linux上启用net.ipv4.tcp_tw_recycle参数

    不要在linux上启用net.ipv4.tcp_tw_recycle参数 发布于 2015/07/27 莿鸟栖草堂 本文为翻译英文BLOG<Coping with the TCP TIME-WA ...

  3. Rsync+inotify自动同步数据

    一.简介 随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足. 首先,rsync在同步数据时,需要扫描所有文件后进行比对,进行差量传 ...

  4. [技巧篇]06.关于防止SQL注入的方式，不使用预处理

    在一期,二期阶段,有一些同学,对于SQL语句总是使用字符串的拼接,这是一个比较坏的毛病,这样非常影响我们的程序的安全性,所以一般情况下我们都推荐预处理模式,针对这种模式希望不了解的同学去努力学习,下面 ...

  5. Javascript利用递归实现数组的快速排序

    // 定义快速排序方法 function quickSort(arr){ // 设置递归的终止条件 if( arr.length <= 1){ return arr; } // 获得数组arr的 ...

  6. Ajax请求回调函数没有被调用

    $.ajax({        type:"post",        url:"http://172.16.41.91:8080/FcsServletSSM/users ...

  7. 常见的Shell

    上面提到过,Shell是一种脚本语言,那么,就必须有解释器来执行这些脚本. Unix/Linux上常见的Shell脚本解释器有bash.sh.csh.ksh等,习惯上把它们称作一种Shell.我们常说 ...

  8. linux 执行shell脚本的4种方法总结

    bash shell 脚本的方法有多种,假设我们编写好的shell脚本的文件名为hello.sh,文件位置在/data/shell目录中并已有执行权限. 方法一:切换到shell脚本所在的目录(此时, ...

  9. 【BZOJ】1709: [Usaco2007 Oct]Super Paintball超级弹珠

    [算法]模拟 [题解]O(n^2)预处理横线(y),纵线(x),主对角线(y-x+n),副对角线(x+y). 然后n^2枚举每个点.

  10. 01背包入门 dp

    题目引入: 有n个重量和价值分别为Wi,Vi的物品.从这些物品中挑选出总重量不超过W的物品,求所有挑选方案中的价值总和的最大值. 分析: 首先,我们用最普通的方法,针对每个物品是否放入背包进行搜索. ...