一个通用的脚本，处理MySQL WorkBench导出表的JSON数据进SQLITE3，创建的是FTS4的虚拟表

# -*- coding:utf-8 -*-

import json

import sqlite3

import os,  sys

def join_key_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        result += item + ','

    result = result.rstrip(',')

    return result

def join_value_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        if isinstance(dict_info[item], str):

            result += "'" + dict_info[item].replace("'",  "''") + "',"

        else:

            result += str(dict_info[item]) + ","

        # result += dict_info[item] + ','

    result = result.rstrip(',')

    return result

def create_tbl_by_json(json_file,  tbl_name,  db_conn):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    line = json_handle.readline()

    json_handle.close()

    # 清除左边的[，右边的,

    line = line.lstrip('[').rstrip('\r\n ,')

    json_line = json.loads(line)

    # 获取到所有key，构建表的创建命令

    create_tbl_str = "create virtual table %s USING fts4( %s );" % (tbl_name,  join_key_by_dict(json_line))

    # 打开光标

    cur = db_conn.cursor()

    cur.execute(create_tbl_str)

    db_conn.commit()

    cur.close()

    print('create %s table success[%s]' % (tbl_name,  json_file) )

def insert_record_by_json(json_file, tbl_name,  db_conn):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    cur = db_conn.cursor()

    count = 0

    for line in json_handle:

        json_line = json.loads(line.lstrip('[').rstrip('\r\n ,]'))

        # 获取到所有key，构建表的创建命令

        key_str = join_key_by_dict(json_line)

        val_str = join_value_by_dict(json_line)

        # 组装命令并执行

        insert_record_str = "INSERT INTO %s (%s) VALUES(%s);" % (tbl_name,  key_str, val_str)

        cur.execute(insert_record_str)

        count += 1

    db_conn.commit()

    cur.close()

    json_handle.close()

    print('insert record finish, count: %s' % count )

def convert_json_to_db(json_file,  db_file):

    # 检查json_file是否存在

    if not os.path.exists(json_file):

        print('file not exist: %s' % json_file)

        return

    # 打开数据库连接

    db_conn = sqlite3.connect(db_file)

    tbl_name,  _ = os.path.splitext(os.path.basename(json_file))

    # 开始创建表

    create_tbl_by_json(json_file,  tbl_name,  db_conn)

    # 开始插入记录

    insert_record_by_json(json_file,  tbl_name,  db_conn)

    # 关闭数据库

    db_conn.close()

    print('Operation done successfully')

if __name__ == '__main__':

    if len(sys.argv) != 3:

        print('Usage: python %s json_file db_file' % os.path.basename(__file__))

        exit(1)

    json_file = sys.argv[1]

    db_file = sys.argv[2]

    convert_json_to_db(json_file,  db_file)

一个通用的脚本，处理MySQL WorkBench导出表的JSON数据进SQLITE3，创建的是通用表

# -*- coding:utf-8 -*-

import json

import sqlite3

import os,  sys

def join_key_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        result += item + ','

    result = result.rstrip(',')

    return result

def join_value_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        if isinstance(dict_info[item], str):

            result += "'" + dict_info[item].replace("'",  "''") + "',"

        else:

            result += str(dict_info[item]) + ","

        # result += dict_info[item] + ','

    result = result.rstrip(',')

    return result

def join_keyvalue_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        if isinstance(dict_info[item], int):

            result += str(item) + " INTEGER,"

        else:

            result += str(item) + " TEXT,"

        # result += dict_info[item] + ','

    result = result.rstrip(',')

    return result

def create_tbl_by_json(json_file,  tbl_name,  db_conn):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    line = json_handle.readline()

    json_handle.close()

    # 清除左边的[，右边的,

    line = line.lstrip('[').rstrip('\r\n ,')

    json_line = json.loads(line)

    # 获取到所有key，构建表的创建命令

    create_tbl_str = "create table %s (%s);" % (tbl_name,  join_keyvalue_by_dict(json_line))

    # 打开光标

    cur = db_conn.cursor()

    cur.execute(create_tbl_str)

    db_conn.commit()

    cur.close()

    print('create %s table success[%s]' % (tbl_name,  json_file) )

def insert_record_by_json(json_file, tbl_name,  db_conn):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    cur = db_conn.cursor()

    count = 0

    for line in json_handle:

        json_line = json.loads(line.lstrip('[').rstrip('\r\n ,]'))

        # 获取到所有key，构建表的创建命令

        key_str = join_key_by_dict(json_line)

        val_str = join_value_by_dict(json_line)

        # 组装命令并执行

        insert_record_str = "INSERT INTO %s (%s) VALUES(%s);" % (tbl_name,  key_str, val_str)

        cur.execute(insert_record_str)

        count += 1

    db_conn.commit()

    cur.close()

    json_handle.close()

    print('insert record finish, count: %s' % count )

def convert_json_to_db(json_file,  db_file):

    # 检查json_file是否存在

    if not os.path.exists(json_file):

        print('file not exist: %s' % json_file)

        return

    # 打开数据库连接

    db_conn = sqlite3.connect(db_file)

    tbl_name,  _ = os.path.splitext(os.path.basename(json_file))

    # 开始创建表

    create_tbl_by_json(json_file,  tbl_name,  db_conn)

    # 开始插入记录

    insert_record_by_json(json_file,  tbl_name,  db_conn)

    # 关闭数据库

    db_conn.close()

    print('Operation done successfully')

if __name__ == '__main__':

    if len(sys.argv) != 3:

        print('Usage: python %s json_file db_file' % os.path.basename(__file__))

        exit(1)

    json_file = sys.argv[1]

    db_file = sys.argv[2]

    convert_json_to_db(json_file,  db_file)

　　

一个通用的脚本，处理MySQL WorkBench导出表的JSON数据进SQLITE3，输出的是可以执行的SQL语句

# -*- coding:utf-8 -*-

import json

import os,  sys

def join_key_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        result += item + ','

    result = result.rstrip(',')

    return result

def join_value_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        if isinstance(dict_info[item], str):

            result += "'" + dict_info[item].replace("'",  "''") + "',"

        else:

            result += str(dict_info[item]) + ","

        # result += dict_info[item] + ','

    result = result.rstrip(',')

    return result

def create_tbl_by_json(json_file,  tbl_name,  sql_file):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    line = json_handle.readline()

    json_handle.close()

    # 清除左边的[，右边的,

    line = line.lstrip('[').rstrip('\r\n ,')

    json_line = json.loads(line)

    # 获取到所有key，构建表的创建命令

    create_tbl_str = 'create virtual table %s USING fts4( %s );\n' % (tbl_name,  join_key_by_dict(json_line))

    sql_file.write(create_tbl_str)

    # 打开光标

    #print('create %s table success[%s]' % (tbl_name,  json_file) )

def insert_record_by_json(json_file, tbl_name,  sql_file):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    count = 0

    for line in json_handle:

        json_line = json.loads(line.lstrip('[').rstrip('\r\n ,]'))

        # 获取到所有key，构建表的创建命令

        key_str = join_key_by_dict(json_line)

        val_str = join_value_by_dict(json_line)

        # 组装命令并执行

        insert_record_str = "INSERT INTO %s (%s) VALUES(%s);\n" % (tbl_name,  key_str, val_str)

        sql_file.write(insert_record_str)

        count += 1

    json_handle.close()

    #print('insert record finish, count: %s' % count )

def convert_json_to_sql(json_file,  sql_file):

    # 检查json_file是否存在

    if not os.path.exists(json_file):

        print('file not exist: %s' % json_file)

        return

    # 检查sql_file是否存在

    if os.path.exists(sql_file):

        print('file is exist: %s, will overwrite it.' % sql_file)

    # 打开文件

    sql_handle = open(sql_file, "w")

    tbl_name,  _ = os.path.splitext(os.path.basename(json_file))

    # 开始创建表

    create_tbl_by_json(json_file,  tbl_name,  sql_handle)

    # 开始插入记录

    insert_record_by_json(json_file,  tbl_name,  sql_handle)

    # 关闭文件

    sql_handle.close()

    print('Operation done successfully')

if __name__ == '__main__':

    if len(sys.argv) != 3:

        print('Usage: python %s json_file db_file' % os.path.basename(__file__))

        exit(1)

    json_file = sys.argv[1]

    sql_file = sys.argv[2]

    convert_json_to_sql(json_file,  sql_file)

　　

 
 
 
 
 
 

三个通用的脚本，处理MySQL WorkBench导出表的JSON数据进SQLITE3的更多相关文章

  1. MySQL Workbench 6 不能删除数据等问题（“Error Code: 1175”） 和入门教程

    网络资料收集 当用MySQL Workbench进行数据库的批量更新时,执行一个语句会碰到以下错误提示: Error Code: 1175 You are using safe...without a ...

  2. [笔记] MySql Workbench 导出表结构和数据报错 mysqldump: [ERROR] unknown variable 'delayed-insert=FALSE'

    下午使用MySql Workbench导出数据库表结构,设置完导出选项后执行导出,报如下错误: :: Dumping nacweixindb (tb_app) Running: mysqldump.e ...

  3. 只要三步！阿里云DLA帮你处理海量JSON数据

    概述 您可能有大量应用程序产生的JSON数据,您可能需要对这些JSON数据进行整理,去除不想要的字段,或者只保留想要的字段,或者仅仅是进行数据查询. 那么,利用阿里云Data Lake Analyti ...

  4. 利用PHP脚本辅助MySQL数据库管理5-检查异常数据

    <?php $dbi = new DbMysql; $dbi->dbh = 'mysql://root:mysql@127.0.0.1/coffeetest'; $map = array( ...

  5. mysql workbench 导出表结构

    Server->Data Export 选择数据库(我的是 lhc库) -> 选择对应表(我的是  device表), Dump Structre and Data 导出表数据和表结构 D ...

  6. Mysql 导入导出表结构与数据

    1.导出整个数据库 mysqldump -u用户名 -p密码  数据库名 > 导出的文件名  C:\Users\jack> mysqldump -uroot -pmysql account ...

  7. mysql只导出表结构或数据

    唯一的非导电结构指南数据 mysqldump -t 数据库名称 -uroot -p > xxx.sql 指南结构不仅指导数据 mysqldump    --opt -d  数据库名 -u -p ...

  8. MySQL Workbench的使用教程 （初级入门版）

    MySQL Workbench 是 MySQL AB 最近释放的可视数据库设计工具.这个工具是设计 MySQL 数据库的专用工具. MySQL Workbench 拥有很多的功能和特性:这篇由Djon ...

  9. （转）MySQL Workbench的使用教程 （初级入门版）

    转自:http://www.cnblogs.com/yqskj/archive/2013/03/01/2938027.html MySQL Workbench 是 MySQL AB 最近释放的可视数据 ...

随机推荐

  1. spring怎么实现单例模式？

    Spring学习之路——单例模式和多例模式   在Spring中,bean可以被定义为两种模式:prototype(多例)和singleton(单例) singleton(单例):只有一个共享的实例存 ...

  2. 【20151105noip膜你赛】bzoj3652 bzoj3653

    题目仿佛在讽刺我... 第一题: 题解: 考虑枚举区间右端点,维护所以左到当前的 and 和 or .注意 and 每次变化至少有一个二进制位从1变 0,or 每次至少有一个位从0变 1,所以最多有l ...

  3. Bzoj4870 [SXOI2017]组合数问题

    Time Limit: 10 Sec  Memory Limit: 512 MBSubmit: 155  Solved: 78 Description Input 第一行有四个整数 n, p, k, ...

  4. bzoj 2083: [Poi2010]Intelligence test——vecto+二分

    Description 霸中智力测试机构的一项工作就是按照一定的规则删除一个序列的数字,得到一个确定的数列.Lyx很渴望成为霸中智力测试机构的主管,但是他在这个工作上做的并不好,俗话说熟能生巧,他打算 ...

  5. 【BZOJ】3038: 上帝造题的七分钟2 && 3211: 花神游历各国

    [算法]线段树||树状数组&&并查集 [题解]修改必须暴力单点修改,然后利用标记区间查询. 优化:一个数经过不断开方很快就会变成1,所以维护区间最大值. 修改时访问到的子树最大值< ...

  6. PHP 练习2：投票

    1.建立数据库 表1:DiaoYanTiMu 表2:DiaoYanXuanXiang 2.页面 页面1:投票首页 <!DOCTYPE html PUBLIC "-//W3C//DTD ...

  7. DotNet 学习笔记 OWIN

    Open Web Interface for .NET (OWIN) ----------------------------------------------------------------- ...

  8. dokuwiki安装部署

    dokuwiki的地址:https://www.dokuwiki.org/dokuwiki# 1.部署dokuwiki 在D:\xampp\htdocs(xampp安装目录)新建一个doku文件夹,把 ...

  9. eclipse+EGIT+GitHub

    下载EGIT:http://wiki.eclipse.org/EGit/FAQ#Where_can_I_find_older_releases_of_EGit.3F 1.下载eclipse版本对应的E ...

  10. 第一章:读取文件一行IO::File

    #!c:\\perl\\bin\\perl.exe use IO::File; #读取一行 my $fd = IO::File->new('perl.txt'); my $one_line = ...