数据迁徙是每个后端都会遇到的工作之一,本文介绍了一些常见的数据迁徙方法与工具

mysqldump:数据结构不变的数据迁徙

  1. 导出数据

    mysqldump -u root -p DATABASE_NAME table_name > dump.sql
  2. 恢复数据

    mysql -u root -p DATABESE_NAME < dump.sql

    或者连接mysql客户端

    mysql> source dump.sql

使用pymysql连接数据库

  1. 可以直接用用户名密码连接的数据库

    class GeneralConnector:
    def __init__(self, config, return_dic=False):
    self.return_dic = return_dic
    self.config = config def __enter__(self):
    self.conn = pymysql.connect(**self.config, port=3306)
    if self.return_dic:
    # 一行数据会变成一个字典
    self.cursor = self.conn.cursor(pymysql.cursors.DictCursor)
    else:
    self.cursor = self.conn.cursor()
    return self.cursor def __exit__(self, *args):
    self.cursor.close()
    self.conn.commit()
    self.conn.close()

    使用:

    # local_db = {
    # 'user': 'root',
    # 'passwd': '',
    # 'host': '127.0.0.1',
    # 'db': 'local_db'
    # }
    with GeneralConnector(const.local_db, return_dic=True) as cursor:
    cursor.execute('SELECT `col1`, `col2` FROM test;')
    return cursor.fetchall()
  2. 连接处于需要SSH连接的服务器的数据库

    class SSHConnector:
    def __init__(self, server, config, return_dic=False):
    self.return_dic=return_dic
    self.server = server
    self.config = config def __enter__(self):
    self.conn = pymysql.connect(**self.config, port=self.server.local_bind_port)
    if self.return_dic:
    # 一行数据会变成一个字典
    self.cursor = self.conn.cursor(pymysql.cursors.DictCursor)
    else:
    self.cursor = self.conn.cursor()
    return self.cursor def __exit__(self, *args):
    self.cursor.close()
    self.conn.commit()
    self.conn.close()

    使用:

    # SERVER = SSHTunnelForwarder(
    # (remote_host, ssh_port),
    # ssh_username=USERNAME,
    # ssh_pkey=SSH_KEY,
    # ssh_private_key_password=SSH_KEY_PASSWD,
    # remote_bind_address=('127.0.0.1', 3306) # mysql服务位置
    # )
    # server_db = {
    # 'user': 'root',
    # 'passwd': '',
    # 'host': '127.0.0.1',
    # 'db': 'server_db'
    # }
    # 创建一个隧道将服务端的mysql绑定到本地3306端口
    with const.SERVER as server:
    with SSHConnector(server, const.server_db) as cursor:
    cursor.execute('show tables;')
    data = cursor.fetchall()
    print(data)

cursor的各种操作

  1. cursor.execute(sql_statement)

    执行一条sql语句

  2. cursor.fetchall()

    获取cursor的所有结果,常跟在select语句后使用

  3. cursor.fetchone()

    获取cursor的第一条结果

  4. cursor.lastrowid

    最后一条数据的id

  5. cursor.executemany(insert_statement, data_list)

    批量插入一批数据,如

    with const.SERVER as server:
    with connector.Connector(server, const.db_1) as cursor:
    cursor.execute('select * from preference')
    preferences = cursor.fetchall() with connector.Connector(server, const.db_2) as cursor:
    cursor.executemany('insert into preference (`id`,`theme`,`user_id`) values (%s,%s,%s)',preferences)

从cursor获取list类型的结果

cursor.execute('SELECT `name` FROM user;')

直接使用fetchall(),只能得到tuple包裹的数据

cursor.fetchall()
# (('Jack',), ('Ben'))

现在希望得到一个list结果集,做到像Django中flat=True那样的效果

有两种方法

  1. 列表解析式(list comprehension)

    name_list = [x[0] for x in cursor.fetchall()]

    这个方法的缺点在于会先使用fetchall()将结果集读到内存,再做列表转换,并不高效。

  2. itertools工具

    name_list = list(itertools.chain.from_iterable(cursor))

    推荐使用这个方式,第一它不会将所有结果fetch到内存中,第二使用itertools生成列表比列表解析式要快

如何在数据迁徙中使用Django的model

  1. 需要拷贝Django的settings文件,删掉不需要的配置,并设置好迁徙目标数据库

  2. 需要拷贝用到此model的文件

  3. 需要在settings.INSTALLED_APPS中引入models.py文件所在的目录

  4. 在迁徙脚本头部启动Django

    import os
    import django
    import sys
    sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "translate.settings")
    django.setup()

通过SSH隧道的本地转发实现Django连接远程数据库

  1. 创建一个ssh隧道,将远程数据库映射到本地端口

    ssh -L local_port:localhost:<remote mysql port> <username>@<remote host>

    ssh连接进行时,可以通过访问本地端口来访问远程数据库

  2. 在Django的settings中配置数据库

    DATABASES = {
    'default': {
    'ENGINE': 'django.db.backends.mysql',
    'NAME': db_name,
    'USER': remote_mysql_user, # 远程数据库账号密码
    'PASSWORD': remote_mysql_password,
    'HOST': "localhost",
    'PORT': local_port, # 远程数据库映射到本地的端口
    'OPTIONS': {'init_command': 'SET default_storage_engine=INNODB;'}
    }
    }

至此,在使用Django的model时,将通过ssh隧道访问远程数据库

注意事项

  1. 事先了解迁徙数据量,并且取5%~10%的数据测试迁徙速度
  2. 由测试数据预估总迁徙用时,如果总迁徙用时大于一小时,一定要把迁徙脚本放到服务器运行,这样迁徙过程不易中断,且服务器性能远比个人电脑更优
  3. 尽量使用批量插入减少写数据库的次数,使用cursor.executemany或者Django的bulk_create
  4. 迁徙过程要写好log,这样能够知道数据迁徙到了哪一步,如意外终端也能找到断点继续运行
  5. 创建时间字段加上auto_add_now会自动记录数据的创建时间,在插入数据的时候对这个字段赋值无效

mysql数据迁徙详解的更多相关文章

  1. MySQL 联合索引详解

    MySQL 联合索引详解   联合索引又叫复合索引.对于复合索引:Mysql从左到右的使用索引中的字段,一个查询可以只使用索引中的一部份,但只能是最左侧部分.例如索引是key index (a,b,c ...

  2. MySQL关闭过程详解和安全关闭MySQL的方法

    MySQL关闭过程详解和安全关闭MySQL的方法 www.hongkevip.com 时间: -- : 阅读: 整理: 红客VIP 分享到: 红客VIP(http://www.hongkevip.co ...

  3. 【转】Nginx+php-fpm+MySQL分离部署详解

    转:http://www.linuxidc.com/Linux/2015-07/120580.htm Nginx+php-fpm+MySQL分离部署详解 [日期:2015-07-26] 来源:Linu ...

  4. Mysql加锁过程详解(8)-理解innodb的锁(record,gap,Next-Key lock)

    Mysql加锁过程详解(1)-基本知识 Mysql加锁过程详解(2)-关于mysql 幻读理解 Mysql加锁过程详解(3)-关于mysql 幻读理解 Mysql加锁过程详解(4)-select fo ...

  5. Mysql加锁过程详解(9)-innodb下的记录锁,间隙锁,next-key锁

    Mysql加锁过程详解(1)-基本知识 Mysql加锁过程详解(2)-关于mysql 幻读理解 Mysql加锁过程详解(3)-关于mysql 幻读理解 Mysql加锁过程详解(4)-select fo ...

  6. Mysql加锁过程详解(1)-基本知识

    Mysql加锁过程详解(1)-基本知识 Mysql加锁过程详解(2)-关于mysql 幻读理解 Mysql加锁过程详解(3)-关于mysql 幻读理解 Mysql加锁过程详解(4)-select fo ...

  7. Mysql加锁过程详解(2)-关于mysql 幻读理解

    Mysql加锁过程详解(1)-基本知识 Mysql加锁过程详解(2)-关于mysql 幻读理解 Mysql加锁过程详解(3)-关于mysql 幻读理解 Mysql加锁过程详解(4)-select fo ...

  8. Mysql加锁过程详解(3)-关于mysql 幻读理解

    Mysql加锁过程详解(1)-基本知识 Mysql加锁过程详解(2)-关于mysql 幻读理解 Mysql加锁过程详解(3)-关于mysql 幻读理解 Mysql加锁过程详解(4)-select fo ...

  9. Mysql加锁过程详解(4)-select for update/lock in share mode 对事务并发性影响

    Mysql加锁过程详解(1)-基本知识 Mysql加锁过程详解(2)-关于mysql 幻读理解 Mysql加锁过程详解(3)-关于mysql 幻读理解 Mysql加锁过程详解(4)-select fo ...

随机推荐

  1. 如何看破真假美猴王 ? --java中的Shadowing和Obscuring

    故事背景 <西游记>第五十七回:唐僧因悟空又打死拦路强盗,再次把他撵走.六耳猕猴精趁机变作悟空模样,抢走行李关文,又把小妖变作唐僧.八戒.沙僧模样,欲上西天骗取真经.真假二悟空从天上杀到地 ...

  2. 读《深入理解Elasticsearch》点滴-查询评分

    计算文档得分的因子: 文档权重(document boost):索引期赋予某个文档的权重值 字段权重(field boost):查询期赋予某个文档的权重值 协调因子(coord):基于文档中词项个数的 ...

  3. mysql replace into使用

    使用mysql插入数据时,我们通常使用的是insert into来处理,replace into有时可以替代insert into功能,但replace into也有自己的用法 准备一张测试表: CR ...

  4. maven手动添加jar包到pom仓库

    此处以顺丰jar包为例: mvn install:install-file -Dfile=D:\TSBrowserDownloads\SF-CSIM-EXPRESS-SDK-V1.-\SF-CSIM- ...

  5. centos7 安装 docker

    一.概念 1.Docker引擎 (docker engine) 也称docker daemon,也称为docker服务,只要启动服务,就可以通过docker client发送相关docker命名,与d ...

  6. aircrack-ng wifi密码破解

    wifi密码破解 步骤1:查看网卡信息 ifconfig 找到你要用到的网卡 步骤2:启动网卡监听模式 airmon-ng start wlan0 我的是wlp2s0 步骤三:查看网卡变化 wlan0 ...

  7. Nginx internal 指令限制访问图片资源文件

    Nginx 的 internal 指令可以用来限制 Web 公共目录下的图片等资源文件被任意用户直接访问.一个明显的使用场景是,对于用户上传的认证图片,属于个人隐私资源,不应该让所有用户都能访问得到, ...

  8. Go语言及Beego框架环境搭建

    在开始环境搭建之前,我们先一起来看看: Go有什么优势: 不用虚拟机,它可直接编译成机器码,除了glibc外没有其他外部依赖,部署十分方便,就是扔一个文件就完成了. 天生支持并发,可以充分的利用多核, ...

  9. Python中的可变对象与不可变对象、浅拷贝与深拷贝

    Python中的对象分为可变与不可变,有必要了解一下,这会影响到python对象的赋值与拷贝.而拷贝也有深浅之别. 不可变对象 简单说就是某个对象存放在内存中,这块内存中的值是不能改变的,变量指向这块 ...

  10. 秘制CSP模板

    不定期更细中...... 声明1:由于js的问题导致VIEW CODE按钮只能点"I"附近才能展开代码 声明2:为了排版的美观,所有的解释以及需要留意的地方我都放在代码中了 声明3 ...