mysql垃圾得很!  对于一些小系统还可以。大型系统自己找麻烦--必须有高昂的人工费!

没有高昂的人工(必须有好的程序员和工程师才能解决一些复杂的问题),构建基于大量数据的应用,非常麻烦。

而这些费用,如果用于采购oracle之类的,也许一次只要支付几个月人工就可以解决了。

例如用铁钎挖个小洞是不是很好用?还可以吧。

如果用铁钎挖一个10米深的石洞?可以吗?可以,不过你要付出很多的人工的!例如找很多工人,或者雇佣大力士之类的

俗话不会错的:便宜基本没有好货!

你所经常开发的应用都是基于互联网的吗?如果不是,那么需要谨慎考虑使用mysql

不过这些都是题外话,我们还是来说MYSQL的少量数据迁移吧!

mysql,对于dba而言非常麻烦,尤其是迁移数据的时候,如果数据是几百个G,或者上T之后。

就算不迁移几百个G,迁移几十个M的数据,也是颇为费劲!

--

它让我们非常想念oracle.

开发的时候,有一个要求,要传输20万数据。

用了source,一点也不好用! 各种设置还是和蜗牛差不多!(说实话,我对于mysql基本属于门外汉)

于是只好采用 select into + load data的方式

(版本 8.0.x)

不过在执行前,得先设置

secure_file_priv=''

这样设置的意思是,可以指定任意目录。

如果不再my.cnf等配置参数指定,则默认是NULL,表示不可以导出导入。

secure_file_priv得官方解释是:

The secure_file_priv system variable limits import and export operations to a specific
directory. Create a directory whose location can be specified as the value of that variable:
mkdir mysql-files
Grant directory user and group ownership to the mysql user and mysql group, and set the
directory permissions appropriately:
chown mysql:mysql mysql-files
chmod 750 mysql-files

这个参数的作用类似于oracle的directory概念,不过oracle这个值是非常灵活的。

配置好之后:

源库:

SELECT * INTO OUTFILE  '\data\dump\data.txt' FIELDS TERMINATED BY ',' FROM c117_scores;

目标库:

LOAD DATA INFILE 'e:\\temp\\data.txt' INTO TABLE c117_scores FIELDS TERMINATED BY ',';

速度是快了不少!

--

所以迁移几个表的时候得准备一套脚本,否则让您够受得!

导入几张表的数据,在开发和维护中是很常见的!

可以考虑开发一个小工具用于迁移!不过好像navicate,sqlyog有类似功能!

但依然不够好用,这种专业工具最好稍微配置下,可以批处理执行!

mysql这个垃圾迁移数据费劲半天的更多相关文章

  1. mysql 5.7 迁移数据方案

    从一台服务器迁移至其他服务器,如何选择最短的停服时间方案 方案一.凌晨3点的全备份+停服后一天的大概一天的增备 1. 拷贝前一天的全备份至新的服务器 rsync -auzrP /Data/dbbak/ ...

  2. Mysql ---Sqlserver数据迁移到Mysql(Mysql建表迁移数据)

    1 试用了MysqlWorkBench的数据迁移功能 以为能实现:建立跟Sqlserver一样的表结构和视图的功能,sqlserver的数据迁移到mysql 实际上发现:即使勾选了表和视图,实际上却只 ...

  3. Mysql使用workbench迁移数据

    原文:http://jingyan.baidu.com/article/925f8cb8f3ec25c0dce05644.html 打开Mysql WorkBench,连接到数据库: 首先选中:Man ...

  4. 从MySQL到Redis 提升数据迁移的效率

    场景是从MySQL中将数据导入到Redis的Hash结构中.当然,最直接的做法就是遍历MySQL数据,一条一条写入到Redis中.这样可能没什么错,但是速度会非常慢.而如果能够使MySQL的查询输出数 ...

  5. mysql分库分表,做到永不迁移数据和避免热点

    作者:老顾聊技术   搜云库技术团队  来源:https://www.toutiao.com/i6677459303055491597 一.前言 中大型项目中,一旦遇到数据量比较大,小伙伴应该都知道就 ...

  6. 从mysql向HBase+Phoenix迁移数据的心得总结

    * 转载请注明出处 - yosql473 - 格物致知,经世致用 mysql -> HBase + Phoenix 1.总体方案有哪些? 1)通过Sqoop直接从服务器(JDBC方式)抽取数据到 ...

  7. finedb(内置的HSQL数据库)迁移数据到MySQL

    finedb(内置的HSQL数据库)迁移数据到MySQL 1. 前言 在FineBI中,决策平台的数据(用户.角色.组织机构.权限等信息)是存储在finedb数据库中的,默认情况下finedb是一个内 ...

  8. 从MySQL到Hive,数据迁移就这么简单

    使用Sqoop能够极大简化MySQL数据迁移至Hive之流程,并降低Hadoop处理分析任务时的难度. 先决条件:安装并运行有Sqoop与Hive的Hadoop环境.为了加快处理速度,我们还将使用Cl ...

  9. 解决kettle在两个mysql之间迁移数据时乱码的问题 和 相关报错 及参数调整, 速度优化

    1. 乱码问题 编辑目标数据库的链接: 配置编码参数即可. 2. 报错 No operations allowed after statement closed. 需要调整wait_timeout:  ...

  10. MYSQL大小写(由于数据由windows迁移到Linux导致)

    今日从sqlserver上迁移了一个数据库到Linux的MySQL中,迁移成功了,但是应用却跑不通,查看日志发现,提示找不到表,我注意到,表名都是存在大小写的,而MySQL中的表名都是小写的.这提醒了 ...

随机推荐

  1. dotnet 在 WPF 里显示数学 π 的颜色

    有逗比小伙伴问我,数学的 π 视觉效果是啥.于是我就来写一个逗比的应用将 π 的颜色在 WPF 应用画出来.原理就是读取 π 的小数点后的数值,然后使用逗比算法转换为 RGB 颜色像素,接着将这些像素 ...

  2. dotnet 读 WPF 源代码 聊聊 DispatcherTimer 的实现

    本文来告诉大家在 WPF 框架里面,是如何实现 DispatcherTimer 的功能.有小伙伴告诉我,读源代码系列的博客看不动,原因是太底层了.我尝试换一个方式切入逻辑,通过提问题和解决问题的方法, ...

  3. 读取 k8s 存储在 etcd 上的数据

    读取 k8s 存储在 etcd 上的数据 Etcd Assistant 是一款 Etcd 可视化管理工具,便捷高效地操作您的 etcd 集群:支持多种键的视图:管理租约.用户.角色和权限. etcd是 ...

  4. Oracle和达梦:根据外键名字查询表名

    根据外键名字查询表名 select * from user_cons_columns cl where cl.constraint_name = '外键名';

  5. P10118 『STA - R4』And

    P10118 『STA - R4』And 题意:给定 A,B,求 \(\sum y - x\),其中 x,y 满足: x < y x + y = A x & y = B 对于加运算和与运 ...

  6. 2021“MINIEYE杯”中国大学生算法设计超级联赛(1)

    2021"MINIEYE杯"中国大学生算法设计超级联赛(1) 1001 Mod, Or and Everything 题意: 对于每次输入的数字n,求(n%1)|...(n%n)的 ...

  7. gin 图片上传到本地或者oss

    路由层 func registerCommonRouter(v1 *gin.RouterGroup) { up := v1.Group("upload") { up.POST(&q ...

  8. 技术书籍 — EffectiveMordenCpp 研读

    一.类型推导 PROs: 源码某处的类型修改,可以自动传播其他地方 Cons: 会让代码更复杂(How?) 在模板类型推导时,有引用的实参会被视为无引用,他们的引用会被忽略 template<t ...

  9. Sublime Text 3 初试牛刀

    每次我在其他视频网站上看学习视频的时候,看着老师用的编辑器高大上档次,而我一般用Notepad,和Dreamweaver去编辑网页,需要每一行代码,打进去,效率低.最近看到sublime编辑器,在网上 ...

  10. 已经调试成功的Protues工程用了一段时间后不能用的问题

    已经调试成功的Protues工程,经过一段时间后不能用的问题 主要现象:(1)可以打开,运行时没有效果:(2)可以打开,运行时闪退 解决办法:(1)删除原ARM芯片:(2)重新找到ARM芯片,重新加载 ...