TiDB数据库 mydumper与loader导入数据

从mysql导出数据最好的方法是使用tidb官方的工具mydumper。

导入tidb最好的方法是使用loader工具，大概19.4G每小时的速度。

详细的步骤可以参考官网：https://pingcap.com/docs-cn/op-guide/migration-overview/

自己的总结：以前将mysq导出数据的时候，是一个大的sql文件，比如这次就是从mysql中导出一个41G大的文件，这是单个的。以为这样子就能使用loader命令导入到tidb中，最后发现错了。loader命令的导入是将一个目录下的sql文件导入到数据库中，那么问题就来了，像我们之前那样只有一个大的sql文件是不能使用loader命令导入数据库的。（这里的loader是tidb官方自己研发的）最后使用了source命令导入了这个大的sql文件。

所以说要使用loader命令导入数据，那么前提是就要用mydumper命令导出数据，这样的数据才能被loader导入进去。

mydumper命令是将一个表导出到一个目录下面，这个表比较大的时候，mydumper就会分成以64M为大小的一个个的小文件（比如这次的41G的文件分成了600多个小文件）。

当然使用导入导出命令也踩了一些坑

报错：

1、导入数据出现10084错误

这是因为端口被占用，导致不能重新写入，使用netstat -lnp| grep 10084命令找到该端口10084的对应的进程，然后使用kill命令杀死进程即可。

2、tidb_loader数据库下check_point表的作用

解释：当我们导入tidb数据库数据之后，这个check_point表都会产生一行数据，用来记录导入数据的状态信息以及导入时间等。

如果你导入一次数据之后，check_point以及记录一次了，这个时候你把导入的那个表删除了，但是没有删除check_point的导入记录，那么现在你继续重新导入之前的那个表，会发现导入失败。

下面是讲解check_point表的作用：

mysql> select * from haha
    -> ;
+------+------+
| id   | name |
+------+------+
|     | chen |
|     | chao |
|     | feng |
+------+------+
 rows in set (0.00 sec)

mysql> drop table haha；
Query OK,  rows affected (0.25 sec)

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| INFORMATION_SCHEMA |
| PERFORMANCE_SCHEMA |
| mob                |
| mysql              |
| test               |
| tidb_loader        |
+--------------------+
 rows in set (0.00 sec)

mysql> use tidb_loader;
Database changed
mysql> show tables;
+-----------------------+
| Tables_in_tidb_loader |
+-----------------------+
| checkpoint            |
+-----------------------+
 row in set (0.00 sec)

mysql> select * from checkpoint;
+--------+---------------+-----------+----------+--------+---------+---------------------+---------------------+
| id     | filename      | cp_schema | cp_table | offset | end_pos | create_time         | update_time         |
+--------+---------------+-----------+----------+--------+---------+---------------------+---------------------+
| 32c716 | test.haha.sql | test      | haha     |      |       | -- :: | -- :: |
+--------+---------------+-----------+----------+--------+---------+---------------------+---------------------+
 row in set (0.00 sec)

mysql> exit
Bye
[tidb@:vg_adn_tidbCkhsTest:54.158.254.36:172.31.30.62 /usr/local/tidb-tools]$sudo bin/loader -h 127.0.0.1 -u root -P  -t  -d /data/haha
// :: printer.go:: [info] Welcome to loader
// :: printer.go:: [info] Release Version: v1.0.0--gbaf98f6
// :: printer.go:: [info] Git Commit Hash: baf98f63ae77b2d9a22e00bb3d1555452b21e4f9
// :: printer.go:: [info] Git Branch: master
// :: printer.go:: [info] UTC Build Time: -- ::
// :: printer.go:: [info] Go Version: go version go1. linux/amd64
// :: main.go:: [info] config: {"log-level":"info","log-file":"","pprof-addr":":10084","pool-size":,"dir":"/data/haha","db":{"host":"127.0.0.1","user":"root","port":},"checkpoint-schema":"tidb_loader","config-file":"","alternative-db":"","source-db":"","route-rules":[],"do-table":null,"do-db":null,"ignore-table":null,"ignore-db":null,"rm-checkpoint":false}
// :: checkpoint.go:: [info] [loader] load checkpoint takes 0.005710 seconds
// :: loader.go:: [info] [loader] prepare takes 0.000085 seconds
// :: checkpoint.go:: [info] calc checkpoint finished. finished tables (map[test.haha:{}])
// :: loader.go:: [info] [loader][run db schema]/data/haha/test-schema-create.sql[start]
// :: db.go:: [warning] [exec][sql][CREATE DATABASE `test` /* !40100 DEFAULT CHARACTER SET utf8 */;][error]Error : Can't create database 'test'; database exists
// :: loader.go:: [info] [loader][database already exists, skip]/data/haha/test-schema-create.sql
// :: loader.go:: [info] [loader][run db schema]/data/haha/test-schema-create.sql[finished]
// :: loader.go:: [info] table (test.haha) has finished, skip.
// :: loader.go:: [info] [loader] create tables takes 0.004609 seconds
// :: loader.go:: [info] [loader] all data files have been dispatched, waiting for them finished
// :: loader.go:: [info] [loader] all data files has been finished, takes 0.004650 seconds
// :: main.go:: [info] loader stopped and exits
[tidb@:vg_adn_tidbCkhsTest:54.158.254.36:172.31.30.62 /usr/local/tidb-tools]$mysql -u root -P  -h 127.0.0.1
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is
Server version: 5.7.-TiDB-v2.0.8 MySQL Community Server (Apache License 2.0)

Copyright (c) , , Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use test
Database changed
mysql> show tables;
Empty set (0.00 sec)

mysql>