MySQL数据导入到Mongo

背景：如题干所述，需要将一份数据导入到mongo数据库，减少项目依赖的数据源。

解决方案：

使用mongo自带的mongoimport工具。

首先在test库里创建一个空集合：【import_test】，起初用的导入指令如下：

[root@localhost mongodb]# ./bin/mongoimport --host 192.168.104.178: -u adminuser -p  --authenticationDatabase=admin  -d test -c import_test --fields=userid,serial,create_time --type csv -file csvToMongo.csv
--11T18::07.075+    connected to: 192.168.104.178:
--11T18::07.083+    imported  documents

指令讲解：

• --authenticationDatabase：测试集群使用了身份验证，需要在admin库里登陆后，才能操作
• -d：集合所在的库
• --fields：集合中的字段名

结果发现mongo的字段不能正常被创建，如下

只能换一种方式进行导入，后来发现将字段名称写到文件后，再导入就不会有问题，具体如下：

[root@localhost mongodb]# cat myfields.txt
userid
serial
create_time

myfields文件中保存了这三个字段，每行一个，然后执行导入命令：

[root@localhost mongodb]# ./bin/mongoimport --host 192.168.104.178: -u adminuser -p  --authenticationDatabase=admin  -d test -c import_test --fieldFile myfields.txt --type csv --file csvToMongo.csv
--11T18::06.894+    connected to: 192.168.104.178:
--11T18::06.903+    imported  documents

结果如下：

最后贴上测试用的csv数据：

[root@localhost mongodb]# cat csvToMongo.csv
,,-- ::
,,-- ::
,,-- ::
,,-- ::
,,-- ::
,,-- ::
,,-- ::
,,-- ::
,,-- ::
,,-- ::
,,-- ::
,,-- ::
,,-- ::
,,-- ::
,,-- ::

 注意：最后的最后，我终于知道为什么字段名不正常了，和mongo的指令无关，只是第一个指令最后一个参数写的有误，file前面只有一个横杠“-”，如果写两个横杠，也一样有正确的结果，哈哈哈

./bin/mongoimport --host 192.168.104.178:17017 -u adminuser -p 112233 --authenticationDatabase=admin  -d test -c import_test --fields=userid,serial,create_time --type csv --file csvToMongo.csv

说完了。

补充一个json文件的导入指令

./bin/mongoimport --host 192.168.104.178:17017 -u adminuser -p 112233 --authenticationDatabase=admin --drop  -d test -c session_info --file jsonToMongo.json -j 10

-j，多线程跑，可以自定义
--drop，导入之前先清空表里所有数据