sqoop工具介绍（hdfs与关系型数据库进行数据导入导出）

数据表

第一类：数据库中的数据导入到HDFS上

#数据库驱动jar包用mysql-connector-java-5.1.-bin，否则有可能报错!
　　./sqoop import --connect jdbc:mysql://localhost:3306/erpdb --username root --password 123456 --table tbl_dep --columns 'uuid, name, tele'
:<<!
　　输出：
　　　　part-m-:
　　　　　　,总裁办,
　　　　　　,采购部,
　　　　　　,销售部,
　　　　part-m-:
　　　　　　,运输中心,
　　　　　　,库管中心,
　　　　　　,人力资源,
　　　　part-m-:
　　　　　　,财务部,
　　　　part-m-:
　　　　　　,,
　　!

#指定输出路径、指定数据分隔符
　　./sqoop import --connect jdbc:mysql://localhost:3306/erpdb --username root --password 123456 --table tbl_dep --target-dir '/sqoop/td' --fields-terminated-by '\t'
:<<!
　　输出：
　　　　part-m-:
　　　　　　 总裁办
　　　　　　 采购部
　　　　　　 销售部
　　　　part-m-:
　　　　　　 运输中心
　　　　　　 库管中心
　　　　　　 人力资源
　　　　part-m-:
　　　　　　    财务部
　　　　part-m-:
　　　　　　
　　!

#指定Map数量 -m
　　./sqoop import --connect jdbc:mysql://localhost:3306/erpdb --username root --password 123456 --table tbl_dep --target-dir '/sqoop/td1' --fields-terminated-by '\t' -m 2
:<<!
　　输出：
　　　　part-m-:
　　　　　　 总裁办
　　　　　　 采购部
　　　　　　 销售部
　　　　　　    运输中心
　　　　　　    库管中心
　　　　　　    人力资源
　　　　part-m-:
　　　　　　    财务部
　　　　　　
　　!

#增加where条件, 注意：条件必须用引号引起来
　　./sqoop import --connect jdbc:mysql://localhost:3306/erpdb --username root --password 123456 --table tbl_dep --where 'uuid>3' --target-dir '/sqoop/td2'
:<<!
　　输出：
　　　　part-m-:
　　　　　　    运输中心
　　　　　　    库管中心
　　　　　　    人力资源
　　　　part-m-:
　　　　　　    财务部
　　　　part-m-:
　　　　part-m-:
　　　　　　
　　!

#增加query语句(可使用 \ 将语句换行)
　　./sqoop import --connect jdbc:mysql://localhost:3306/erpdb --username root --password 123456 --query 'SELECT * FROM tbl_dep where uuid > 2 AND $CONDITIONS' --split-by tbl_dep.uuid --target-dir '/sqoop/td3'
:<<!
　　输出：
　　　　part-m-:
　　　　　　 销售部
　　　　　　    运输中心
　　　　　　    库管中心
　　　　part-m-:
　　　　　　    人力资源
　　　　　　    财务部
　　　　part-m-:
　　　　part-m-:
　　　　　　
　　注意：如果使用--query这个命令的时候，需要注意的是where后面的参数，AND $CONDITIONS这个参数必须加上,而且存在单引号与双引号的区别，如果--query后面使用的是双引号，那么需要在$CONDITIONS前加上\即\$CONDITIONS,如果设置map数量为1个时即-m ，不用加上--split-by ${tablename.column}，否则需要加上
!

第二类：将HDFS上的数据导出到数据库中(不要忘记指定分隔符)

./sqoop export --connect jdbc:mysql://localhost:3306/erpdb --username root --password 123456 --export-dir '/sqoop/td3' --table aaa -m 1 --fields-terminated-by ','