sqoop简单import使用

一、sqoop作用？

sqoop是一个数据交换工具，最常用的两个工具是导入导出。

导入导出的参照物是hadoop，向hadoop导数据就是导入。

二、sqoop的版本？

sqoop目前有两个版本，1.4.X为sqoop1；1.99.X为sqoop2。两个版本不兼容。

三、使用sqoop列出mysql下的所有数据库

(my_python_env)[root@hadoop26 ~]# sqoop list-databases --connect jdbc:mysql://localhost:3306 --username root --password 123456
information_schema
hive
mysql
test

四、Import工具的使用

4.1将mysql中的某张表导入到hdfs上，现在test下有一张person表

4.2执行sqoop语句

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 -table person

4.3在hdfs用户的家目录下，产生了一个person文件夹

(my_python_env)[root@hadoop26 ~]# hadoop fs -ls
Found  items
drwx------   - root supergroup           -- : .Trash
drwxr-xr-x   - root supergroup           -- : person
(my_python_env)[root@hadoop26 ~]# hadoop fs -ls person
Found  items
-rw-r--r--    root supergroup           -- : person/_SUCCESS
-rw-r--r--    root supergroup          -- : person/part-m-
-rw-r--r--    root supergroup          -- : person/part-m-
(my_python_env)[root@hadoop26 ~]# hadoop fs -cat person/part-*
,zhangsan,false
,lisi,true

4.4delete-target-dir参数

当再次执行sqoop语句的时候，会报错，因为person文件夹已经存在了，我们需要先删除这个文件夹再运行sqoop语句。

也可以使用sqoop提供的delete-target-dir参数

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 -table person --delete-target-dir

4.5append参数

如果目标文件夹在hdfs上已经存在，那么再次运行就会报错。可以使用--delete-target-dir来先删除目录。也可以使用append来往目录下追加数据。append和delete-target-dir是相互冲突的。

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person --append

执行完成后，查看hdfs上的文件

(my_python_env)[root@hadoop26 ~]# hadoop fs -ls person
Found  items
-rw-r--r--    root supergroup           -- : person/_SUCCESS
-rw-r--r--    root supergroup          -- : person/part-m-
-rw-r--r--    root supergroup          -- : person/part-m-
-rw-r--r--    root supergroup          -- : person/part-m-
-rw-r--r--    root supergroup          -- : person/part-m-

4.6target-dir参数

上述的所有操作都是吧mysql中的数据写到一个默认的目录下，可以使用target-dir来指定hdfs的目录名

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person --append --target-dir person-mysql

查看hdfs上的目录

(my_python_env)[root@hadoop26 ~]# hadoop fs -ls
Found  items
drwx------   - root supergroup           -- : .Trash
drwxr-xr-x   - root supergroup           -- : _sqoop
drwxr-xr-x   - root supergroup           -- : person
drwxr-xr-x   - root supergroup           -- : person-mysql

4.7map的个数

现在mysql表person中的数据增加到了11条

再次执行sqoop语句来导入

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --delete-target-dir --table person --target-dir person-mysql

查看hdfs上的目录

(my_python_env)[root@hadoop26 ~]# hadoop fs -ls person-mysql
Found  items
-rw-r--r--    root supergroup           -- : person-mysql/_SUCCESS
-rw-r--r--    root supergroup          -- : person-mysql/part-m-
-rw-r--r--    root supergroup          -- : person-mysql/part-m-
-rw-r--r--    root supergroup          -- : person-mysql/part-m-
-rw-r--r--    root supergroup          -- : person-mysql/part-m-

从上面的结果可以发现，这个作业启动了4个map任务，所以sqoop默认配置就是4个map，用户也可以通过-m参数，自己指定map的数量

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --delete-target-dir --table person --target-dir person-mysql -m 1

查看hdfs上的目录发现，这次只启动了一个map任务

(my_python_env)[root@hadoop26 ~]# hadoop fs -ls person-mysql
Found  items
-rw-r--r--    root supergroup           -- : person-mysql/_SUCCESS
-rw-r--r--    root supergroup         -- : person-mysql/part-m-

4.8where参数

where参数可以进行一些简单的筛选

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --delete-target-dir --table person --target-dir person-mysql -m 1 --where "gender=0"

(my_python_env)[root@hadoop26 ~]# hadoop fs -cat person-mysql/part*
,zhangsan,false
,,false
,,false
,,false
,,false
,,false
,,false
,,false

4.9query参数

query参数就可以让用户随意写sql语句来查询了。query和table参数是互斥的。

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --delete-target-dir --target-dir person-mysql -m 1 --query "select * from person where name='003' and gender=0 and \$CONDITIONS"

(my_python_env)[root@hadoop26 ~]# hadoop fs -cat person-mysql/part-*
,,false

4.10压缩

如果想要使得导入到hdfs上的数据被压缩，就可以使用-z或者--compression-codec来进行压缩，-z压缩方式是gzip压缩，--compression-codec可以自定义压缩方式

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --delete-target-dir --target-dir person-mysql -m 1 --table person -z

查看hdfs上的结果：

(my_python_env)[root@hadoop26 ~]# hadoop fs -ls person-mysql
Found  items
-rw-r--r--    root supergroup           -- : person-mysql/_SUCCESS
-rw-r--r--    root supergroup          -- : person-mysql/part-m-.gz

使用Snappy方式压缩

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --delete-target-dir --target-dir person-mysql -m 1 --table person --compression-codec org.apache.hadoop.io.compress.SnappyCodec

4.11空值处理

像如图id=12的记录是没有name和gender的，如果不加处理，导入到hdfs上是这样子的：

(my_python_env)[root@hadoop26 ~]# hadoop fs -cat person-mysql/part*
,zhangsan,false
,lisi,true
,,false
,,false
,,true
,,false
,,false
,,false
,,false
,,true
,,false
,null,null

sqoop提供了--null-string来处理字符类型的空值，提供了--null-non-string来处理非字符类型的空值。

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --delete-target-dir --target-dir person-mysql -m 1 --table person --null-string "" --null-non-string "false"

执行结果是：

(my_python_env)[root@hadoop26 ~]# hadoop fs -cat person-mysql/part*
,zhangsan,false
,lisi,true
,,false
,,false
,,true
,,false
,,false
,,false
,,false
,,true
,,false
,,false

4.12增量传输

增量导入的一个场景就是昨天导入了一批数据，今天又增加了部分数据，现在要把这部分数据也导入到hdfs中。

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456  --target-dir person-mysql -m 1 --table person --null-string "" --null-non-string "false" --check-column "id" --incremental append --last-value 5

执行结果是：

(my_python_env)[root@hadoop26 ~]# hadoop fs -cat person-mysql/part-m-
,,false
,,false
,,false
,,false
,,true
,,false
,,false