大数据之路week07--day07 （Sqoop 从mysql增量导入到HDFS）

我们之前导入的都是全量导入，一次性全部导入，但是实际开发并不是这样，例如web端进行用户注册，mysql就增加了一条数据，但是HDFS中的数据并没有进行更新，但是又再全部导入一次又完全没有必要。

所以，sqoop提供了增量导入的方法。

1、数据准备：

2、将其先用全量导入到HDFS中去

3、先在mysql中添加一条数据，在使用命令进行追加

 #指定字段的取值范围，增量到数据(指的是Mysql增加了一条或多条数据，追加到HDFS中去,
 如果想追加到hive本来的数据中去就把路径换成hive的路径)
 # 适用于表不断的有新数据插入

sqoop import \
--connect jdbc:mysql://master:3306/student \
--username root \
--password  \
--table student_zeng \
--target-dir /user/hive/warehouse/sqlhivetest.db/student_zeng/ \
--split-by id \
-m  \
--fields-terminated-by '\t' \
--incremental append \
--check-column id \
--last-value 

4、根据时间进行大量追加（不去重）

 追加
 sqoop import \
 --connect jdbc:mysql://master:3306/student \
 --username root \
 --password  \
 --target-dir /user/hive/warehouse/sqlhivetest.db/student_zeng/ \
 --table student_zeng \
 --fields-terminated-by '\t' \
 --check-column last_mod \
 --incremental lastmodified \
 --last-value "2019-12-19 20:57:16" \
 -m  \
 --append 

结果：但是我们发现有两个重复的字段

5、往往开发中需要进行去重操作：sqoop提供了一个方法进行去重，内部是先开一个map任务将数据导入进来，然后再开一个map任务根据指定的字段进行合并去重

#根据业务可能需要去重  -merge-key 就是做这个事

sqoop import \
--connect jdbc:mysql://master:3306/student \
--username root \
--password  \
--target-dir /user/hive/warehouse/sqlhivetest.db/student_zeng/ \
--table student_zeng \
--fields-terminated-by '\t' \
--check-column last_mod \
--incremental lastmodified \
--last-value "2019-12-19 22:00:09" \
-m  \
-merge-key id 

结果：

 之前有重复的也进行合并去重操作，最后生成一个结果。