大数据入门到精通18--sqoop 导入关系库到hdfs中和hive表中

一，选择数据库，这里使用标准mysql sakila数据库

mysql -u root -D sakila -p

二。首先尝试把表中的数据导入到hdfs文件中，这样后续就可以使用spark来dataframe或者rdd来处理数据

sqoop import --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --table rental --target-dir "SqoopImport/rental" --num-mappers 1

\\SqoopImport 目录必须有，rental 目录可以不存在

三。如果要导入到hive里面，要使用 --warehouse参数。

sqoop import --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --table rental --warehouse-dir "/user/hive/warehouse/sakila.db" --num-mappers 2

\\因为之前我们已经全表导入过一次了，会提示文件已经存在的错误

hadoop fs -mv /user/hive/warehouse/sakila.db/rental /user/hive/warehouse/sakila.db/rental2
\\把原来的目录移走
sqoop import --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --table rental --warehouse-dir "/user/hive/warehouse/sakila.db" --num-mappers 2

四。也可以通过sqoop命令来查看hive的元数据库。

1.查看多少个数据库

sqoop list-databases --connect "jdbc:mysql://host03.xyy:3306" --username root --password root

2.查看多少给表

sqoop list-tables --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root

3.sqoop执行select语句。

sqoop eval --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --query "select * from rental limit 10"

五。导入hive或者hdfs中使用追加模式

sqoop import --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --table rental --where "date(return_date) < '2005-07-30'" --warehouse-dir "/user/hive/warehouse/sakila.db" --append --num-mappers 2

Total MapReduce CPU Time Spent: 9 seconds 250 msec
OK
23191
Time taken: 30.055 seconds, Fetched: 1 row(s)
hive>
\\原来数据hive里面的表格数据是16044条，重新append一批数据以后百年城23191条
\\apend 也可以应用 hdfs文件中，和target-dir配合使用

六。导入hdfs和hive中使用删除模式

sqoop import --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --table rental --where "date(return_date) < '2005-07-30'" --warehouse-dir "/user/hive/warehouse/sakila.db" --delete-target-dir --num-mappers 2

OK
7147
Time taken: 32.115 seconds, Fetched: 1 row(s)
hive>
\\--delete-target-dir 是删除模式导入，清空原来的数据，这个命令也可以在导入hdfs下使用

注意以上例子中都是使用了where条件的导入。

七。关于导入数据的并行数量

前面几个例子都是使用了--num-mapper 2 也就是两个并行。

实际上默认是因为原来的mysql表中有主键，如果没有主键是不能直接指定并行为2 的。因为系统不知道怎么切割数据。

如果要并行需要使用另外一个参数

在mysql中执行复制一个表格
create table customer_copy like customer;
insert into customer_copy select * from customer

sqoop import --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --table customer_copy --warehouse-dir "/user/hive/warehouse/sakila.db" --delete-target-dir -split-by address_id --num-mappers 2

八。sqoop全表导入

//导入数据库mysql到hive

sqoop import-all-tables --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --hive-import --hive-database sakila  --m 2

如果其中部分表格没有主键 并行就有问题。需要使用一个参数 --autoreset-to-one-mapper

sqoop import-all-tables --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --warehouse-dir  "SqoopImport/sakila"   --autoreset-to-one-mapper --m 2

这样对于没有主键的自动变成一个map去处理

九。文件格式

通过参数决定每个表存入hdfs中的格式

--as-textfile  （default）
--as-avrodatafile
--as-sequencefile
--as-parquetfile

10.sqoop import参数列表

Argument	Description
--append	Append data to an existing dataset in HDFS
--as-avrodatafile	Imports data to Avro Data Files
--as-sequencefile	Imports data to SequenceFiles
--as-textfile	Imports data as plain text (default)
--as-parquetfile	Imports data to Parquet Files
--boundary-query <statement>	Boundary query to use for creating splits
--columns <col,col,col…>	Columns to import from table
--delete-target-dir	Delete the import target directory if it exists
--direct	Use direct connector if exists for the database
--fetch-size <n>	Number of entries to read from database at once.
--inline-lob-limit <n>	Set the maximum size for an inline LOB
-m,--num-mappers <n>	Use n map tasks to import in parallel
-e,--query <statement>	Import the results of statement.
--split-by <column-name>	Column of the table used to split work units. Cannot be used with --autoreset-to-one-mapper option.
--split-limit <n>	Upper Limit for each split size. This only applies to Integer and Date columns. For date or timestamp fields it is calculated in seconds.
--autoreset-to-one-mapper	Import should use one mapper if a table has no primary key and no split-by column is provided. Cannot be used with --split-by <col>option.
--table <table-name>	Table to read
--target-dir <dir>	HDFS destination dir
--temporary-rootdir <dir>	HDFS directory for temporary files created during import (overrides default "_sqoop")
--warehouse-dir <dir>	HDFS parent for table destination
--where <where clause>	WHERE clause to use during import
-z,--compress	Enable compression
--compression-codec <c>	Use Hadoop codec (default gzip)
--null-string <null-string>	The string to be written for a null value for string columns
--null-non-string <null-string>	The string to be written for a null value for non-string columns