sqoop使用以及常见问题

1、hdfs文件的权限问题

问题分析与解决：

根据报错信息是hdfs文件的权限问题，命令进入集群执行的用户为null，而hdfs文件所有者为hdfs。

要么以用户hdfs执行命令，要么调整hdfs文件的权限，因为我只是使用hdfs文件的其中之一，暂时考虑：以hdfs用户执行命令。

在~/.bash_profile文件增加：

export HADOOP_USER_NAME=hdfs

2、文件格式问题

hive sequencefile导入文件遇到FAILED: SemanticException Unable to load data to destination table. Error: The file that you are trying to load does not match the file format of the destination table.错误

原因

这是因为SequenceFile的表不能使用load来加载数据，只能导入sequence类型的数据

解决办法

先创建一个临时表（save as textfile），将数据导入进去，
然后再导入这个表里 insert into table test_sq select * from test_tex

3、错误：ERROR tool.ImportTool: Error during import: No primary key could be found for table TRANS_GJJY02. Please specify one with –split-by or perform a sequential import with ‘-m 1’.

根据错误提示我们可以知道这是因为表中的数据没有设置主键。而针对这个问题有两种杰解决方案：

方案一：老老实实地在表中设置主键，然后再执行这个导入语句，就不会出错。

方案二：有些数据无法设置主键，比如很多的监测记录数据，找不到唯一值，针对这种数据，我们可以根据上面的错误提示通过以下两个方法来解决：

（1）将你的map个数设置为1（Sqoop默认是4）

-m 1

(2)使用–split-by，后面跟上表的最后一列名字。从而能够对数据进行分行，命令如下：

–split-by column1

这两种解决方法，推荐使用方法（2），因为方法（1）只用一个map，效率太低，相比较而言，方法（2）可以自己设置map个数，效率会高一些。

4、Output directory already exists错误

增加配置参数 –delete-target-dir \

5、实例：sqoop从MySQL导入数据到Hive

sqoop import \

–connect jdbc:mysql://ip:3306/test \

–username root \

–password 123456\

–table users\

–fields-terminated-by ‘\t’ \

–delete-target-dir \

–num-mappers 1 \

–hive-import \

–hive-database sqoop\

–hive-table users

参数解释：

import：从MySQL导入到HDFS文件系统数据

–connect：数据库JDBC连接字符串

–username：数据库用户名

–password：数据库密码

–table：数据库表名

–columns：数据库列名

–where: 查询条件

–query: 指定查询sql

–delete-target-dir 导入后删除hdfs的目录

–num-mappers 1 指定map数量=1，可以简写为 -m 1

–hive-import 导入hive

–hive-database sqoop hive的database

–hive-table users hive表

–hive-partition-key 分区字段

–hive-partition-value 分区值

–hive-overwrite 覆盖数据

实际上import命令，从MySQL导入到HDFS文的背后依然是执行的MapReduce。执行完map后，又执行了load data

如果导出的数据库是mysql 则可以添加一个属性 –direct ,加了 direct 属性在导出mysql数据库表中的数据会快一点执行的是mysq自带的导出功能