sqoop 从数据库导入数据到hdfs

前提 配置hadoop配置文件

前提 启动hadoop

配置hive

改名进入sqoop/conf 增加环境变量

tar xf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/src/
cd /usr/local/src/
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop
cd /usr/local/src/sqoop/conf/
cp sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh    #添加配置

export HADOOP_COMMON_HOME=/usr/local/src/hadoop
export HADOOP_MAPRED_HOME=/usr/local/src/hadoop
export HBASE_HOME=/usr/local/src/hbase
export HIVE_HOME=/usr/local/src/hive

配置sqoop变量

vi /etc/profile.d/sqoop.sh
export SQOOP_HOME=/usr/local/src/sqoop
export PATH=$SQOOP_HOME/bin:$PATH
export CLASSPATH=$CLASSPATH:$SQOOP_HOME/lib
# 保存以上配置使配置文件生效
source /etc/profile.d/sqoop.sh
echo $PATH       #验证
cp /opt/software/mysql-connector-java-5.1.46.jar /usr/local/src/sqoop/lib/

在master上执行启动sqoop集群

su - hadoop
start-all.sh
# 执行以上命令后要确保master上有NameNode、SecondaryNameNode、ResourceManager进程，slave节点上要有DataNode、NodeManager进程
sqoop list-databases --connect jdbc:mysql://master:3306 --username root -P    #查看sqoop能否发现master里的5个数据库
# 如果以上命令执行后能看到以下5个数据库则表示启动成功，且能正常连接数据库
information_schema
hive
mysql
performance_schema
sys

连接hive配置(在master上执行）

cp /usr/local/src/hive/lib/hive-common-2.0.0.jar  /usr/local/src/sqoop/lib/
mysql -uroot -pHuawei123$
mysql> create database sample;
mysql> use sample;
mysql> create table student(number char(9) primary key, name varchar(10));
mysql> insert into student values('01','zhangsan'),('02','lisi'),('03','wangwu');
mysql> select * from student;
+--------+----------+
| number | name     |
+--------+----------+
| 01     | zhangsan |
| 02     | lisi     |
| 03     | wangwu   |
+--------+----------+
3 rows in set (0.00 sec)
mysql> quit
# 如果能看到以上三条记录则表示数据库中表创建成功
# 在 Hive 中创建 sample 数据库和 student 数据表
hive
hive> create database sample;
hive> use sample;
hive> create table student(number STRING,name STRING);
hive> exit;   #mysql 创建数据后

将mysql里的数据导入进hive里

 sqoop import --connect jdbc:mysql://master:3306/sample --username root --password Password123! --table student --fields-terminated-by '|' --    delete-target-dir --num-mappers 1 --hive-import --hive-database sample --hive-table student

查看

hive
hive> select * from sample.student;
OK
01|zhangsan	NULL
02|lisi	NULL
03|wangwu	NULL
Time taken: 1.556 seconds, Fetched: 3 row(s)
hive> exit;
# 能看到以上内容则表示将数据从mysql导入到hive成功了。

hive导入mysql

首先在mysql里创建对应的表
create table fox(number char(9) primary key, name varchar(10));
导入对应表
sqoop export --connect "jdbc:mysql://master:3306/sample?useUnicode=true&characterEncoding=utf-8" --username root --password Huawei123$ --table fox --input-fields-terminated-by '|' --export-dir /user/hive/warehouse/sample.db/student/*
mysql> select * from fox
    -> ;
+--------+----------+
| number | name     |
+--------+----------+
| 01     | zhangsan |
| 02     | lisi     |
| 03     | wangwu   |
+--------+----------+
3 rows in set (0.00 sec)

mysql>
# 能看到以上内容则表示从hadoop集群的hive中导出数据到mysql数据库成功。

sqoop常用命令

列出所有数据库

[hadoop@master src]$ sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password Huawei123$

连接 MySQL 并列出 sample 数据库中的表

[hadoop@master src]$ sqoop list-tables --connect "jdbc:mysql://master:3306/sample?useSSL=false" --username root --password Huawei123$

将关系型数据的表结构复制到 hive 中,只是复制表的结构，表中的内容没有复制过去

[hadoop@master src]$ sqoop create-hive-table  --connect jdbc:mysql://master:3306/sample  --table student --username root --password Huawei123$ --hive-table mqy

hive导入表内容

[hadoop@master src]$ sqoop import --connect jdbc:mysql://master:3306/sample --username root --password  Huawei123$ --table student --fields-terminated-by '|' --delete-target-dir --num-mappers 1 --hive-import --hive-database default --hive-table test

从mysql中导出表内容到HDFS文件中

[hadoop@master src]$ sqoop import --connect jdbc:mysql://master:3306/sample --username root --password Password123! --table student --num-mappers 1 --target-dir /user/test

查看hdfs的文件

[hadoop@master src]$ hdfs dfs -ls /user/test
Found 2 items
-rw-r--r--   3 hadoop supergroup          0 2022-04-29 17:05 /user/test/_SUCCESS
-rw-r--r--   3 hadoop supergroup         30 2022-04-29 17:05 /user/test/part-m-00000
[hadoop@master src]$ hdfs dfs -cat /user/test/part-m-00000
01,zhangsan
02,lisi
03,wangwu
[hadoop@master src]$