sqoop-介绍及安装

1.sqoop概述

　　sqoop是Apache旗下一款hadoop和关系数据库服务器之间传送数据的工具；

　　核心的功能：

　　　　导入，迁入（从关系型数据库-->hdfs hive hbase）

　　　　导出，迁出（从hdfs hive hbase-->关系型数据库）

　　导入数据：mysql，Oracle导入数据到hadoop的HDFS，hive，hbase等数据存储系统；

　　导出数据：从hadoop的文件系统中导出数据到关系型数据库mysql等；sqoop的本质还是一个命令行工具，和HDFS，hive相比，并没有什么高深的理论；

　　　　

2.工作机制

　　将导入或导出命令翻译成MapReduce程序来实现，在翻译出MapReduce中主要是对inputfromat和outputformat进行定制；

3.安装

　　3.1 前提概述

　　　　将来sqoop在使用的时候有可能会跟那些系统或者组件打交道？

　　　　　　HDFS，MapReduce，yarn，zookeeper，hive，hbase，mysql；

　　　　如果你的sqoop工具将来要进行hive或者hbase等等的系统与mysql实现交互，你安装的sqoop软件的节点一定要包含以上你要使用的集群或者软件系统的安装包；

　　3.2 软件下载

　　　　下载地址：http://mirrors.hust.edu.cn/apache/

　　　　

　　3.3 安装步骤

　　　　3.3.1 上传并解压文件

tar -zxvf sqoop-1.4..bin__hadoop-2.6..tar.gz 

　　　　3.3.2 重命名sqoop目录

mv sqoop-1.4..bin__hadoop-2.6. sqoop

　　　　3.3.3 进入到sqoop的conf目录下，将sqoop-env-template.sh文件更名为sqoop-env.sh文件

mv sqoop-env-template.sh sqoop-env.sh

　　　　3.3.4 修改sqoop-env.sh文件

vim sqoop-env.sh 

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/module/hadoop

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/module/hadoop

#set the path to where bin/hbase is available
export HBASE_HOME=/opt/module/hbase

#Set the path to where bin/hive is available
export HIVE_HOME=/opt/module/hive

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/opt/module/zookeeper/conf

　　　　3.3.5 将mysql数据库连接的驱动包复制到sqoop安装的lib目录下

　　　　　　

　　　　3.3.6 配置系统环境变量　　　　

vim /etc/profile

export SQOOP_HOME=/opt/module/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

source /etc/profile　　　　#刷新文件

　　　　3.3.7 验证是否安装成功

sqoop-version