Sqoop简介及使用

一、Sqoop概述
    1）官网
    http://sqoop.apache.org/
    2）场景
    传统型缺点，分布式存储。把传统型数据库数据迁移。
    Apache Sqoop（TM）是一种用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据的工具。

二、Sqoop安装部署
    1）下载安装包
    2）解压
    tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
    3)修改配置
    mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop
    cd sqoop/conf
    mv sqoop-env-template.sh sqoop-env.sh

    vi sqoop-env.sh
    export HADOOP_COMMON_HOME=/root/hd/hadoop-2.8.4
    export HADOOP_MAPRED_HOME=/root/hd/hadoop-2.8.4
    export HIVE_HOME=/root/hd/hive
    export ZOOCFGDIR=/root/hd/zookeeper-3.4.10/conf
    4）发送mysql驱动到sqoop/lib下
    5）检测是否安装成功
    bin/sqoop help

三、Sqoop的import命令

    执行mysql -uroot -proot进入mysql命令行
    准备数据：
    create database sq;
    use sq;
    create table user(id int primary key auto_increment,name varchar(20),addr varcher(200));
    insert into user(id,name,addr) values(1,"zhangsan","beijing");
    insert into user(id,name,addr) values(2,"lisi","shanghai");
    select * from user;

    create table user1(id int primary key auto_increment,name varchar(20));
    insert into user1(id,name) values(1,"haha");
    insert into user1(id,name) values(2,"hongqigong");
    select * from user1;

    1）数据从mysql中导入到hdfs当中
    bin/sqoop import --connect jdbc:mysql://hd09-1:3306/sq --username root --password root --table user --target-dir /sqoop/datas
    --delete-target-dir --num-mappers 1 --fields-terminated-by "\t"
    2）数据mysql中导入到hdfs当中进行筛选
    bin/sqoop import --connect jdbc:mysql://hd09-1:3306/sq --username root --password root --target-dir /sqoop/selectdemo --delete-target-dir
    --num-mappers 1 --fields-terminated-by "\t" --query 'select * from user where id<=1 and $CONDITIONS'
    3）通过where筛选
    bin/sqoop import --connect jdbc:mysql://hd09-1:3306/sq --username root --password root --target-dir /sqoop/selectdemo2 --delete-target-dir
    --num-mappers 1 --fields-terminated-by "\t" --table user --where "id<=1"
    4）mysql导入到hive
    需要先创建hive表：
    create table user_sqoop(id int,name string) row format delimited fields terminated by '\t';

    bin/sqoop import --connect jdbc:mysql://hd09-1:3306/sq --username root --password root --table user1 --num-mappers 1
    --hive-import --fields-terminated-by "\t" --hive-overwrite --hive-table user_sqoop

四、问题：hiveconf
    解决：
    vi ~/.bash_profile
    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/root/hd/hive/lib/*
    
　　 mysql权限问题：
    grant all privileges on *.* to root@'%' identified by "root";
    flush privileges;

五、Sqoop的export命令
    需求：Hive/hdfs的数据导出到mysql
    1）根据hive中的字段创建mysql表
    create table user1(id int primary key auto_increment,name varchar(20));
    2）编写sqoop启动命令
    bin/sqoop export --connect jdbc:mysql://hd09-1:3306/sq --username root --password root --table user1 --num-mappers 1
    --export-dir /user/hive/warehouse/user_sqoop --input-fields-terminated-by "\t"
    3)mysql中查看数据是否导入
    select * from user1;

六、Sqoop打包脚本的使用
    1）创建文件夹
    mkdir sqoopjob
    2）创建文件脚本
    vi job_hdfs2mysql.opt
    export
    --connect
    jdbc:mysql://hd09-1:3306/sq
    --username
    root
    --password
    root
    --table
    user1
    --num-mappers
    1
    --export-dir
    /user/hive/warehouse/user_sqoop
    --input-fields-terminated-by
    "\t"
    注意：一行命令 一行值
    3）执行脚本文件
    bin/sqoop --options-file /root/sqoopjob/job_hdfs2mysql.opt

七、sqoop常用命令
    命令　　　　　　　　　　   说明
    import                 将数据导入到集群
    export                 将集群数据导出
    codegen                将某数据库中表生成javaBean并打包为jar
    eval                   查看sql执行结果
    create­hive­table  　　　 创建hive表
    import­all­tables  　　　 导入某个数据库中所有表到hdfs中
    list­tables             列出某个数据库下的所有表
    merge                  将hdfs中不同目录下的数据合并在一起
    version V              查看sqoop版本
    help                   查看帮助信息

八、sqoop常用参数
    参数 　　　　　　　　　　  说明
    –connect               连接关系型数据库URL
    –connection­manager     指定连接管理类
    –driver                JDBC的driver class
    –username              连接数据库的用户名
    –password              连接数据库的密码
    –verbose               在控制台中打印详细信息
    –help                  查看帮助
    –hive­import            将关系型数据库导入到hive表中
    –hive­overwrite         覆盖掉hive表中已存在的数据
    –create­hive­table       创建hive表
    –hive­table             接入hive表
    –table                 指定关系型数据库的表名