Sqoop:
    1、sqoop从数据库中导入数据到HDFS
    2、SQOOP从数据库导入数据到hive
    3、sqoop从hive中将数据导出到数据库
 
sqoop底层还是执行的mapreduce程序,,但是特殊的地方只有map TASK
    可以实现:企业级数据仓库、文档型系统、关系型数据库<-->
 
sqoop安装:
    1、tar -zxvf sqoop-1.4.6-cdh5.5.2.tar.gz
    2、将mysql的驱动包mysql-connector-java-5.1.43.jar拷贝到sqoop home/lib下面
        cp mysql-connector-java-5.1.43.jar sqoop-1.4.6-cdh5.5.2/lib/
    3、配置环境变量
        export SQOOP_HOME=/yang/sqoop-1.4.6-cdh5.5.2
        export PATH=$PATH:$SQOOP_HOME/bin
    4、配置SQOOP ,cd sqoop-1.4.6-cdh5.5.2/conf/
        mv sqoop-env-template.sh sqoop-env.sh
        
        export HADOOP_COMMON_HOME=/yang/hadoop-2.6.5
        export HADOOP_MAPRED_HOME=/yang/hadoop-2.6.5
        export HBASE_HOME=/yang/hbase-1.2.5
        export HIVE_HOME=/yang/apache-hive-2.1.1-bin
 
    5、source /etc/profile
    6、sqoop version
 
 开始使用:
        前提:mysql可以正常使用
        hdfs服务开启start-dfs.sh start-yarn.sh
        hive服务开启 nohup hive --service metastore &
 查看数据库有哪些表
            sqoop list-tables --connect jdbc:mysql://192.168.100.121:3306/big_data --username root -P
            或者(上面大写P会让你在控制台输入密码)
            sqoop list-tables --connect jdbc:mysql://192.168.100.121:3306/big_data --username root --password 1234
            sqoop list-tables --connect jdbc:mysql://192.168.100.121:3306/big_data --username root -P
 
 #使用 sqoop将数据库的数据导入到 Hdfs(地址使用默认地址/user/$user/tabname)
斜杠后面不能有空格 而且需要启动yarn,因为要sqoop底层要执行mapreduce
当执行报错;classwrite的时候加入:--driver com.mysql.jdbc.Driver \
sqoop import \
--driver com.mysql.jdbc.Driver \
--username root \
--password 1234 \
--table t_area 需要放入那张表
            
             #使用指定的输出目录 --target-dir /tmp \
            #使用指定的并发数量 -m 2
sqoop import \
--driver com.mysql.jdbc.Driver \
--username root \
--password 1234 \
--table t_area \
--target-dir /sqoop \
-m 2
#使用sqoop将HDFS文件导出到 MYSQL 表中,默认MAP为 4个 ,先将空表建好t_area_copy1
sqoop export \
--driver com.mysql.jdbc.Driver \
--table t_area_copy1 \
--username root \
--password 1234 \
 
mysql导入到hive:
    注意需要启动服务:hive服务开启 nohup hive --service metastore &
                    再来启动hive
     #使用自定义的条件,并且过滤字段,并发数为1
#切分的字段可以更改为另外一个字段  
sqoop import \
--hive-import \
--hive-table t_area \
--username root \
--password 1234 \
--query "SELECT * from t_area where \$CONDITIONS"  \ //将mysql中的表导入到hive表t_area
--fields-terminated-by "," \ //按,分割,首先在hive中将表建好(z字段对应),并按,分割
--lines-terminated-by "\n" \
--target-dir /tmp/aa \ //临时存放的目录
-m 1
异常:org.apache.hadoop.hive.conf.HiveConf
    Make sure HIVE_CONF_DIR is set correctly
    解决:
    在/etc/profile下面加上:
        HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
        分布发送到其他主机上 source 一下
    
sqoop export \
将hive的数据导出到mysql:是通过hdfs中的路径导入到mysql中
如果需要通过导入指定行的话,需要建立中间表
--driver com.mysql.jdbc.Driver \
--table t_area1 \    //导入到mysql表t_area1
--username root \
--password 1234 \    
--export-dir /user/hive/warehose/t_area \          这个文件路径从hdfs上知道
--input-fields-terminated-by ',' 是以,分割的  

Sqoop(一)安装及基本使用的更多相关文章

  1. Hadoop 2.6.0-cdh5.4.0集群环境搭建和Apache-Hive、Sqoop的安装

    搭建此环境主要用来hadoop的学习,因此我们的操作直接在root用户下,不涉及HA. Software: Hadoop 2.6.0-cdh5.4.0 Apache-hive-2.1.0-bin Sq ...

  2. sqoop的安装

    Sqoop是一个用来完成Hadoop和关系型数据库中的数据相互转移的工具, 他可以将关系型数据库(MySql,Oracle,Postgres等)中的数据导入Hadoop的HDFS中, 也可以将HDFS ...

  3. Hive/Hbase/Sqoop的安装教程

    Hive/Hbase/Sqoop的安装教程 HIVE INSTALL 1.下载安装包:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3 ...

  4. Sqoop的安装及简单使用

    SQOOP是用于对数据进行导入导出的. (1)把MySQL.Oracle等数据库中的数据导入到HDFS.Hive.HBase中   (2)把HDFS.Hive.HBase中的数据导出到MySQL.Or ...

  5. Sqoop的安装配置及使用

    一.Sqoop基础:连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念 Hadoop正成为企业用于大数据分析的最热门选择,但想将你的数据移植过去并不容易.Apache Sqoop正在加 ...

  6. Sqoop环境安装

    环境下载 首先将下载的 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz放到 /usr/hadoop/目录下(该目录可以自定义,一般为Hadoop集群安装目录),然 ...

  7. Sqoop的安装和验证

    Sqoop是一个用来完成Hadoop和关系型数据库中的数据相互转移的工具,它可以将关系型数据库中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中. Kafka是一个开源 ...

  8. 【sqoop】安装配置测试sqoop1

    3.1.1 下载sqoop1:sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 3.1.2 解压并查看目录: [hadoop@hadoop01 ~]$ tar -zxvf sq ...

  9. 大数据之路week07--day06 (Sqoop 的安装及配置)

    Sqoop 的安装配置比较简单. 提供安装需要的安装包和连接mysql的驱动的百度云链接: 链接:https://pan.baidu.com/s/1pdFj0u2lZVFasgoSyhz-yQ 提取码 ...

  10. Sqoop 之 安装

    Sqoop 之 安装 前言 安装 Sqoop 的前提是已经具备 Java 和 Hadoop 的环境. 一.下载并解压 1) 下载地址:http://mirrors.hust.edu.cn/apache ...

随机推荐

  1. PyQt(Python+Qt)学习随笔:QTreeView树形视图的sortingEnabled属性

    老猿Python博文目录 专栏:使用PyQt开发图形界面Python应用 老猿Python博客地址 QTreeView树形视图的sortingEnabled属性用于控制视图中的数据是否启用按表头排序, ...

  2. 笔试题.NET基础代码面试题

    题目如下,本随笔只是记录,都是一些自身面经的题目,您既然点开了的话,学习下无妨,说不定有帮助呢 以下答案都经过博主一个个去运行过. 题目1 (实例化后 x=?;y=? 输出什么): public cl ...

  3. 半夜删你代码队 Day3冲刺

    一.每日站立式会议 1.站立式会议 成员 昨日完成工作 今日计划工作 遇到的困难 陈惠霖 了解相关网页设计 了解相关网页设计 无 侯晓龙 写了第一个例子 尝试写第一个实例子 无 周楚池 学习 与余金龙 ...

  4. 返回sourceString 中出现的第一个 searchString 的索引

    <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...

  5. 美国SEC主席离任,Panda Global 前瞻数字资产监管政策变化

    在上上个周末,也就是6月20号,美国的证券行业发生了一件值得反复回味的的事情--美国SEC现任主席Jay Clayton宣布即将离任,对于数字资产行业而言,未来监管政策将如何演变突然有了无限的遐想空间 ...

  6. Java设计模式(一)——单例模式

    简介 定义: 确保一个类只有一个实例,并提供一个全局访问点来访问这个唯一实例. 单例类拥有一个私有构造函数,确保用户无法通过 new 来直接实例化它.类中包含一个静态私有成员变量与静态公有的工厂方法, ...

  7. Struts2 S2-061(CVE-2020-17530)漏洞复现

    0x00 漏洞简介 Apache Struts2框架是一个用于开发Java EE网络应用程序的Web框架.Apache Struts于2020年12月08日披露 S2-061 Struts 远程代码执 ...

  8. SecureCRT无法退格删除

    SecureCRT无法退格删除 securecrt无法退格删除问题解决: 如果想要全部会话都可以实现退格删除的功能,需要在全局选项设置. 最后选择全局应用即可.

  9. Mybatis(二)--SqlMapConfig.xml配置文件

    一.简介 SqlMapConfig.xml是Mybatis的全局配置文件,我们在写mybatis项目时,在SqlMapConfig.xml文件中主要配置了数据库数据源.事务.映射文件等,其实还有很多配 ...

  10. [日常摸鱼]bzoj2463 [中山市选2009]谁能赢呢?

    题意:两个人在$n*n$的棋盘上玩游戏,一开始棋子在左上角,可以上下左右的走到没有走过的地方,最后不能走的那个输,两个人都采取最优决策问哪个赢 猜结论!$n$为偶数则先手赢,否则后手赢. 考虑用$1* ...