Sqoop:
    1、sqoop从数据库中导入数据到HDFS
    2、SQOOP从数据库导入数据到hive
    3、sqoop从hive中将数据导出到数据库
 
sqoop底层还是执行的mapreduce程序,,但是特殊的地方只有map TASK
    可以实现:企业级数据仓库、文档型系统、关系型数据库<-->
 
sqoop安装:
    1、tar -zxvf sqoop-1.4.6-cdh5.5.2.tar.gz
    2、将mysql的驱动包mysql-connector-java-5.1.43.jar拷贝到sqoop home/lib下面
        cp mysql-connector-java-5.1.43.jar sqoop-1.4.6-cdh5.5.2/lib/
    3、配置环境变量
        export SQOOP_HOME=/yang/sqoop-1.4.6-cdh5.5.2
        export PATH=$PATH:$SQOOP_HOME/bin
    4、配置SQOOP ,cd sqoop-1.4.6-cdh5.5.2/conf/
        mv sqoop-env-template.sh sqoop-env.sh
        
        export HADOOP_COMMON_HOME=/yang/hadoop-2.6.5
        export HADOOP_MAPRED_HOME=/yang/hadoop-2.6.5
        export HBASE_HOME=/yang/hbase-1.2.5
        export HIVE_HOME=/yang/apache-hive-2.1.1-bin
 
    5、source /etc/profile
    6、sqoop version
 
 开始使用:
        前提:mysql可以正常使用
        hdfs服务开启start-dfs.sh start-yarn.sh
        hive服务开启 nohup hive --service metastore &
 查看数据库有哪些表
            sqoop list-tables --connect jdbc:mysql://192.168.100.121:3306/big_data --username root -P
            或者(上面大写P会让你在控制台输入密码)
            sqoop list-tables --connect jdbc:mysql://192.168.100.121:3306/big_data --username root --password 1234
            sqoop list-tables --connect jdbc:mysql://192.168.100.121:3306/big_data --username root -P
 
 #使用 sqoop将数据库的数据导入到 Hdfs(地址使用默认地址/user/$user/tabname)
斜杠后面不能有空格 而且需要启动yarn,因为要sqoop底层要执行mapreduce
当执行报错;classwrite的时候加入:--driver com.mysql.jdbc.Driver \
sqoop import \
--driver com.mysql.jdbc.Driver \
--username root \
--password 1234 \
--table t_area 需要放入那张表
            
             #使用指定的输出目录 --target-dir /tmp \
            #使用指定的并发数量 -m 2
sqoop import \
--driver com.mysql.jdbc.Driver \
--username root \
--password 1234 \
--table t_area \
--target-dir /sqoop \
-m 2
#使用sqoop将HDFS文件导出到 MYSQL 表中,默认MAP为 4个 ,先将空表建好t_area_copy1
sqoop export \
--driver com.mysql.jdbc.Driver \
--table t_area_copy1 \
--username root \
--password 1234 \
 
mysql导入到hive:
    注意需要启动服务:hive服务开启 nohup hive --service metastore &
                    再来启动hive
     #使用自定义的条件,并且过滤字段,并发数为1
#切分的字段可以更改为另外一个字段  
sqoop import \
--hive-import \
--hive-table t_area \
--username root \
--password 1234 \
--query "SELECT * from t_area where \$CONDITIONS"  \ //将mysql中的表导入到hive表t_area
--fields-terminated-by "," \ //按,分割,首先在hive中将表建好(z字段对应),并按,分割
--lines-terminated-by "\n" \
--target-dir /tmp/aa \ //临时存放的目录
-m 1
异常:org.apache.hadoop.hive.conf.HiveConf
    Make sure HIVE_CONF_DIR is set correctly
    解决:
    在/etc/profile下面加上:
        HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
        分布发送到其他主机上 source 一下
    
sqoop export \
将hive的数据导出到mysql:是通过hdfs中的路径导入到mysql中
如果需要通过导入指定行的话,需要建立中间表
--driver com.mysql.jdbc.Driver \
--table t_area1 \    //导入到mysql表t_area1
--username root \
--password 1234 \    
--export-dir /user/hive/warehose/t_area \          这个文件路径从hdfs上知道
--input-fields-terminated-by ',' 是以,分割的  

Sqoop(一)安装及基本使用的更多相关文章

  1. Hadoop 2.6.0-cdh5.4.0集群环境搭建和Apache-Hive、Sqoop的安装

    搭建此环境主要用来hadoop的学习,因此我们的操作直接在root用户下,不涉及HA. Software: Hadoop 2.6.0-cdh5.4.0 Apache-hive-2.1.0-bin Sq ...

  2. sqoop的安装

    Sqoop是一个用来完成Hadoop和关系型数据库中的数据相互转移的工具, 他可以将关系型数据库(MySql,Oracle,Postgres等)中的数据导入Hadoop的HDFS中, 也可以将HDFS ...

  3. Hive/Hbase/Sqoop的安装教程

    Hive/Hbase/Sqoop的安装教程 HIVE INSTALL 1.下载安装包:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3 ...

  4. Sqoop的安装及简单使用

    SQOOP是用于对数据进行导入导出的. (1)把MySQL.Oracle等数据库中的数据导入到HDFS.Hive.HBase中   (2)把HDFS.Hive.HBase中的数据导出到MySQL.Or ...

  5. Sqoop的安装配置及使用

    一.Sqoop基础:连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念 Hadoop正成为企业用于大数据分析的最热门选择,但想将你的数据移植过去并不容易.Apache Sqoop正在加 ...

  6. Sqoop环境安装

    环境下载 首先将下载的 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz放到 /usr/hadoop/目录下(该目录可以自定义,一般为Hadoop集群安装目录),然 ...

  7. Sqoop的安装和验证

    Sqoop是一个用来完成Hadoop和关系型数据库中的数据相互转移的工具,它可以将关系型数据库中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中. Kafka是一个开源 ...

  8. 【sqoop】安装配置测试sqoop1

    3.1.1 下载sqoop1:sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 3.1.2 解压并查看目录: [hadoop@hadoop01 ~]$ tar -zxvf sq ...

  9. 大数据之路week07--day06 (Sqoop 的安装及配置)

    Sqoop 的安装配置比较简单. 提供安装需要的安装包和连接mysql的驱动的百度云链接: 链接:https://pan.baidu.com/s/1pdFj0u2lZVFasgoSyhz-yQ 提取码 ...

  10. Sqoop 之 安装

    Sqoop 之 安装 前言 安装 Sqoop 的前提是已经具备 Java 和 Hadoop 的环境. 一.下载并解压 1) 下载地址:http://mirrors.hust.edu.cn/apache ...

随机推荐

  1. 被老猿误解的Python匿名函数lambda

    在<第2.3节 Python运算符大全>老猿这样描述lambda:"上述运算符中有个lambda,这是个lambda就是用来定义一个匿名函数的.老猿认为用处不大,具体内容大家可以 ...

  2. PyQt(Python+Qt)学习随笔:QAbstractItemView的editTriggers属性以及平台编辑键(platform edit key )

    老猿Python博文目录 老猿Python博客地址 editTriggers属性 editTriggers属性用于确认哪些用户操作行为会触发ItemView中的数据项进入编辑模式. 此属性是由枚举类E ...

  3. PyQt(Python+Qt)学习随笔:Qt Designer中部件的enabled属性

    enabled属性非常简单,最开始老猿没准备介绍该属性的,因为大家都应该知道,但仔细看了看官网文章,觉得还是有些细节可能很少有人注意到,因此还是在此介绍一下. enabled属性用于表示部件是否可用, ...

  4. flask中SQLAlchemy学习

    ------------------------------------2019-08-22 17:53:54更新------------------------------ SQLALchemy实在 ...

  5. 【Alpha冲刺阶段】Scrum Meeting Daily2

    [Alpha冲刺阶段]Scrum Meeting Daily2 1.会议简述 会议开展时间 2020/5/23 8:30-9:00 PM 会议基本内容摘要 讨论了基础的分工,以及明确了各自模块需要完成 ...

  6. 微信小程序图片上传和裁剪

    本篇博客用于解决微信小程序图片裁剪问题 图片裁剪常用于头像选择和图片合成等. 图片裁剪解决方案: 目前网络上知名的微信小程序图片裁剪插件是we-cropper(文末有链接) 操作步骤:下载好we-cr ...

  7. Java 方法内联

    什么是Java 方法内联? 我们先来看看普遍的内联函数含义.在维基百科中解释为: 内联函数:在计算机科学中,内联函数(有时称作在线函数或编译时期展开函数)是一种编程语言结构,用来建议编译器对一些特殊函 ...

  8. Spark性能调优篇一之任务提交参数调整

    问题一:有哪些资源可以分配给spark作业使用? 答案:executor个数,cpu per exector(每个executor可使用的CPU个数),memory per exector(每个exe ...

  9. 职场PUA,管理者的五宗罪

    在目前的社会环境下,程序员似乎成了"弱势群体".我们经常谈论的职场PUA已经成为程序员的代名词. 我一直在想,为什么这么多管理者能力会这么差. 但最后最吃亏的还是可怜的程序员. 也 ...

  10. Python----Flask Web框架(一)

    Flask是一个轻量级的基于Python的web框架. 本文适合有一定HTML.Python.网络基础的同学阅读. 1. 简介 这份文档中的代码使用 Python 3 运行.是的,所以读者需要自己在电 ...