1 下载地址
        版本 sqoop-1.4.6-cdh5.7.0
        安装包  sqoop-1.4.6-cdh5.7.0.tar.gz  上传到hadoop服务器环境
 
2 解压软件
        [root@hdp1 /mnt/software]#tar -zvxf sqoop-1.4.6-cdh5.7.0.tar.gz
 
3 重命名配置文件
        [root@hdp1 /mnt/software/sqoop-1.4.6-cdh5.7.0]#cd conf/
        [root@hdp1 /mnt/software/sqoop-1.4.6-cdh5.7.0/conf]#ls
        oraoop-site-template.xml  sqoop-env-template.sh    sqoop-site.xml
        sqoop-env-template.cmd    sqoop-site-template.xml
        [root@hdp1 /mnt/software/sqoop-1.4.6-cdh5.7.0/conf]#cp sqoop-env-template.sh sqoop-env.sh
 
4 修改配置文件
       [root@hdp1 /mnt/software/sqoop-1.4.6-cdh5.7.0/conf]#vim sqoop-env.sh
        export HADOOP_COMMON_HOME=/mnt/software/hadoop-2.6.0-cdh5.7.0
        export HADOOP_MAPRED_HOME=/mnt/software/hadoop-2.6.0-cdh5.7.0
        export HIVE_HOME=/mnt/software/hive-1.1.0-cdh5.7.0
        export ZOOKEEPER_HOME=/mnt/software/zookeeper-3.4.5-cdh5.7.05
        export ZOOCFGDIR=/mnt/software/zookeeper-3.4.5-cdh5.7.0
 
5 拷贝jdbc驱动 到 Sqoop lib目录
        [root@hdp1 /mnt/software/sqoop-1.4.6-cdh5.7.0/conf]#cp /mnt/software/hive-1.1.0-cdh5.7.0/lib/mysql-connector-java-5.1.45.jar /mnt/software/sqoop-1.4.6-cdh5.7.0/lib/
 
6 验证Sqoop
      配置Sqoop环境变量 
         [root@hdp1 /mnt/software/sqoop-1.4.6-cdh5.7.0/bin]#vim /etc/profile
         export SQOOP_HOME=/mnt/software/sqoop-1.4.6-cdh5.7.0
         export PATH=.:$PATH:$SQOOP_HOME/bin 
        [root@hdp1 /mnt/software/sqoop-1.4.6-cdh5.7.0/bin]#source /etc/profile
        验证Sqoop
        
   
7 测试Sqoop是否能够成功连接数据库
[root@hdp1 /mnt/software/sqoop-1.4.6-cdh5.7.0]#sqoop list-databases --connect jdbc:mysql://hdp1:3306/ --username root --password yourpasswd
 
8 导入数据
(1)确定Mysql服务开启正常
(2)在Mysql中新建一张表并插入一些数据
[root@hdp1 /mnt/software/hive-1.1.0-cdh5.7.0]#mysql -uroot -p yourpasswd
mysql> create database company;
mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
mysql>  insert into company.staff(name, sex) values('ajin', 'Male’);
mysql> insert into company.staff(name, sex) values('awen', 'FeMale');
(3)导入数据
    全部导入
        sqoop import \
--connect jdbc:mysql://hdp1:3306/company \
--username root \
--password yourpasswd \
--table staff \
--target-dir /mnt/software/tmp/sqoopdir \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by  “\t"
 
遇到异常
Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject
 
解决异常 
    这是因为sqoop缺少java-json.jar包. 下载jar包导入lib目录下  http://www.java2s.com/Code/Jar/j/Downloadjavajsonjar.htm
    mv java-json.jar /mnt/software/sqoop-1.4.6-cdh5.7.0/lib
 
继续导入
     再次遇到异常
        
 
设置accumulo目录
[root@hdp1 /mnt/software/tmp]#mkdir /mnt/software/tmp/accumulo
导入环境变量    
[root@hdp1 /mnt/software/tmp]#export ACCUMULO_HOME=/mnt/software/tmp/accumulo
再次导入 成功

Sqoop入门的更多相关文章

  1. [sqoop1.99.7] sqoop入门-下载、安装、运行和常用命令

    一.简介 Apache Sqoop is a tool designed for efficiently transferring data betweeen structured, semi-str ...

  2. 《OD大数据实战》Sqoop入门实例

    官网地址: http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.5-cdh5.3.6/SqoopUserGuide.html 一.环境搭建 1. 下载 s ...

  3. 大数据入门第十二天——sqoop入门

    一.概述 1.sqoop是什么 从其官网:http://sqoop.apache.org/ Apache Sqoop(TM) is a tool designed for efficiently tr ...

  4. 大数据学习——sqoop入门

    下载地址 https://pan.baidu.com/s/1qWDl29L9I_KVU54c0ioNfQ fvfh 3.1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传 ...

  5. 《OD大数据实战》驴妈妈旅游网大型离线数据电商分析平台

    一.环境搭建 1. <OD大数据实战>Hadoop伪分布式环境搭建 2. <OD大数据实战>Hive环境搭建 3. <OD大数据实战>Sqoop入门实例 4. &l ...

  6. sqoop 1.4.4-cdh5.1.2快速入门

    一.快速入门 (一)下载安装 1.下载并解压 wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.2.tar.gz tar - ...

  7. sqoop 1.4.4-cdh5.1.2高速入门

    一.高速入门 (一)下载安装 1.下载并解压 wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.2.tar.gz tar - ...

  8. sqoop 1.4.4-cdh5.1.2快速入门 分类: C_OHTERS 2015-06-06 11:40 208人阅读 评论(0) 收藏

    一.快速入门 (一)下载安装 1.下载并解压 wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.2.tar.gz tar - ...

  9. 大数据框架开发基础之Sqoop(1) 入门

    Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle , ...

随机推荐

  1. JavaScript实现两小时倒计时

    [构思] 因为只需要的是两小时,所以时间直接写死,然后通过setInterval每1000ms对时间进行减1操作 前期未考虑到当时分秒小于10的状态,所以后面又加上了一个checkTime()来进行限 ...

  2. bzoj1003/luogu1772 物流运输 (dijkstra+dp)

    先求出某一段时间[i,j]一直用同一个路径的最短路,乘上天数,记作cost[i,j] 那就可以设f[i]是前i天的最小代价,f[i]=f[j]+cost[j+1,i]+K #include<bi ...

  3. redis中的数据类型

    redis不是一个纯文本kv存储,实际上,它是一个数据结构服务,支持不同类型的value. 包含以下类型: 1.Binary-safe strings. 二进制安全的字符串 2.Lists: coll ...

  4. Android log 方法

    package test; public abstract class Logger { private static Class<? extends Logger> mLoggerCla ...

  5. 【Linux】fg、bg让你的进程在前后台之间切换

    Linux下的fg和bg命令是进程的前后台调度命令,即将指定号码(非进程号)的命令进程放到前台或后台运行.比如一个需要长时间运行的命令,我们就希望把它放入后台,这样就不会阻塞当前的操作:而一些服务型的 ...

  6. P3747 相逢是问候 欧拉定理+线段树

    巨难!!! 去年六省联考唯一的一道黑牌题,我今天一天从早到晚,把它从暴力15分怼到了90分,极端接近正解了. bzoj上A了,但是洛谷和loj上面就不行.伪正解会T,奇奇怪怪的类正解会WA.. 那么, ...

  7. [hdu6148][Valley Numer]

    hdu6148 思路 一个数位dp模板题,注意判断前导0.用一个bz来记录当前是应该增还是可增可减.然后排除不满足条件的情况并进行dp即可. 代码 #include<cstdio> #in ...

  8. 有趣的canvas

    最近看了一本canvas的书,里面对canvas的一些基本知识讲的很详细.相比于一个div加点颜色,我臭屁的觉得使用canvas画长方形正方形圆形之类的是大才小用. 下面我放几个canvas还不错的功 ...

  9. C# 同步工作站与SQL服务器的时间

    /// <summary> /// 设置本机时间 /// </summary> public class LocalTimeSync { [DllImport("Ke ...

  10. HTTP协议和SOCKS5协议

    HTTP协议和SOCKS5协议 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 我们平时上网的时候基本上是离不开浏览器的,尤其是搜索资料的时候,那么这个浏览器是如何工作的呢?用的又是 ...