一、快速入门

(一)下载安装

1、下载并解压

wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.2.tar.gz

tar -zxvf sqoop-1.4.4-cdh5.1.2.tar.gz



2、将sqoop中的命令添加至$PATH中

export PATH=$PATH:/home/jediael/setupfile/sqoop-1.4.4-cdh5.1.2/bin



3、验证安装

jediael@jediael:~/setupfile/sqoop-1.4.4-cdh5.1.2/bin$ source /etc/profile

……..

15/05/15 09:47:37 INFO sqoop.Sqoop: Running Sqoop version: 1.4.4-cdh5.1.2

Sqoop 1.4.4-cdh5.1.2

……..



(二)在mysql中准备数据

1、创建数据库交授权

create database sqoop;

use sqoop;

GRANT ALL PRIVILEGES ON sqoop.* TO ''@'localhost';





2、创建表

create table widgets(

    id int not null primary key auto_increment,

    widget_name varchar(64) not null,

    price decimal(10,2),

    design_date date,

    version int,

    design_comment varchar(100));



3、插入数据

insert into widgets values(null, 'sprocket', 0.25, '2010-02-10', 1, 'Connects two gizmos');

insert into widgets values(null, 'gizmos', 4.00, '2009-11-30', 4, null);

insert into widgets values(null, 'gadget', 99.99, '193-08-13', 13, 'Our flagship product');    



(三)将mysql中的数据导入hdfs

1、准备jdbc connector,并将之入到sqoop/lib目录下

wget http://cdn.mysql.com/Downloads/Connector-J/mysql-connector-java-5.1.35.tar.gz

tar -zxvf mysql-connector-java-5.1.35.tar.gz

cp mysql-connector-java-5.1.35-bin.jar ../sqoop-1.4.4-cdh5.1.2/lib/



2、导入数据

sqoop import --connect jdbc:mysql://localhost/sqoop --table widgets -m 1



3、查看数据

$ hadoop fs -cat widgets/part-m-00000

15/05/15 10:29:29 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

1,sprocket,0.25,2010-02-10,1,Connects two gizmos

2,gizmos,4.00,2009-11-30,4,null

3,gadget,99.99,0193-08-13,13,Our flagship product



4、import除了将数据导入hdfs中,还在当前目录生成了widgets.java文件。

还可以使用以下命令只生成java类,而不进行实际的导入:

sqoop import --connect jdbc:mysql://localhost/sqoop --table widgets --class-name widget







二、sqoop与hive

(一)将数据导入hive

1、若仅需要将mysql中的数据导入sqoop中,则可以执行以下命令

sqoop import --connect jdbc:mysql://localhost/sqoop --table widgets -m 1 --hive-import

验证数据:

hive> select * from widgets;

OK

1    sprocket    0.25    2010-02-10    1    Connects two gizmos

2    gizmos    4.0    2009-11-30    4    null

3    gadget    99.99    0193-08-13    13    Our flagship product

Time taken: 1.299 seconds, Fetched: 3 row(s)



2、若需要先将mysql中的数据导入hdfs,再从hdfs中导入hive

(1)将数据导入hdfs:见上面。

(2)创建表

sqoop create-hive-table --connect jdbc:mysql://localhost/sqoop --table widgets --fields-terminated-by ‘,'

这会根据mysql中的表结构直接创建一个hive表。

(3)将hdfs中的数据导入hive中

hive> load data inpath "widgets" into table widgets;

此时数据存储在/user/hive/warehouse/widgets



(二)在hive中进行数据分析

1、创建hive表,用于保存分析结果

create table widgets_sum(sum int);



2、分析

hive> insert into table widgets_sum select count(1) from  widgets;



(三)将数据导出到mysql

1、在mysql中创建表,用于保存从hive中导出的结果

create table widgets_sum(sum int);

注意,sqoop能够根据mysql的结构自动生成hive表,但反之不行,必须手工建表

2、sqoop export --connect jdbc:mysql://localhost/sqoop -m 1 --table widgets_sum --export-dir /user/hive/warehouse/widgets_sum --input-fields-terminated-by '\0001







异常:

1、若没执行GRANT ALL PRIVILEGES ON sqoop.* TO ''@'localhost’;

则会出现以下异常:

15/05/15 10:25:28 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user ''@'localhost' (using password: NO)

java.sql.SQLException: Access denied for user ''@'localhost' (using password: NO)

sqoop 1.4.4-cdh5.1.2快速入门的更多相关文章

  1. sqoop 1.4.4-cdh5.1.2快速入门 分类: C_OHTERS 2015-06-06 11:40 208人阅读 评论(0) 收藏

    一.快速入门 (一)下载安装 1.下载并解压 wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.2.tar.gz tar - ...

  2. Hive数仓之快速入门(二)

    上次已经讲了<Hive数据仓库之快速入门一>不记得的小伙伴可以点击回顾一下,接下来我们再讲Hive数据仓库之快速入门二 DQL hive中的order by.distribute by.s ...

  3. Hadoop生态圈-大数据生态体系快速入门篇

    Hadoop生态圈-大数据生态体系快速入门篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.大数据概念 1>.什么是大数据 大数据(big data):是指无法在一定时间 ...

  4. 大数据技术之_09_Flume学习_Flume概述+Flume快速入门+Flume企业开发案例+Flume监控之Ganglia+Flume高级之自定义MySQLSource+Flume企业真实面试题(重点)

    第1章 Flume概述1.1 Flume定义1.2 Flume组成架构1.2.1 Agent1.2.2 Source1.2.3 Channel1.2.4 Sink1.2.5 Event1.3 Flum ...

  5. 1.2 Hadoop快速入门

    1.2 Hadoop快速入门 1.Hadoop简介 Hadoop是一个开源的分布式计算平台. 提供功能:利用服务器集群,根据用户定义的业务逻辑,对海量数据的存储(HDFS)和分析计算(MapReduc ...

  6. Web Api 入门实战 (快速入门+工具使用+不依赖IIS)

    平台之大势何人能挡? 带着你的Net飞奔吧!:http://www.cnblogs.com/dunitian/p/4822808.html 屁话我也就不多说了,什么简介的也省了,直接简单概括+demo ...

  7. SignalR快速入门 ~ 仿QQ即时聊天,消息推送,单聊,群聊,多群公聊(基础=》提升)

     SignalR快速入门 ~ 仿QQ即时聊天,消息推送,单聊,群聊,多群公聊(基础=>提升,5个Demo贯彻全篇,感兴趣的玩才是真的学) 官方demo:http://www.asp.net/si ...

  8. 前端开发小白必学技能—非关系数据库又像关系数据库的MongoDB快速入门命令(2)

    今天给大家道个歉,没有及时更新MongoDB快速入门的下篇,最近有点小忙,在此向博友们致歉.下面我将简单地说一下mongdb的一些基本命令以及我们日常开发过程中的一些问题.mongodb可以为我们提供 ...

  9. 【第三篇】ASP.NET MVC快速入门之安全策略(MVC5+EF6)

    目录 [第一篇]ASP.NET MVC快速入门之数据库操作(MVC5+EF6) [第二篇]ASP.NET MVC快速入门之数据注解(MVC5+EF6) [第三篇]ASP.NET MVC快速入门之安全策 ...

随机推荐

  1. jQuery的选择器中的通配符[id^='code'] 【转】

    JQuery 1.选择器 (1)通配符: $("input[id^='code']");//id属性以code开始的所有input标签 $("input[id$='cod ...

  2. WebSocket 支持的浏览器

    http://caniuse.com/#feat=websockets

  3. COJ 0578 4019二分图判定

    4019二分图判定 难度级别: B: 编程语言:不限:运行时间限制:1000ms: 运行空间限制:51200KB: 代码长度限制:2000000B 试题描述 给定一个具有n个顶点(顶点编号为0,1,… ...

  4. 强联通 HDU 1269

    第一道强联通的题目纪念一下! 主要是模版 tarjan算法 #include <iostream> #include <cstdlib> #include <cstdio ...

  5. (2015年郑州轻工业学院ACM校赛题) E 汇编原理

    此题属于比较麻烦的模拟题,比赛的时候是队友写的, 比赛结束之后自己也写了一遍,感觉对复杂模拟的掌控还是不行! 解析: 我感觉 ADD操作 和 MOV操作比较类似 所以就写在了一块,MUL操作单独写就行 ...

  6. Android子线程更新主界面

    学习什么的还是要真正的有应用,有需求才能在最短的时间里面牢牢掌握一项技术. 今天就是这样的,产品一个需求下来,十万火急啊.然后之前只稍稍接触过,只能硬着头皮上了.最后牢牢地掌握了最简单的Handler ...

  7. Delphi TdxBarmanager

    在 Form 上放一个 BarManager鼠标右键它,可以建立一个 MainToolBar,鼠标右键MainToolBar,建什么随便你选.只不过,最后设置一下 BarManager 的 Image ...

  8. 蓝牙4.0 BLE 开发

    在BLE开发中的一些随记,供大家参考: 凡事皆有状态 低功耗蓝牙背后有个基本的概念:任何事务都有状态.状态可以是任何东西:当前的温度,设备里电池的状态,设备名称或者对测量温度的地点的描述.它通过属性服 ...

  9. HDOJ 2131 Probability

    Problem Description Mickey is interested in probability recently. One day , he played a game which i ...

  10. 对于AttributeError: 'Flask' object has no attribute 'cli'的解决办法

    版权声明:本文为博主原创文章,未经博主允许不得转载. 环境flask-script2.0.5.flask0.10.1 运行官方文档sample 出现问题 c:\kk\flask\examples\fl ...