一、快速入门

(一)下载安装

1、下载并解压

wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.2.tar.gz

tar -zxvf sqoop-1.4.4-cdh5.1.2.tar.gz



2、将sqoop中的命令添加至$PATH中

export PATH=$PATH:/home/jediael/setupfile/sqoop-1.4.4-cdh5.1.2/bin



3、验证安装

jediael@jediael:~/setupfile/sqoop-1.4.4-cdh5.1.2/bin$ source /etc/profile

……..

15/05/15 09:47:37 INFO sqoop.Sqoop: Running Sqoop version: 1.4.4-cdh5.1.2

Sqoop 1.4.4-cdh5.1.2

……..



(二)在mysql中准备数据

1、创建数据库交授权

create database sqoop;

use sqoop;

GRANT ALL PRIVILEGES ON sqoop.* TO ''@'localhost';





2、创建表

create table widgets(

    id int not null primary key auto_increment,

    widget_name varchar(64) not null,

    price decimal(10,2),

    design_date date,

    version int,

    design_comment varchar(100));



3、插入数据

insert into widgets values(null, 'sprocket', 0.25, '2010-02-10', 1, 'Connects two gizmos');

insert into widgets values(null, 'gizmos', 4.00, '2009-11-30', 4, null);

insert into widgets values(null, 'gadget', 99.99, '193-08-13', 13, 'Our flagship product');    



(三)将mysql中的数据导入hdfs

1、准备jdbc connector,并将之入到sqoop/lib目录下

wget http://cdn.mysql.com/Downloads/Connector-J/mysql-connector-java-5.1.35.tar.gz

tar -zxvf mysql-connector-java-5.1.35.tar.gz

cp mysql-connector-java-5.1.35-bin.jar ../sqoop-1.4.4-cdh5.1.2/lib/



2、导入数据

sqoop import --connect jdbc:mysql://localhost/sqoop --table widgets -m 1



3、查看数据

$ hadoop fs -cat widgets/part-m-00000

15/05/15 10:29:29 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

1,sprocket,0.25,2010-02-10,1,Connects two gizmos

2,gizmos,4.00,2009-11-30,4,null

3,gadget,99.99,0193-08-13,13,Our flagship product



4、import除了将数据导入hdfs中,还在当前目录生成了widgets.java文件。

还可以使用以下命令只生成java类,而不进行实际的导入:

sqoop import --connect jdbc:mysql://localhost/sqoop --table widgets --class-name widget







二、sqoop与hive

(一)将数据导入hive

1、若仅需要将mysql中的数据导入sqoop中,则可以执行以下命令

sqoop import --connect jdbc:mysql://localhost/sqoop --table widgets -m 1 --hive-import

验证数据:

hive> select * from widgets;

OK

1    sprocket    0.25    2010-02-10    1    Connects two gizmos

2    gizmos    4.0    2009-11-30    4    null

3    gadget    99.99    0193-08-13    13    Our flagship product

Time taken: 1.299 seconds, Fetched: 3 row(s)



2、若需要先将mysql中的数据导入hdfs,再从hdfs中导入hive

(1)将数据导入hdfs:见上面。

(2)创建表

sqoop create-hive-table --connect jdbc:mysql://localhost/sqoop --table widgets --fields-terminated-by ‘,'

这会根据mysql中的表结构直接创建一个hive表。

(3)将hdfs中的数据导入hive中

hive> load data inpath "widgets" into table widgets;

此时数据存储在/user/hive/warehouse/widgets



(二)在hive中进行数据分析

1、创建hive表,用于保存分析结果

create table widgets_sum(sum int);



2、分析

hive> insert into table widgets_sum select count(1) from  widgets;



(三)将数据导出到mysql

1、在mysql中创建表,用于保存从hive中导出的结果

create table widgets_sum(sum int);

注意,sqoop能够根据mysql的结构自动生成hive表,但反之不行,必须手工建表

2、sqoop export --connect jdbc:mysql://localhost/sqoop -m 1 --table widgets_sum --export-dir /user/hive/warehouse/widgets_sum --input-fields-terminated-by '\0001







异常:

1、若没执行GRANT ALL PRIVILEGES ON sqoop.* TO ''@'localhost’;

则会出现以下异常:

15/05/15 10:25:28 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user ''@'localhost' (using password: NO)

java.sql.SQLException: Access denied for user ''@'localhost' (using password: NO)

版权声明:本文为博主原创文章,未经博主允许不得转载。

sqoop 1.4.4-cdh5.1.2快速入门 分类: C_OHTERS 2015-06-06 11:40 208人阅读 评论(0) 收藏的更多相关文章

  1. 【solr专题之一】Solr快速入门 分类: H4_SOLR/LUCENCE 2014-07-02 14:59 2403人阅读 评论(0) 收藏

    一.Solr学习相关资料 1.官方材料 (1)快速入门:http://lucene.apache.org/solr/4_9_0/tutorial.html,以自带的example项目快速介绍发Solr ...

  2. 快速幂取模 分类: ACM TYPE 2014-08-29 22:01 95人阅读 评论(0) 收藏

    #include<stdio.h> #include<stdlib.h> //快速幂算法,数论二分 long long powermod(int a,int b, int c) ...

  3. HIVE快速入门 分类: B4_HIVE 2015-06-06 11:27 59人阅读 评论(0) 收藏

    (一)简单入门 1.创建一个表 create table if not exists ljh_emp( name string, salary float, gender string) commen ...

  4. Gora快速入门 分类: C_OHTERS 2015-01-30 09:55 465人阅读 评论(0) 收藏

    概述 Gora是apache的一个开源项目. The Apache Gora open source framework provides an in-memory data model and pe ...

  5. Rightmost Digit(快速幂+数学知识OR位运算) 分类: 数学 2015-07-03 14:56 4人阅读 评论(0) 收藏

    C - Rightmost Digit Time Limit:1000MS Memory Limit:32768KB 64bit IO Format:%I64d & %I64u Submit ...

  6. 定位导致物化视图无法快速刷新的原因 分类: H2_ORACLE 2013-08-08 23:04 335人阅读 评论(0) 收藏

    转载自:http://yangtingkun.itpub.net/post/468/13318 物化视图的快速刷新采用了增量的机制,在刷新时,只针对基表上发生变化的数据进行刷新.因此快速刷新是物化视图 ...

  7. 快速查询本机IP 分类: windows常用小技巧 2014-04-15 09:28 138人阅读 评论(0) 收藏

    第一步: 点击windows建(屏幕左下方),在搜索程序和文件文本框内输入:cmd 第二步:      点击Enter建进入. 第三步: 输入:ipconfig即可. 版权声明:本文为博主原创文章,未 ...

  8. mysql快速入门 分类: B6_MYSQL 2015-04-28 14:31 284人阅读 评论(0) 收藏

      debian方式: apt-get install mysql-server-5.5 mysql -u root -p   redhat安装方式 一.下载并解压 $ wget http://cdn ...

  9. Mahout快速入门教程 分类: B10_计算机基础 2015-03-07 16:20 508人阅读 评论(0) 收藏

    Mahout 是一个很强大的数据挖掘工具,是一个分布式机器学习算法的集合,包括:被称为Taste的分布式协同过滤的实现.分类.聚类等.Mahout最大的优点就是基于hadoop实现,把很多以前运行于单 ...

随机推荐

  1. POJ 3039 搜索??? (逼近)

    思路: 抄的题解 这叫搜索? 难以理解 我觉得就是枚举+逼近 //By SiriusRen #include <cmath> #include <cstdio> #includ ...

  2. OpenCV —— 图像局部与部分分割(一)

    背景减除 一旦背景模型建立,将背景模型和当前的图像进行比较,然后减去这些已知的背景信息,则剩下的目标物大致就是所求的前景目标了 缺点 —— 该方法基于一个不长成立的假设:所有像素点是独立的 场景建模 ...

  3. golang语言入门及安装

    golang语言入门及安装 go语言是google在2009年发布的开源编程语言使用Go编译的程序可以媲美C或C++代码的速度,而且更加安全.支持并行进程. 本次讲解在windows上安装go语言的开 ...

  4. Python Web框架要点

    1. Web应用程序处理流程 前端客户端(浏览器.APP.ajax.爬虫程序)>>>--http的请求与响应--<<<服务器程序(Gunicorn.uwsig)&l ...

  5. 【习题 8-4 UVA - 11491】Erasing and Winning

    [链接] 我是链接,点我呀:) [题意] 在这里输入题意 [题解] 考虑删掉第i位. 则第i+1位就会取代第i位. 则肯定第i+1位比第i位大的话,才比较好. 则从小到大贪心删,找到第一个a[i+1] ...

  6. 【项目基础】容器、AOP理论篇

    一.容器(砂锅) 1.概念: 容器是应用server中位于组件和平台之间的接口集合 2.应用: 容器一般位于应用server之内,由应用server负责载入和维护.一个容器仅仅能存在于一个应用serv ...

  7. Exploring Micro-frameworks: Spring Boot--转载

    原文地址:http://www.infoq.com/articles/microframeworks1-spring-boot Spring Boot is a brand new framework ...

  8. BZOJ3091: 城市旅行(LCT,数学期望)

    Description Input Output Sample Input 4 5 1 3 2 5 1 2 1 3 2 4 4 2 4 1 2 4 2 3 4 3 1 4 1 4 1 4 Sample ...

  9. C# 反射基础运用

    反射是.NET中的重要机制,通过反射,可以在运行时获得程序或程序集中每一个类型 (包括类.结构.委托.接口和枚举等)的成员和成员的信息. 其实有些人会问, 像我们平常引用DLL可以直接用, 为什么要用 ...

  10. 使用solr的DIHandler 构建mysql大表全量索引,内存溢出问题的解决方法

    solr官方给出的解决方式是: DataImportHandler is designed to stream row one-by-one. It passes a fetch size value ...