Sqoop-1.4.4工具import和export使用详解
转自:http://blog.csdn.net/wodatoucai/article/details/46343291
Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出,其中主要使用了import和export这两个工具。这两个工具非常强大,提供了很多选项帮助我们完成数据的迁移和同步。比如,下面两个潜在的需求:
- 业务数据存放在关系数据库中,如果数据量达到一定规模后需要对其进行分析或同统计,单纯使用关系数据库可能会成为瓶颈,这时可以将数据从业务数据库数据导入(import)到Hadoop平台进行离线分析。
- 对大规模的数据在Hadoop平台上进行分析以后,可能需要将结果同步到关系数据库中作为业务的辅助数据,这时候需要将Hadoop平台分析后的数据导出(export)到关系数据库。
这里,我们介绍Sqoop完成上述基本应用场景所使用的import和export工具,通过一些简单的例子来说明这两个工具是如何做到的。
工具通用选项
import和export工具有些通用的选项,如下表所示:
| 选项 | 含义说明 | 
| --connect <jdbc-uri> | 指定JDBC连接字符串 | 
| --connection-manager <class-name> | 指定要使用的连接管理器类 | 
| --driver <class-name> | 指定要使用的JDBC驱动类 | 
| --hadoop-mapred-home <dir> | 指定$HADOOP_MAPRED_HOME路径 | 
| --help | 打印用法帮助信息 | 
| --password-file | 设置用于存放认证的密码信息文件的路径 | 
| -P | 从控制台读取输入的密码 | 
| --password <password> | 设置认证密码 | 
| --username <username> | 设置认证用户名 | 
| --verbose | 打印详细的运行信息 | 
| --connection-param-file <filename> | 可选,指定存储数据库连接参数的属性文件 | 
数据导入工具import
Sqoop-1.4.4工具import和export使用详解的更多相关文章
- [转]Sqoop-1.4.4工具import和export使用详解
		FROM :http://shiyanjun.cn/archives/624.html Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出,其中主要使用了import和export ... 
- Sqoop-1.4.6工具import和export使用详解(官网)
		不多说,直接上干货! 1.Sqoop Import (进入官网) 因为,sqoop的使用方式是: sqoop COMMAND ARGS. 以下是 sqoop COMMAND ARGS 以下是 ... 
- Hive之import和export使用详解
		在hive-0.8.0后引入了import/export命令. Export命令可以导出一张表或分区的数据和元数据信息到一个输出位置,并且导出数据可以被移动到另一个hadoop集群或hive实例,并且 ... 
- Java基础-DButils工具类(QueryRunner)详解
		Java基础-DButils工具类(QueryRunner)详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 如果只使用JDBC进行开发,我们会发现冗余代码过多,为了简化JDBC ... 
- 最锋利的Visual Studio Web开发工具扩展:Web Essentials详解
		原文:最锋利的Visual Studio Web开发工具扩展:Web Essentials详解 Web Essentials是目前为止见过的最好用的VS扩展工具了,具体功能请待我一一道来. 首先,从E ... 
- 给Clouderamanager集群里安装可视化分析利器工具Hue步骤(图文详解)
		扩展博客 以下,是我在手动的CDH版本,安装Hue. CDH版本大数据集群下搭建Hue(hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz)(博主 ... 
- 给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解)
		这个很简单,在集群机器里,选择就是了,本来自带就有Impala的. 扩展博客 给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解) 
- 给Ambari集群里安装可视化分析利器工具Hue步骤(图文详解)
		扩展博客 以下,是我在手动的CDH版本平台下,安装Hue. CDH版本大数据集群下搭建Hue(hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz) ... 
- 给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解)
		不多说,直接上干货! Impala和Hive的关系(详解) 扩展博客 给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解) 参考 horton ... 
随机推荐
- java严格验证日期是否正确的代码
			package com.xxxx.util; /** * 输入日期 并进行验证格式是否正确 */ public class FDate { public static void main(String ... 
- ubuntu 16.04查询文件安装目录
			dpkg -L filename dpkg -l | grep filename whereis filename find / -name filename 
- ubuntu 及 postgredql 安装配置小坑摘录
			ubuntu 16.04.1 安装 Ubuntu Server 16.04.1安装配置图解教程,按教程修改局域网static IP 开启sftp必须 解决SSH服务拒绝密码,之后才能欢乐地使用file ... 
- 九度OJ 1339:ACM (排序)
			时间限制:1 秒 内存限制:32 兆 特殊判题:否 提交:712 解决:379 题目描述: 今年的ACM世界总决赛快要开始了,需要有一个排名算法来对每支队伍进行现场排名.ACM组委会把这个任务交给了你 ... 
- 4.AutowireCapableBeanFactory 自动装配工厂
			AutowireCapableBeanFactory 根据名称:自动装配的BeanFactory,其实也是对BeanFactory的增强 源代码: /* * Copyright 2002-2016 t ... 
- ubuntu 17 编译BTCoin
			一. 安装开发环境 sudo apt-get update sudo apt-get install build-essential libtool autotools-dev autoconf pk ... 
- 不怕慢 就怕站 不怕单线程 不怕 裸露ip
			import sys import os import requests import threading from time import sleep from bs4 import Beautif ... 
- TCP协议要点和难点全解
			转载自http://www.cnblogs.com/leetieniu2014/p/5771324.html TCP协议要点和难点全解 说明: 1).本文以TCP的发展历程解析容易引起混淆,误会的方方 ... 
- 基于SQLAIchemy的Flask目录
			预先知识 flask的基本使用 快速搭建开发的目录,以后我们在用Flask开发项目的时候可以直接用这个目录,不需要再自己创建. flask-sqlalchemy flask-sqlalchemy相当于 ... 
- 我的Android进阶之旅------>/storage/sdcard0, /sdcard, /mnt/sdcard ,/storage/emulated/legacy 的区别
			转自:http://bbs.gfan.com/android-5382920-1-1.html 关于android的4.2的0文件夹的详解---- android 4.0 ----在galaxy ne ... 
