Sqoop1.4.6配置和使用
http://jingpin.jikexueyuan.com/article/39333.html
http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_example_invocations_4
http://blog.csdn.net/panguoyuan/article/details/38871807
http://www.tutorialspoint.com/sqoop/sqoop_installation.htm
http://www.open-open.com/lib/view/open1401346410480.html
http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_sqoop2_configure.html
https://my.oschina.net/crxy/blog/417890
http://blog.csdn.net/lyn1539815919/article/details/52400555
http://www.cnblogs.com/xing901022/p/5920891.html
(1)安装环境
操作系统:Linux(Ubuntu16.04)
JDK版本:1.7.0_45
Hadoop版本:hadoop2.7.0
Sqoop版本:sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
hadoop安装目录:/home/hadoop/hadoop-2.7.3
Sqoop安装目录:/home/hadoop/sqoop-1.4.6
Hadoop和Sqoop都是同一个用户hadoop下面,hadoop用户的的家目录:/home/hadoop
2)修改Sqoop配置文件
cd /home/hadoop/sqoop-1.4.6/conf
cp sqoop-env-template.sh sqoop-env.sh
在文件sqoop-env.sh的末尾追加如下几个环境变量设置:
export HADOOP_COMMON_HOME=/home/hadoop/hadoop-2.7.3
export HADOOP_MAPRED_HOME=/home/hadoop/hadoop-2.7.3/share/hadoop/mapreduce
#export HIVE_HOME=/home/hadoop/hive-0.12.0
(3)修改hadoop用户的环境变量
编辑文件:/home/hadoop/.bash_profile,追加如下内容:
export SQOOP_HOME=/home/hadoop/sqoop-1.4.6
export PATH=$PATH:$SQOOP_HOME/bin
export LOGDIR=$SQOOP_HOME/logs
(4)将mysql的jdbc驱动程序放到$SQOOP_HOME/lib目录下
将 mysql-connector-java-5.1.15.jar 复制到 :/home/hadoop/sqoop-1.4.5/lib目录下
(5)试用sqoop
1 、用Sqoop来列出192.168.0.1下的数据库
进入$SQOOP_HOME/bin目录下执行如下命令:
# ./sqoop list-databases --connect
jdbc:mysql://192.168.0.1:3306/mydb?characterEncoding=UTF-8 --username
test --password 'test'
sqoop_test是建的database
[
mysql -u root -p
create database sqoop_test;
use sqoop_test;
create table test(var int(4));
]
./sqoop list-tables --connect jdbc:mysql://localhost/sqoop_test?characterEncoding=UTF-8 --username root --password '00'
2、将表book下的数据导入到HDFS中去
进入$SQOOP_HOME/bin目录下执行如下命令:
./sqoop import --connect
jdbc:mysql://192.168.0.1:3306/mydb?characterEncoding=UTF-8 --username
test --password 'test' --target-dir '/user/hive/warehouse/book' --table
book ;
./sqoop list-tables --connect jdbc:mysql://localhost/sqoop_test?characterEncoding=UTF-8 --username root --password '00'
把数据导入到mysql
./sqoop export --connect jdbc:mysql://localhost/sqoop_test --username root --password '00' --table sqoop_t --export-dir /t/data_sqoop_test
./sqoop export --connect jdbc:mysql://localhos3306/sqoop_test --username root --password '00' --table sqoop_t --export-dir /t/data_sqoop_test
Sqoop1.4.6配置和使用的更多相关文章
- sqoop1.99.3配置过程
感谢:http://www.myexception.cn/database/1600202.html 官网配置指导:http://sqoop.apache.org/docs/1.99.3/Instal ...
- sqoop1.4.6配置安装
1.下载sqoop1.4.6 2.配置环境变量. 3.复制sqoop/conf/sqoop-env-template.sh为sqoop-env.sh 添加相关的配置 #Setpath to where ...
- Hadoop2.2.0环境下Sqoop1.99.3安装
本文转载自http://blog.csdn.net/liuwenbo0920/article/details/40504045 1.安装准备工作: 已经装好的hadoop环境是hadoop 2.2.0 ...
- 【甘道夫】Ubuntu14 server + Hadoop2.2.0环境下Sqoop1.99.3部署记录
第一步.下载.解压.配置环境变量: 官网下载sqoop1.99.3 http://mirrors.cnnic.cn/apache/sqoop/1.99.3/ 将sqoop解压到目标文件夹,我的是 /h ...
- Sqoop简介及安装
Hadoop业务的大致开发流程以及Sqoop在业务中的地位: Sqoop概念 Sqoop可以理解为[SQL–to–Hadoop],正如名字所示,Sqoop是一个用来将关系型数据库和Hadoop中的数据 ...
- Sqoop2安装
下载 http://www-us.apache.org/dist/sqoop/ 打开以上链接,开始下载sqoop2 下载后得到:sqoop-1.99.7-bin-hadoop200.tar.gz文 ...
- sqoop-1.4.4安装配置
环境:redhat6.5 hadoop2.4.1 感谢: http://wenku.baidu.com/view/a9083da8dd3383c4bb4cd274.html注释hbase检查 感谢: ...
- 【sqoop】安装配置测试sqoop1
3.1.1 下载sqoop1:sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 3.1.2 解压并查看目录: [hadoop@hadoop01 ~]$ tar -zxvf sq ...
- sqoop-1.4.6安装配置
1. 下载sqoop-1.4.6并解压 wget http://archive.apache.org/dist/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-al ...
随机推荐
- sql条件为空查询全部,不为空按条件查询以及多条件筛选查询。
procedure queryLackLonOrLatTdCell(i_region_name varchar2, i_state varchar2) is begin select region_n ...
- iOS超全开源框架、项目和学习资料汇总(5)AppleWatch、经典博客、三方开源总结篇
完整项目 v2ex – v2ex 的客户端,新闻.论坛.apps-ios-wikipedia – apps-ios-wikipedia 客户端.jetstream-ios – 一款 Uber 的 MV ...
- [SharePoint 2010] 自定义字段类型开发(二)
在SharePoint 2010中实现View Action Button效果. http://www.sharepointblogs.be/blogs/vandest/archive/2008/06 ...
- JS中generater和箭头函数
generater跟函数很像: function* fn(x){ yield x; yield x++; return x;} 如上所示,generater用function*定义,可以用yield返 ...
- C语言堆和栈
堆和栈的区别 一个由C/C++编译的程序占用的内存分为以下几个部分1.栈区(stack)— 由编译器自动分配释放 ,存放函数的参数值,局部变量的值等.其操作方式类似于数据结构中的栈.2.堆区(heap ...
- 4-Server安全配置
0-禁止root使用ssh登入 vim /etc/ssh/sshd_config寻找:PermitRootLogin yes改为:PermitRootLogin nosystemctl restart ...
- 比较器:Compare接口与Comparator接口区别与理解
一.实现Compare接口与Comparator接口的类,都是为了对象实例数组排序的方便,因为可以直接调用 java.util.Arrays.sort(对象数组名称),可以自定义排序规则. 不同之处: ...
- DLL注入
最近的项目涉及了软件破解方面的知识,记录一下. 将dll注入另一个进程. // Inject.cpp : Defines the exported functions for the DLL appl ...
- C# socket通信
最近在研究socket,今天看到很好的一篇关于socket通信的文章,故收藏了,慢慢琢磨. 我们在讲解Socket编程前,先看几个和Socket编程紧密相关的概念: 1.TCP/IP层次模型 当然这里 ...
- timus 1180. Stone Game 解题报告
1.题目: 1180. Stone Game Time limit: 1.0 secondMemory limit: 64 MB Two Nikifors play a funny game. The ...