sqoop-1.4.4安装配置
环境:redhat6.5 hadoop2.4.1
感谢: http://wenku.baidu.com/view/a9083da8dd3383c4bb4cd274.html注释hbase检查
感谢: http://xubo8118.blog.163.com/blog/static/1855523322013720105924372/
step1 下载sqoop-1.4.4压缩包 http://mirror.bit.edu.cn/apache/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz
step2 解压到/opt/sqoop/目录
tar -zxvf sqoop-1.4..bin__hadoop-2.0.-alpha.tar.gz -C /opt/sqoop/
为了简化配置过程中涉及到的路径名称,建立一个链接到刚刚解压的路径的软链接,然后进入到/opt/sqoop-1.4.4中
ln -s /opt/sqoop/sqoop-1.4..bin__hadoop-2.0.-alpha /opt/sqoop-1.4.4
cd /opt/sqoop-1.4.4
step3 配置环境变量 :编辑/etc/profile文件,在结尾加入如下代码
export SQOOP_HOME=/opt/sqoop-1.4.
export HADOOP_COMMON_HOME=/opt/hadoop-2.4.1
export HADOOP_MAPRED_HOME=/opt/hadoop-2.4.1
step4. 复制lib包:
a. 复制/opt/sqoop-1.4.4/sqoop-1.4.4.jar 包至 hadoop的lib路径下,否则报错: Error: Could not find or load main class org.apache.sqoop.Sqoop
b. 复制连接mysql的java驱动包(如果用的是其他数据库,下载对应的java包即可),至/opt/sqooop-1.4.4/lib 和 hadoop 的l ib 下,否则报错: ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver (驱动包在mysql官网可以下载)
step5 修改/opt/sqoop-1.4.4/bin/configure_sqoop文件,将有关hbase的判断或export全部注释
step6. 测试sqoop,执行如下命令,结果大概如下,内容太长,就不敲了
root@cup bin# cd /opt/sqoop-1.4./bin
root@cup bin# ./sqoop help
usage: sqoop COMMAND [ARGS]
Avaliable commands:
codegen .....
create-hive-table: ......
... ... ..
... ... ..
root@cup bin#
sqoop-1.4.4安装配置的更多相关文章
- Sqoop 1.4.6 安装配置
配置环境变量 # SQOOP SQOOP_HOME=/home/hadoop/development/src/sqoop-1.4.6-cdh5.6.0 PATH=$PATH:$SQOOP_HOME/b ...
- sqoop 1.4.7 安装配置/连接测试
环境: hadoop2.7.7 mysql 8 zk 3.4.10 hive 3 1.上传并解压tar包后进入conf目录 拷贝sqoop-env-template.sh并重命名为sqoop-env. ...
- Sqoop安装配置及数据导入导出
前置条件 已经成功安装配置Hadoop和Mysql数据库服务器,如果将数据导入或从Hbase导出,还应该已经成功安装配置Hbase. 下载sqoop和Mysql的JDBC驱动 sqoop-1.2.0- ...
- Sqoop的安装配置及使用
一.Sqoop基础:连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念 Hadoop正成为企业用于大数据分析的最热门选择,但想将你的数据移植过去并不容易.Apache Sqoop正在加 ...
- [sqoop1.99.7] sqoop入门-下载、安装、运行和常用命令
一.简介 Apache Sqoop is a tool designed for efficiently transferring data betweeen structured, semi-str ...
- Sqoop 1.99.4 安装
1.安装准备工作:已经装好的 hadoop 环境是 hadoop-2.5.1 64位下载的sqoop安装包(注意是hadoop200)http://www.us.apache.org/dist/sqo ...
- 指导手册 07 安装配置HIVE
指导手册 07 安装配置HIVE 安装环境及所需安装包: 1.操作系统:centos6.8 2.四台虚拟机:master :10.0.2.4, slave1:10.0.2.5,slave2:10. ...
- Hive安装配置指北(含Hive Metastore详解)
个人主页: http://www.linbingdong.com 本文介绍Hive安装配置的整个过程,包括MySQL.Hive及Metastore的安装配置,并分析了Metastore三种配置方式的区 ...
- Hive on Spark安装配置详解(都是坑啊)
个人主页:http://www.linbingdong.com 简书地址:http://www.jianshu.com/p/a7f75b868568 简介 本文主要记录如何安装配置Hive on Sp ...
- ADFS3.0与SharePoint2013安装配置(原创)
现在越来越多的企业使用ADFS作为单点登录,我希望今天的内容能帮助大家了解如何配置ADFS和SharePoint 2013.安装配置SharePoint2013这块就不做具体描述了,今天主要讲一下怎么 ...
随机推荐
- es6类声明,class总结
1.class的基本写法 class a{ // 传入参数或者写入固定参数 constructor(a,b){ this.a=a this.b=b } // 可直接调用的计算后的参数 get c(){ ...
- Java集合之保持compareTo和equals同步
在Java中我们常使用Comparable接口来实现排序,其中compareTo是实现该接口方法.我们知道compareTo返回0表示两个对象相等,返回正数表示大于,返回负数表示小于.同时我们也知道e ...
- Mac的SourceTree安装时如何注册?
目前安装SourceTree的过程中是必须注册的,但是注册又是国外的,因此需要FQ.但是未注册成功,是没有办法设置SourceTree的代理的,虽然不知道SourceTree有没有设置代理的功能,解决 ...
- apache poi合并单元格设置边框
HSSFWorkbook wb = new HSSFWorkbook(); HSSFSheet sheet = wb.createSheet(); //创建一个样式 HSSFCellStyle sty ...
- List<实体>与List<String>数据互转
1.List<实体>数据: public List<Device> queryOSDevice(String cpu,String ip,String name){ Strin ...
- 对AOP切面的一些整理与理解
首先上一张AOP的图示 一:几个重要的概念 1> 切面:横切关注点(跨越应用程序多个模块的功能)被模块化的特殊对象[验证切面.日志切面] 2> 通知:切面中的每个方法 3& ...
- Python——描述符(descriptor)解密
本文由 极客范 - 慕容老匹夫 翻译自 Chris Beaumont.欢迎加入极客翻译小组,同我们一道翻译与分享.转载请参见文章末尾处的要求. Python中包含了许多内建的语言特性,它们使得代码简洁 ...
- 解决 XMLHttpRequest status = 0 问题 及 返回值为null问题
1.XMLHttpRequest status = 0 问题 XMLHttpRequest的说明:http://www.w3.org/TR/XMLHttpRequest/ . The status a ...
- Django开发博客(七)——markdown优化
背景 上一次把markdown集成之后.发现还是有非常多问题. 这次须要做一些优化. 1.markdown与普通文本的差别显示. 2.添加点击量的统计 3.加入名片卡的滑动 版本号相关 操作系统:Ma ...
- Data truncation: Data too long for column
是字符集问题引起的,用show full fields from + 表名就可以看出你的列的编码格式把它改成GBK或者GB2312.uTF-8.如果还不行的话,把你表的编码格式也改成上面的编码格式,我 ...