049 CDH商业版本的搭建(hadoop5.3.6 +hive+sqoop)
为什么使用CDH版本?
这个主要考虑到兼容性。
下载地址:http://archive.cloudera.com/cdh5/cdh/5
最新的CDH公司的hadoop版本:
一:准备工作
1.步骤
1)hadoop
-》下载解压
-》修改配置文件
-》hadoop-env
JAVA_HOME
-》core-site
fs.defaultFS
hadoop.tmp.dir
-》hdfs-site
dfs.replication
permission
-》mapred-site
mapreduce.frame.work
historyserver
-》yarn-site
mapreduce-》shuffle
resourcemanager地址:0.0.0.0
日志聚集
-》yarn-env
JAVA_HOME
-》slaves
datanode/nodemanager hostname
-》格式化
bin/hdfs namenode -formatf
-》启动
2)hive
-》下载解压
-》创建数据仓库
/user/hive/warehouse
-》修改配置
-》hive-env
HADOOP_HOME
HIVE_CONF_DIR
-》log4j
-》日志目录
-》hive-site
-》连接mysql
-》数据库地址
-》连接驱动
-》用户名
-》密码
-》显示当前数据库
-》显示表头
-》把mysql连接驱动放入lib
-》启动
3)sqoop
-》解压
-》修改*env.sh
-》加载驱动
-》驱动
二:安装Hadoop
1.新建目录cdh-5.3.6,并修改权限
2.解压
3.修改/etc/profile
4.配置*env.sh中的JAVA_HOME
5.配置core-site.xml环境
6.配置hdfs-site.xml环境
7.配置mapred-site.xml
8.配置slaves
9.配置yarn-site.xml
10.格式化
11.启动
三:hive
1.解压
2.在HDFS上创建数据仓库并修改权限
在hadoop主目录下创建并修改权限。
3.启用一些配置
4.配置env.sh
5.log4j的配置
6.hive-site.xml的配置
7.加载驱动
8.启动hive之前mysql的内容
9.启动
10.出现新的数据库
四:sqoop
1.概述
用于关系型数据库与hadoop之间的数据转换。
底层是mapreduce模板,通过不同的参数,封装打包成jar,提交给yarn。
导入与导出是基于hdfs而言。
2.解压到cdh-5.3.6
3.拷贝相关的配置文件
4.配置sqoop.env.sh
5.加载驱动
6.简单使用
049 CDH商业版本的搭建(hadoop5.3.6 +hive+sqoop)的更多相关文章
- CDH商业版本的搭建(hadoop+hive+sqoop)
一:准备工作 1.步骤 1)hadoop ->下载解压 ->修改配置文件 ->hadoop-env JAVA_HOME ->core-site fs.defaultFS had ...
- 朝花夕拾之--大数据平台CDH集群离线搭建
body { border: 1px solid #ddd; outline: 1300px solid #fff; margin: 16px auto; } body .markdown-body ...
- Centos6.4版本下搭建LAMP环境
Centos6.4版本下搭建LAMP环境 配置yum mkdir/mnt/cdrom mount/dev/cdrom /mnt/cdrom 装载光盘 vi /etc/yum.repos.d/Cent ...
- Gerrit代码审计系统实战-Gerrit 2.15.14版本快速搭建
Gerrit代码审计系统实战-Gerrit 2.15.14版本快速搭建 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Gerrit版本选择 1>.查看Gerrit官网 ...
- CentOS7安装CDH 第四章:CDH的版本选择和安装方式
相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...
- 搭建cdh单机版版本的hive所遇到的问题总汇
今天按照网上教程搭建了下 cdh 单机版的 hive 将相关配置记录下来 以便以后方便翻阅 版本 hive-0.13.1-cdh5.3.6.tar.gz 1. 直接解压 然后将 mysql驱动包 拷 ...
- 【CDH篇】---CDH从初识到搭建到应用
一.前述 CDH(Cloudera's Distribution, including Apache Hadoop)是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache ...
- hadoop商业版本的选择介绍
记得刚接触到hadoop的时候跟大部分人一样都会抱怨hadoop的安装部署问题,对于一个新手来说这这的是个头疼的问题,可能需要花费一整天的时间才能把分布式环境安装配置好.在刚接触hadoop的一段时间 ...
- 3.环境搭建-Hadoop(CDH)集群搭建
目录 目录 实验环境 安装 Hadoop 配置文件 在另外两台虚拟机上搭建hadoop 启动hdfs集群 启动yarn集群 本文主要是在上节CentOS集群基础上搭建Hadoop集群. 实验环境 Ha ...
随机推荐
- C++ 中 #ifndef, #define, #endif 宏定义
目的:为了保证包含的内容只被程序(include) 和编译了一次.判断预处理器常量是否已被定义. 预编译将所有头文件(#include"XXX.h")用头文件中的内容来替换,头文件 ...
- dbeaver can't connect HBase1.2 using phoenix driver #1863
1 第一个问题 Unexpected version format: 10.0.2 Unexpected version format: 10.0.2 Unexpected version forma ...
- 说几个python与c区别的地方以及静态变量,全局变量的区别
一: python代码: a = 2 def b(): print a a = 4 print a b() 在b函数中,有a=4这样的代码,说明a是函数b内部的局部变量,而不是外部的那个值为2的全局变 ...
- Android开发技巧——ViewPager加View情况封装PagerAdapter的实现类
ViewPager是Android的support库中的一个控件. ViewPager + Fragment的使用,已经有FragmentAdapter的实现可以帮助我们快速进行开发了: ViewPa ...
- git进阶命令
首先, clone 一个远端仓库,到其目录下: $ Git clone git://example.com/myproject $ cd myproject 然后,看看你本地有什么分支: $ git ...
- js数组的操作push,pop,shift,unshift
push(args)可以每次压入多个元素,并返回更新后的数组长度. var oldArr=[1,2,3]; alert(oldArr.push(4,[5,6]))–>5(这里只会将[5,6]当做 ...
- IOS中的三大事件
iOS 中,所有显示在界面上的对象都是从 UIResponder 直接或间接继承的,只有继承了它才可以处理事件.而在ios中的事件可以分为三大类: 1.触摸事件 2.加速计事件(摇一摇) 3.远程控制 ...
- 【C++】面试题目:从尾到头打印链表
通过<剑指offer 名企面试官精讲典型编程题>看到一道讲解链表的题目. 题目:输入一个链表的头结点,从尾到头反过来打印出每个结点的值 链表定义如下: typedef struct _NO ...
- windows下caffe GPU版本配置
由于项目需要,所以在自己本子上配置了一下windows下GPU版本的caffe; 硬件: win10 ; gtx1070独显(计算能力6.1): 安装软件: cudnn-8. ...
- OA协同办公软件
OA协同办公软件: 泛微软件. 九思软件. 华天动力. 万户OA.:北京万户网络技术有限公司创立于1998年2月,是北京华宇软件股份有限公司(股票简称:“华宇软件”,股票代码:300271)的全资子公 ...