Cloudera Manager 安装 CDH5
文档说明
本文是针对Linux CentOS6服务器与CDH5.15的安装手册。
关于CDH和ClouderaManager
CDH(Cloudera's Distribution, includingApache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。
ClouderaManager(本文以下简称为CM)则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化
术语介绍
CM: Cloudera Manager (Cloudera公司专有的Hadoop集群管控平台);
CDH: Cloudera Distributed Hadoop(Cloudera公司重新打包发布的Hadoop版本);
HDFS:分布式文件系统;
HBASE: 基于HADOOP的分布式、列式存储数据库;
HIVE: 基于大数据技术(文件系统+运算框架)的SQL数据仓库工具;
MAPREDUCE: 分布式运算程序开发框架;
SPARK:为大规模数据处理而设计的快速通用的计算引擎;
ZOOKEEPER: 分布式协调服务基础组件;
YARN: 负责集群资源的统一管理和调度,分配系统资源给各个应用程序。
基础环境准备
关闭防火墙:/etc/init.d/iptables stop && chkconfig iptables off
关闭NetworkManager:/etc/init.d/NetworkManager stop && chkconfig NetworkManager off
SeLinux设为disabled: setenforce 0
yum源仓库的配置:本次部署使用了公司yum源
主机规划
软件安装
MySQL安装
因为需要安装数据库,所以安装了mysql5.6此时需要卸载系统自带的mysql-lib-5.1
[root@hdp01 yum.repos.d]# rpm -qa | grep mysql
mysql-client-5.6.-.x86_64
mysql-server-5.6.-.x86_64
安装cloudera时需要mysql-lib,此时我们需要在
官网:https://downloads.mysql.com/archives/community/
下载:MySQL-shared-compat和MySQL-shared安装,选择和安装的mysql相应的版本
启动mysql,并操作修改密码等一系列事宜
cloudera安装
本次cloudera目录结构如下:
[root@hdp01 ~]# tree /opt/cloudera/
/opt/cloudera/
├── csd
│ └── SPARK2_ON_YARN-2.3..cloudera2.jar
└── parcel-repo
├── CDH-5.14.-.cdh5.14.2.p0.-el6.parcel
├── CDH-5.14.-.cdh5.14.2.p0.-el6.parcel.sha
├── CDH-5.14.-.cdh5.14.2.p0.-el6.parcel.torrent
├── SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel
├── SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel.sha
└── SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel.torrent directories, files
[root@hdp01 ~]# ll /opt/cloudera/
total
drwxr-xr-x cloudera-scm cloudera-scm Nov : csd
drwxr-xr-x cloudera-scm cloudera-scm Nov : parcel-repo
[root@hdp01 ~]# ll /opt/cloudera/parcel-repo/
total
-rw-r----- cloudera-scm cloudera-scm Nov : CDH-5.14.-.cdh5.14.2.p0.-el6.parcel
-rw-r----- cloudera-scm cloudera-scm Nov : CDH-5.14.-.cdh5.14.2.p0.-el6.parcel.sha
-rw-r----- cloudera-scm cloudera-scm Nov : CDH-5.14.-.cdh5.14.2.p0.-el6.parcel.torrent
-rw-r----- cloudera-scm cloudera-scm Nov : SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel
-rw-r----- cloudera-scm cloudera-scm Nov : SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel.sha
-rw-r----- cloudera-scm cloudera-scm Nov : SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel.torrent
[root@hdp01 ~]# ll /opt/cloudera/csd/
total
-rw-r--r-- root root Apr SPARK2_ON_YARN-2.3..cloudera2.jar
本次使用单位的yum源,如果没有yum源,请手动下载下软件进行安装
cloudera-manager 下载地址:
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.3/RPMS/x86_64/
spark-2 下载地址:
http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/
SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel
SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha
cdh 下载地址:
http://archive.cloudera.com/cdh5/parcels/5.14.2/
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha
yum安装:
server端安装:
yum inshall cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server oracle-j2sdk1.
client端安装:
yum install cloudera-manager-daemons cloudera-manager-agent oracle-j2sdk1.
配置修改
所有节点执行
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
#修改:vim /etc/cloudera-scm-agent/config.ini
server_host=
添加:vim /etc/sysctl.conf
vm.swappiness =
sysctl -p
master节点执行
修改:vim /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=localhost
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=root
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=
mysql中创建数据库,并进行连接
/usr/share/cmf/schema/scm_prepare_database.sh mysql cmf root
所有节点下载 mysql-connector-java-5.1.46.tar.gz,上传至服务器并解压
cp mysql-connector-java-5.1.-bin.jar /usr/share/java/oracle-connector-java.jar
下载spark插件
cd /opt/cloudera/csd
wget http://yum.ncfgroup.org/cloudera/spark2/csd/SPARK2_ON_YARN-2.3.0.cloudera2.jar
启动cloudera
server端:/etc/init.d/cloudera-scm-server start
agent端:/etc/init.d/cloudera-scm-agent start
CDH集群安装
ClouderaManager浏览器默认管理账号:/http://hdp01.yxdev.wx:7180
User:admin
Password:admin
Cloudera Manager 安装 CDH5的更多相关文章
- Cloudera Manager安装_搭建CDH集群
2017年2月22日, 星期三 Cloudera Manager安装_搭建CDH集群 cpu 内存16G 内存12G 内存8G 默认单核单线 CDH1_node9 Server || Agent ...
- 通过Cloudera Manager部署CDH5.15.1的webUI界面详解
通过Cloudera Manager部署CDH5.15.1的webUI界面详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客CDH的部署完全通过Cloudera Mana ...
- Cloudera Manager安装之利用parcels方式安装3或4节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(CentOS6.5)(五)
参考博客 Cloudera Manager安装之利用parcels方式安装单节点集群 Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式.rpm ...
- Cloudera Manager安装之利用parcels方式安装单节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(CentOS6.5)(四)
不多说,直接上干货! 福利 => 每天都推送 欢迎大家,关注微信扫码并加入我的4个微信公众号: 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 ...
- Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)
不多说,直接上干货! 福利每天都有 => =>=>=>=> 欢迎大家,关注微信扫码并加入我的4个微信公众号: 大数据躺过的坑 Java从入门到架构师 ...
- Cloudera Manager安装之利用parcels方式(在线或离线)安装3或4节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(Ubuntu14.04)(五)
前期博客 Cloudera Manager安装之Cloudera Manager 5.6.X安装(tar方式.rpm方式和yum方式) (Ubuntu14.04) (三) 如果大家,在启动的时候,比如 ...
- Cloudera Manager安装之Cloudera Manager安装前准备(Ubuntu14.04)(一)
其实,基本思路跟如下差不多,我就不多详细说了,贴出主要图. 博主,我是直接借鉴下面这位博主,来进行安装的!(灰常感谢他们!) 在线和离线安装Cloudera CDH 5.6.0 Cloudera M ...
- Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装前准备 (一)机器准备 192.168.80.148 clouderamanager01 (部署ClouderaManager-server和Mirror se ...
- Cloudera Manager 安装集群遇到的坑
Cloudera Manager 安装集群遇到的坑 多次安装集群,但每次都不能顺利,都会遇到很多很多的坑,今天就过去踩过的坑简单的总结一下,希望已经踩了的和正在踩的童鞋能够借鉴一下,希望对你们能有所帮 ...
随机推荐
- 重启部署在Linux系统下的tomcat服务
重启部署在Linux系统下的tomcat服务具体的操作步骤: 1.在Winscp上建立连接,输入用户和密码,这个密码一般是看不到的: 2.查看服务:ps -ef | gerp Java 注意在 ...
- MVC HtmlHelper listbox用法
主要实现MVC listbox左右移动,搜索左边用户 controller List<userinfo> lstUserInfo = new List<userinfo>( ...
- Akka探索第一个例子by fsharp 1
如何构建一套分布式程序一直是我想知道的问题. Akka就是一套用来开发分布式系统的开发库.当然开发分布式系统只是它的能力之一.除此之外高度抽象的并行运算能力,轻量级的消息系统,容错能力都是该库的特点. ...
- php cur错误:SSL错误 unable to get local issuer certificatebool
采集https链接时出现的问题 办法:跳过SSL证书检查 curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); curl_setopt($ch, CURLO ...
- Eclipse Infrastructure
Everything is plug-ins running on or loaded by plug-ins loader called by a small kernal which is an ...
- Unable to copy a file from obj\Debug to bin\Debug
1. Exit the VS2012, and then re-open the solution. 2. Clean the solution and build.
- window系统安装jdk,jre
java开发少不了安装jdk.当然如果只是想运行其他人的java项目,只需要安装jre就行了,不需要安装jdk,jdk是编译用的.jdk可以同时安装多个 版本,只需要在项目部署时注意切换版本选择.在这 ...
- c语言 Implement strStr()【Leetcode】
实现在一个母字符串中找到第一个子字符串的位置. #include <stdio.h> #include <string.h> #define _IRON_TRUE 1 #def ...
- 【FPGA】Quartus导出.qxp格式的网表文件
首先,右击项目顶层文件. 选择Design Partition -> Export Design Partition 即可完成.
- 笨办法学Python(三十七)
习题 37: 复习各种符号 现在该复习你学过的符号和 python 关键字了,而且你在本节还会学到一些新的东西.我在这里所作的是将所有的 Python 符号和关键字列出来,这些都是值得掌握的重点. 在 ...