文档说明

本文是针对Linux CentOS6服务器与CDH5.15的安装手册。

关于CDH和ClouderaManager

CDH(Cloudera's Distribution, includingApache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。

ClouderaManager(本文以下简称为CM)则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化

术语介绍

CM: Cloudera Manager (Cloudera公司专有的Hadoop集群管控平台);

CDH: Cloudera Distributed Hadoop(Cloudera公司重新打包发布的Hadoop版本);

HDFS:分布式文件系统;

HBASE: 基于HADOOP的分布式、列式存储数据库;

HIVE: 基于大数据技术(文件系统+运算框架)的SQL数据仓库工具;

MAPREDUCE: 分布式运算程序开发框架;

SPARK:为大规模数据处理而设计的快速通用的计算引擎;

ZOOKEEPER: 分布式协调服务基础组件;

YARN: 负责集群资源的统一管理和调度,分配系统资源给各个应用程序。

基础环境准备

关闭防火墙:/etc/init.d/iptables stop  && chkconfig iptables off

关闭NetworkManager:/etc/init.d/NetworkManager stop && chkconfig NetworkManager off

SeLinux设为disabled: setenforce 0

yum源仓库的配置:本次部署使用了公司yum源

主机规划

软件安装

MySQL安装

因为需要安装数据库,所以安装了mysql5.6此时需要卸载系统自带的mysql-lib-5.1

[root@hdp01 yum.repos.d]# rpm -qa | grep mysql
mysql-client-5.6.-.x86_64
mysql-server-5.6.-.x86_64

安装cloudera时需要mysql-lib,此时我们需要在
官网:https://downloads.mysql.com/archives/community/
下载:MySQL-shared-compat和MySQL-shared安装,选择和安装的mysql相应的版本
启动mysql,并操作修改密码等一系列事宜

cloudera安装

本次cloudera目录结构如下:

[root@hdp01 ~]# tree /opt/cloudera/
/opt/cloudera/
├── csd
│   └── SPARK2_ON_YARN-2.3..cloudera2.jar
└── parcel-repo
├── CDH-5.14.-.cdh5.14.2.p0.-el6.parcel
├── CDH-5.14.-.cdh5.14.2.p0.-el6.parcel.sha
├── CDH-5.14.-.cdh5.14.2.p0.-el6.parcel.torrent
├── SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel
├── SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel.sha
└── SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel.torrent directories, files
[root@hdp01 ~]# ll /opt/cloudera/
total
drwxr-xr-x cloudera-scm cloudera-scm Nov : csd
drwxr-xr-x cloudera-scm cloudera-scm Nov : parcel-repo
[root@hdp01 ~]# ll /opt/cloudera/parcel-repo/
total
-rw-r----- cloudera-scm cloudera-scm Nov : CDH-5.14.-.cdh5.14.2.p0.-el6.parcel
-rw-r----- cloudera-scm cloudera-scm Nov : CDH-5.14.-.cdh5.14.2.p0.-el6.parcel.sha
-rw-r----- cloudera-scm cloudera-scm Nov : CDH-5.14.-.cdh5.14.2.p0.-el6.parcel.torrent
-rw-r----- cloudera-scm cloudera-scm Nov : SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel
-rw-r----- cloudera-scm cloudera-scm Nov : SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel.sha
-rw-r----- cloudera-scm cloudera-scm Nov : SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel.torrent
[root@hdp01 ~]# ll /opt/cloudera/csd/
total
-rw-r--r-- root root Apr SPARK2_ON_YARN-2.3..cloudera2.jar

本次使用单位的yum源,如果没有yum源,请手动下载下软件进行安装

cloudera-manager 下载地址:
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.3/RPMS/x86_64/

spark-2 下载地址:
http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/

  SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel
  SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha

cdh 下载地址:
http://archive.cloudera.com/cdh5/parcels/5.14.2/

  CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel
  CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha

yum安装:

server端安装:

yum inshall cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server oracle-j2sdk1.

client端安装:

yum install cloudera-manager-daemons cloudera-manager-agent oracle-j2sdk1.

配置修改

所有节点执行

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
#修改:vim /etc/cloudera-scm-agent/config.ini
server_host=
添加:vim /etc/sysctl.conf
vm.swappiness =
sysctl -p

master节点执行

修改:vim /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=localhost
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=root
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=

mysql中创建数据库,并进行连接

/usr/share/cmf/schema/scm_prepare_database.sh mysql cmf root 

所有节点下载 mysql-connector-java-5.1.46.tar.gz,上传至服务器并解压

cp mysql-connector-java-5.1.-bin.jar /usr/share/java/oracle-connector-java.jar

下载spark插件

cd /opt/cloudera/csd
wget http://yum.ncfgroup.org/cloudera/spark2/csd/SPARK2_ON_YARN-2.3.0.cloudera2.jar

启动cloudera

server端:/etc/init.d/cloudera-scm-server start
agent端:/etc/init.d/cloudera-scm-agent start

CDH集群安装

ClouderaManager浏览器默认管理账号:/http://hdp01.yxdev.wx:7180

  User:admin
  Password:admin

Cloudera Manager 安装 CDH5的更多相关文章

  1. Cloudera Manager安装_搭建CDH集群

    2017年2月22日, 星期三 Cloudera Manager安装_搭建CDH集群 cpu   内存16G 内存12G 内存8G 默认单核单线 CDH1_node9 Server  || Agent ...

  2. 通过Cloudera Manager部署CDH5.15.1的webUI界面详解

    通过Cloudera Manager部署CDH5.15.1的webUI界面详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客CDH的部署完全通过Cloudera Mana ...

  3. Cloudera Manager安装之利用parcels方式安装3或4节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(CentOS6.5)(五)

    参考博客 Cloudera Manager安装之利用parcels方式安装单节点集群  Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式.rpm ...

  4. Cloudera Manager安装之利用parcels方式安装单节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(CentOS6.5)(四)

    不多说,直接上干货! 福利 => 每天都推送 欢迎大家,关注微信扫码并加入我的4个微信公众号:   大数据躺过的坑      Java从入门到架构师      人工智能躺过的坑          ...

  5. Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

    不多说,直接上干货! 福利每天都有  =>  =>=>=>=> 欢迎大家,关注微信扫码并加入我的4个微信公众号:   大数据躺过的坑      Java从入门到架构师  ...

  6. Cloudera Manager安装之利用parcels方式(在线或离线)安装3或4节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(Ubuntu14.04)(五)

    前期博客 Cloudera Manager安装之Cloudera Manager 5.6.X安装(tar方式.rpm方式和yum方式) (Ubuntu14.04) (三) 如果大家,在启动的时候,比如 ...

  7. Cloudera Manager安装之Cloudera Manager安装前准备(Ubuntu14.04)(一)

    其实,基本思路跟如下差不多,我就不多详细说了,贴出主要图. 博主,我是直接借鉴下面这位博主,来进行安装的!(灰常感谢他们!) 在线和离线安装Cloudera CDH 5.6.0  Cloudera M ...

  8. Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)

    Cloudera Manager安装前准备 (一)机器准备 192.168.80.148   clouderamanager01 (部署ClouderaManager-server和Mirror se ...

  9. Cloudera Manager 安装集群遇到的坑

    Cloudera Manager 安装集群遇到的坑 多次安装集群,但每次都不能顺利,都会遇到很多很多的坑,今天就过去踩过的坑简单的总结一下,希望已经踩了的和正在踩的童鞋能够借鉴一下,希望对你们能有所帮 ...

随机推荐

  1. 重启部署在Linux系统下的tomcat服务

    重启部署在Linux系统下的tomcat服务具体的操作步骤: 1.在Winscp上建立连接,输入用户和密码,这个密码一般是看不到的: 2.查看服务:ps -ef  |  gerp  Java  注意在 ...

  2. MVC HtmlHelper listbox用法

    主要实现MVC listbox左右移动,搜索左边用户 controller   List<userinfo> lstUserInfo = new List<userinfo>( ...

  3. Akka探索第一个例子by fsharp 1

    如何构建一套分布式程序一直是我想知道的问题. Akka就是一套用来开发分布式系统的开发库.当然开发分布式系统只是它的能力之一.除此之外高度抽象的并行运算能力,轻量级的消息系统,容错能力都是该库的特点. ...

  4. php cur错误:SSL错误 unable to get local issuer certificatebool

    采集https链接时出现的问题 办法:跳过SSL证书检查 curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); curl_setopt($ch, CURLO ...

  5. Eclipse Infrastructure

    Everything is plug-ins running on or loaded by plug-ins loader called by a small kernal which is an ...

  6. Unable to copy a file from obj\Debug to bin\Debug

    1. Exit the VS2012, and then re-open the solution. 2. Clean the solution and build.

  7. window系统安装jdk,jre

    java开发少不了安装jdk.当然如果只是想运行其他人的java项目,只需要安装jre就行了,不需要安装jdk,jdk是编译用的.jdk可以同时安装多个 版本,只需要在项目部署时注意切换版本选择.在这 ...

  8. c语言 Implement strStr()【Leetcode】

    实现在一个母字符串中找到第一个子字符串的位置. #include <stdio.h> #include <string.h> #define _IRON_TRUE 1 #def ...

  9. 【FPGA】Quartus导出.qxp格式的网表文件

    首先,右击项目顶层文件. 选择Design Partition -> Export Design Partition 即可完成.

  10. 笨办法学Python(三十七)

    习题 37: 复习各种符号 现在该复习你学过的符号和 python 关键字了,而且你在本节还会学到一些新的东西.我在这里所作的是将所有的 Python 符号和关键字列出来,这些都是值得掌握的重点. 在 ...