CDH 离线简易部署文档

 

 

 

文档说明

本文为开发部署文档,生产环境需做相应调整。

以下操作尽量在root用户下操作,避免权限问题。

目录

文档说明 2

文档修改历史记录 2

目录 3

系统环境 4

相关依赖 4

初始准备: 5

java下载和更新 5

修改主机名与主机名解析 5

selinux关闭 6

防火墙关闭 6

NTP服务器设置 6

SSH无密码登录配置 6

安装mysql 7

配置jdbc 8

安装Cloudera-Manager 9

主节点安装工作 9

从节点安装工作 10

常见报错原因及解决 11

在浏览器安装CDHs 12

 

系统环境

系统版本

主机名

主机ip

用户名密码

说明

Centos6.5

bigdata01

10.62.8.1

Root:rootroot

安装主节点,主节点,

Centos6.5

bigdata02

10.62.8.2

Root:rootroot

从节点

Centos6.5

bigdata03

10.62.8.3

Root:rootroot

从节点

Centos6.5

bigdata04

10.62.8.4

Root:rootroot

从节点

相关依赖

依赖名称

依赖版本

依赖用途

jdk 1.8

jdk-8u101-linux-x64.rpm

Openjdk

mysql

MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar.gz

存放cloudera manager配置文件

mysql-connector-java

mysql-connector-java-8.0.11.jar

JDBC

cloudera manager包

cloudera-manager-el6-cm5.9.3_x86_64.tar

简易安装CDH平台

CDH parcel 包

CDH-5.7.2-1.cdh5.7.2.p0.18-el6.parcel

集群各软件压缩包

CDH parcel.sha包

CDH-5.7.2-1.cdh5.7.2.p0.18-el6.parcel.sha1

压缩包对于哈希码

manifest.json

网站对应版本页面上的文件

版本说明json文件

初始准备:

java下载和更新

为了避免java版本过低导致的相关问题,首先将每个节点java版本更新至1.8。

#查看已经安装版本

rpm -qa | grep jdk

java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64

java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64

#卸载已经安装版本

yum -y remove java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64

yum -y remove java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64

#安装最新版本

rpm -ivh jdk-8u101-linux-x64.rpm

#查看最新安装版本

java –version

Java(TM) SE Runtime Environment (build 1.8.0_101-b13)

Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)

修改主机名与主机名解析

为了方便配置各节点,将主机名设置成特定格式,方便记忆。每个节点对应修改

#设定主机名与网卡启动

vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=bigdata01

#主机名和IP解析

vim /etc/hosts

127.0.0.1 localhost. bigdata01

10.62.8.2 bigdata02

10.62.8.4 bigdata03

10.62.8.4 bigdata04

selinux关闭

# 每个节点通过配置文件永久关闭selinux,重启生效

vim /etc/sysconfig/selinux

SELINUX=disabled

# 查看selinux状态

sestatus –v

SELinux status: disabled

防火墙关闭

# 每个节点关闭防火墙(或者设置对应的策略能够让各节点互相通信)

service iptables stop    #临时关闭

chkconfig iptables off   #开机关闭

service iptables status  #查看状态

NTP服务器设置

# 每个节点开启NTP 服务,统一各节点时间。

vim /etc/ntp.conf

server 10.62.8.1 iburst   #离线情况下节点指向主节点

service ntpd restart

# 检查

service ntpd status

date

SSH无密码登录配置 

# 主节点生成ssh公钥

ssh-keygen -t rsa  (一直回车)

ssh-copy-id bigdata02 (对应节点)

# 检查在主节点上能否免密登录各节点

ssh bigdata02

# 如果不能免密登录,查看 /var/log/security, 一般为ssh文件的权限问题

 

安装mysql 

# 安装在主节点上,用于存放cloudera manager 配置文件,如果已有即可不用安装。

tar -xvf  MySQL-5.6.24-1.linux_glibc2.5.x86_64.rpm-bundle.tar

rpm -ivh MySQL-*.rpm

cp /usr/share/mysql/my-default.cnf   /etc/my.cnf

vim /etc/my.cnf

[mysqld]

default-storage-engine = innodb

innodb_file_per_table

collation-server = utf8_general_ci

init-connect = 'SET NAMES utf8'

character-set-server = utf8

#初始化mysql

/usr/bin/mysql_install_db

# 开启mysql

service mysql restart

ERROR! MySQL server PID file could not be found!

Starting MySQL... SUCCESS!

 

# 查看mysql root初始化密码

cat /root/.mysql_secret

The random password set for the root user at Fri Sep 16 11:13:25 2016 (local time): 9mp7uYFmgt6drdq3

#登录mysql并修改密码

mysql -u root –p

mysql> SET PASSWORD=PASSWORD('root12345678');

# 允许mysql远程访问

mysql> update user set host='%' where user='root' and host='localhost';

Query OK, 1 row affected (0.05 sec)

Rows matched: 1  Changed: 1  Warnings: 0

mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

# 创建集群对应数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

Query OK, 1 row affected (0.00 sec)

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

Query OK, 1 row affected (0.00 sec)

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

Query OK, 1 row affected (0.00 sec)

create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

Query OK, 1 row affected (0.00 sec)

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

Query OK, 1 row affected (0.00 sec)

grant all on *.* to root@"%" Identified by "root12345678";

# 配置开机启动

chkconfig mysql on

配置jdbc

# 拷贝mysql-connector-java到各个节点指定目录下(所有的节点)

cp mysql-connector-java-5.1.36-bin.jar /usr/share/java/mysql-connector-java.jar

安装Cloudera-Manager

主节点安装工作

#解压cm tar包到指定目录

mkdir /opt/cloudera-manager

tar -axvf cloudera-managertar包 -C /opt/cloudera-manager

#创建cloudera-scm用户(home为相应目录)

useradd --system --home=/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

#创建cloudera-manager-server的本地元数据保存目录

mkdir /var/cloudera-scm-server

chown cloudera-scm:cloudera-scm /var/cloudera-scm-server

chown cloudera-scm:cloudera-scm /opt/cloudera-manager

#主节点中创建parcel-repo仓库目录

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

#初始脚本配置数据库scm_prepare_database.sh(相应目录下的脚本)

/opt/cloudera-manager/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql -hhadoop1 -uroot -p123456 --scm-host bigdata01 scmdbn scmdbu scmdbp

#说明:这个脚本就是用来创建和配置CMS需要的数据库的脚本。各参数是指:

mysql:数据库用的是mysql,如果安装过程中用的oracle,那么该参数就应该改为oracle。

-bigdata01:数据库建立在bigdata01主机上面。也就是主节点上面。。

--scm-host bigdata01:CMS的主机,一般是和mysql安装的主机是在同一个主机上。

最后三个参数是:数据库名,数据库用户名,数据库密码。

# 设置cloudera-manager 的service

cp /opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server

chkconfig cloudera-scm-server on

vim /etc/init.d/cloudera-scm-server

CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为=/opt/cloudera-manager/cm-5.7.2/etc/default

vim /etc/rc.local

service cloudera-scm-server restart

 

从节点安装工作

#解压cm tar包到指定目录

mkdir /opt/cloudera-manager

tar -axvf cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz -C /opt/cloudera-manager

# 创建cloudera-scm用户

useradd --system --home=/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

# 配置从节点cloudera-manger-agent指向主节点服务器

vim /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini

将server_host改为CMS所在的主机名即bigdata01

# 所有节点创建parcels目录

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

设置agent服务

cp /opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent

chkconfig cloudera-scm-agent on

vim /etc/init.d/cloudera-scm-agent

CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为=/opt/cloudera-manager/cm-5.7.2/etc/default

vim /etc/rc.local

service cloudera-scm-agent restart

 

 

 

常见报错原因及解决

1 ERROR com.cloudera.enterprise.dbutil.DbProvisioner  - Exception when creating/dropping database with user 'root' and jdbc url 'jdbc:mysql://localhost/?useUnicode=true&characterEncoding=UTF-8'

java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: YES)

可能是配置host的有问题,127.0.0.1 localhost.hadoop1 这个localhost不能少

可能是密码问题,重设密码

2. ERROR com.cloudera.enterprise.dbutil.DbProvisioner  - Exception when creating/dropping database with user 'root' and jdbc url 'jdbc:mysql://localhost/?useUnicode=true&characterEncoding=UTF-8'

java.sql.SQLException: Your password has expired. To log in you must change it using a client that supports expired passwords.

密码过期,设置密码为不过期格式。

mysql> update user set password_expired='N' where user='root';

Query OK, 2 rows affected (0.00 sec)

Rows matched: 5  Changed: 2  Warnings: 0

mysql> flush privileges;

在浏览器安装CDHs

进入192168.160.130:7180 默认使用admin admin登录 
以下在浏览器中使用操作安装

选择版本

组件提示

这里我们可以在“当前管理的主机”中看到三个主机,全部勾选并继续,注意如果cloudera-scm-agent没有设为开机启动,如果以上有重启这里可能会检测不到其他服务器。

选择cdh

分发parcels到各个节点

之间正确性的检测

选择要安装的服务,这里选择所有服务

角色分配

数据库设置选择

集群审核,这里都默认的

开始安装

安装完成

这个时候安装完成了,可以在浏览器中进入10.62.8.1:7180地址,查看集群情况,

CDH简易离线部署文档的更多相关文章

  1. PPTP部署文档

    PPTP部署文档 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.       欢迎加入:高级运维工程师之路 598432640 前言:这款VPN部署起来特别简单,想对OPENVON配 ...

  2. hadoop2.6.0汇总:新增功能最新编译 32位、64位安装、源码包、API下载及部署文档

    相关内容: hadoop2.5.2汇总:新增功能最新编译 32位.64位安装.源码包.API.eclipse插件下载Hadoop2.5 Eclipse插件制作.连接集群视频.及hadoop-eclip ...

  3. supervisor 部署文档

    supervisor 部署文档 supervisor 需要Python支持,如果不用系统的supervisor,单独安装python python 安装 #依赖 yum install python- ...

  4. centos6 Cacti部署文档

    centos6 Cacti部署文档 1.安装依赖 yum -y install mysql mysql-server mysql-devel httpd php php-pdo php-snmp ph ...

  5. HP DL160 Gen9服务器集群部署文档

    HP DL160 Gen9服务器集群部署文档 硬件配置=======================================================Server        Memo ...

  6. Sqlserver2008安装部署文档

    Sqlserver2008部署文档 注意事项: 如果你要安装的是64位的服务器,并且是新机器.那么请注意,你需要首先需要给64系统安装一个.net framework,如果已经安装此功能,请略过这一步 ...

  7. Ceph分布式存储(luminous)部署文档-ubuntu18-04

    Ceph分布式存储(luminous)部署文档 环境 ubuntu18.04 ceph version 12.2.7 luminous (stable) 三节点 配置如下 node1:1U,1G me ...

  8. rabbitmq 3.7.8基于centos7部署文档

    rabbitmq 3.7.8部署文档 安装erlang 安装依赖环境 yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel ope ...

  9. VS2017 下载离线MSDN文档

    VS2017 下载离线MSDN文档 点开帮助窗口的时候发现没有添加和删除帮助内容选项.处理方法如下: 1.打开vs2017安装包,如果你找不到安装包,可在相应你下载vs2017的浏览器上找到下载内容, ...

随机推荐

  1. Linux 进程等待队列

    Linux内核的等待队列是以双循环链表为基础数据结构,与进程调度机制紧密结合,能够用于实现核心的异步事件通知机制. 在这个链表中,有两种数据结构:等待队列头(wait_queue_head_t)和等待 ...

  2. HTML5进阶(二)HBuilder实现软件自动升级

    HBuilder实现软件自动升级 前言 移动APP开发好后需要实现软件自动升级功能,经过一番搜索,发现HBuilder具有"App资源在线升级更新"的功能,遂研究之. 经过一番测试 ...

  3. Cocos2D v2.0至v3.x简洁转换指南(四)

    实现通用的update方法 在Cocos2d 2.x你需要2个步骤去实现在每帧调用update方法: // 1) schedule update [self scheduleUpdate]; ... ...

  4. 为神马精确Sprite的碰撞形状不通过简单的放大Sprite的尺寸来解决?

    原因是SoftBodyDrawNode的绘制代码中已经没有完整的,一体化的(incorporate)缩放,旋转或者甚至是精灵的位置(scale,rotation,or even the sprite' ...

  5. 安装nodejs中遇到的问题

    make clean 出现时间不对的问题的时候,主要是系统时间设置错误. 用date -s 来分别设置日期和时间 用clock -w来写入CMS 安装g++ yum -y install gcc-c+ ...

  6. 【面试笔试算法】Program 3 : Complicated Expression(网易游戏笔试题)

    时间限制:50000ms 单点时限:5000ms 内存限制:256MB 描述 在lisp语言中,表达式都用前缀法表示,例如,1 + 2 在lisp中使用(+ 1 2)来表示,其中,表达式的括号是必需的 ...

  7. Linux常用命令(第二版) --权限管理命令

    权限管理命令 1.chmod[change the permissions mode of a file] : /bin/chmod 语法: chmod [{ugo}{+-=}{rwx}] [文件或目 ...

  8. "《算法导论》之‘线性表’":基于数组实现的单链表

    对于单链表,我们大多时候会用指针来实现(可参考基于指针实现的单链表).现在我们就来看看怎么用数组来实现单链表. 1. 定义单链表中结点的数据结构 typedef int ElementType; cl ...

  9. iOS监听模式系列之对APNs的认知与理解

    前言: APNs 协议在近两年的 WWDC 上改过两次, 15 年 12 月 17 日更是推出了革命性的新特性.但在国内传播的博客.面试题里关于 APNs 的答案全都是旧的.错的. 导航: 对 APN ...

  10. Leetcode_235_Lowest Common Ancestor of a Binary Search Tree

    本文是在学习中的总结,欢迎转载但请注明出处:http://blog.csdn.net/pistolove/article/details/48392713 Given a binary search ...