CDH 安装
CDH 安装
市场上免费大数据框架主要有三个版本,原生的 Apache 版本,Cloudera(https://www.cloudera.com/) 公司研发的(Cloudera Distribution Hadoop,简称“CDH”)CDH 版本,也是市场上使用最多的,Hortonworks 版本(Hortonworks Data Platform,简称“HDP”)
cm-cloudera managerment 下载地址:https://www.cloudera.com/downloads/manager/5-16-1.html
cdh-5.16.1 载地址:http://archive.cloudera.com/cdh5/parcels/5.16.1/
一、系统环境搭建
(1) 网络配置
vi /etc/hosts
(2) SSH 免密码登录
# 所有设备生成公钥
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# 直接远程授权,这样 master 通过 ssh 就可以远程登录本机了,所有设备(包括自己)均拷贝公钥到 master
ssh-copy-id root@master
# 将 master 的公钥分发到所有设备上,这样所有的设备就互相互信完成了
scp ~/.ssh/authorized_keys root@slave1
更多 SSH 免密码登录详见:https://www.cnblogs.com/binarylei/p/9049149.html
(3) 关闭防火墙和 SELINUX
# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld # 永久关闭防火墙
# 关闭 SELINUX
setenforce 0
vi /etc/selinux/config (SELINUX=disabled)
(4) 安装 JDK
(5) 安装 MySQL
MySQL 版本选择 5.6,安装详见:https://www.cnblogs.com/binarylei/p/9026422.html
(6) ntp 时间同步
yum install ntp # 安装 ntp
systemctl start ntpd # 启动
systemctl enable ntpd # 设置开机自启动
ntp 时间同步配置:修改 /etc/ntp.conf 文件,注释掉外网时间服务器,添加本地服务器即可
vi /etc/ntp.conf
server 192.168.180.190 # 添加此行
#server 0.centos.pool.ntp.org iburst # 以下四行注释掉
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
(7) 下载依赖包
CentOS 需要安装以下依赖,如果是其它操作系统可能不一样
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb
二、Cloudera Manager Service 安装
(1) 安装 Cloudera Manager Server 和 Agent
mkdir -p /opt/cloudera-manager
tar -zxvf cloudera-manager-el7-cm5.16.1_x86_64.tar.gz -C /opt/cloudera-manager/
# 修改 CM 的配置文件
vi /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent
server_host=CDH-01
server_port=7182
# 分发
scp -r /opt/cloudera-manager root@CDH-02:/opt
scp -r /opt/cloudera-manager root@CDH-03:/opt
(2) 创建用户(用户名固定 cloudera-scm)
useradd
--system # 表示创建的是一个系统用户
--no-create-home # 不在创建主目录
--shell=/bin/false # 不作用服务器的登陆用户
--comment "Cloudera SCM User" # 备注
cloudera-scm # 用户名
验证:
cat /etc/passwd | grep cloudera-scm
(3) 配置 CM Server 数据库
# 执行下面的命令后会创建 scm 的数据库和 scm 的账号
/opt/cloudera-manager/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh
-h CDH-01 -uroot -p123456 --scm-host CDH-01 mysql scm scm scm
报错: 缺少驱动包 java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
解决:
将驱动包放入当前服务器的 /usr/share/java 目录下,将分发到其到节点上。CM 管理的集群(hive sqoop)都会默认到 /usr/share/java 下找驱动包。 注意:mysql-connector-java.jar 名称不能更改
(3) 创建 Parcel 源
1)创建目录
mkdir -p /opt/cloudera/parcel-repo # 在 server上创建
mkdir -p /opt/cloudera/parcels # 在所有的 agent 节点上创建
mkdir -p /opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent # 在所有的 agent 节点上创建
2)将 CDH 的源移动到 sever 的 parcel-repo 目录下
3)修改校验码文件名称
mv CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha
4)修改 parcel-repo parcels 目录的所属人
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/ # 在 server 上
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels # 在 agent 上
(4) 启动 CM Server 和 Agent
# 启动 server 和 agent 服务
/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server start
/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent start
日志查看 tail –f /opt/cloudera-manager/cm-5.16.1/log/cloudera-scm-server/cloudera-scm-server.log
web 页面 192.168.180.100:7180
每天用心记录一点点。内容也许不重要,但习惯很重要!
CDH 安装的更多相关文章
- cdh 安装记录
安装文件准备 CDH 下载地址:http://archive.cloudera.com/cdh5/parcels/latest/ 下载操作系统对应的版本: 1.CDH-5.3.0-1.cdh5.3.0 ...
- CDH 安装遇到的问题
CDH 遇到的问题 l JAVA_HOME问题 这里, 很明显可以看到, JAVA_HOME 并没有设置成功.using as ... 感觉完全就是没有设置JAVA_HOME 这个环境变量.可是呢 ...
- CDH安装详细测试正确
1. CDH简介 简单来说,Cloudera Manager是一个拥有集群自动化安装.中心化管理.集群监控.报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到 ...
- CDH安装错误集锦
CDH安装过程中出现的错误 1.iptables: /sbin/iptables 不存在 我是因为误删将 /sbin/下的文件删除了. 解决方法: yum install iptables 2.c ...
- CDH6.2安装配置第二篇:CDH安装的前期配置
本篇介绍cdh安装之前需要的一些必要配置,当然这些配置也可以用shell脚本来配置.在安装之前请先配置好yum源,在文中用的统一都是阿里源.在安装的时候,要确保主机的内存是4G以上,要不然会无限重启c ...
- CDH安装失败了,如何重新安装
1> 删除Agent节点的UUID # rm -rf /opt/cm-5.4.7/lib/cloudera-scm-agent/* 2> 清空主节点CM数据库 进入主节点的Mysql数据 ...
- CDH安装
离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, incl ...
- CM+CDH安装遇到的问题
1.实在是在安装CDH的时候无法安装成功的话,只有重新启动了,下面给大家分享一个神器,按照这个脚本应该差不多就能卸载干净,然后重新安装,写一个脚本,内容如下,救命的神器呀: #!/bin/bash s ...
- CDH安装Hadoop
一.安装CDH-manager 1.关闭selinux 修改/etc/selinux/config 文件 将SELINUX=enforcing改为SELINUX=disabled 重启机器即可 2 ...
随机推荐
- 1T硬盘获3T体验 彻底解决NVR存储时间短的问题
随着高清技术的进步,现在300W和400W的IPC越来越普及,但同时带来了更多的成本及存储便利问题.“硬盘存了7天就满了”.“同样大小的硬盘,存储时间越来越短”......为啥你的NVR不能存更长的时 ...
- Sqluldr2 libclntsh.so报错处理
Sqluldr2 libclntsh.so报错处理 处理报错 [oracle@oracledg tmp]$ ./sqluldr2linux64.bin ./sqluldr2linux64.bin: e ...
- eclipse各版本及下载
附:Eclipse各个版本简介(http://zh.wikipedia.org/wiki/Eclipse) eclipse下载地址: https://www.eclipse.org/官网--右上角的I ...
- C#委托防止事件多次注册
示例代码如下: class NodeInf { public delegate void mydelegate(ProcessContent processContent); private myde ...
- wordpress 解决文章内http链接问题
1. 登录Wordpress后台, 常规设置 > 里面把站点URL 修改成 https开头 2. 登录phpmyadmin , 执行替换链接的SQL 替换wordpress配置的链接地址 (可 ...
- SpringMVC的工作流程、组件说明以及常用注解说明
1. SpringMVC处理流程 2. SpringMVC架构 2.1 框架结构 2.2 框架流程 1. 用户发送请求至前端控制器DispatcherServlet. 2. DispatcherSer ...
- python中赋值,深拷贝,浅拷贝区别
这三种 的区别就是 复制的变量 是否是原变量的引用. 赋值:只是原变量的引用. 浅拷贝和深拷贝的区别 需要通过 子元素 区分 浅拷贝:子元素的 引用相同 深拷贝:所以引用都不相同,完全复制一份 这三种 ...
- 性能测试day03_前端分析调优思路
刚刚看到有人支持我写的博客,表示还是比较感动的,发现热心的用户在我的博客留言说“一个系统每天有200万在线用户,问我怎么设计性能场景?”,其实这个问题呢就属于业务没理清,这个问题就像我问你,一个城市一 ...
- EasyUi 复杂多表头设置
columns: [ [ { field: 'Test', title: '测试', rowspan: 3, width: 100, sortable: true }, { title: '测试1', ...
- HDFS 常用命令行:
1. 查看各库的存储大小 hdfs dfs -du -h /user/hive/warehouse 2. 删除HDFS 文件 hdfs dfs -rmr 绝对路径名 例如:hdfs dfs -rmr ...