【原创】大数据基础之CM5(Cloudera Manager)+CDH5离线安装
CM/CDH 5.16.1
CM官方:https://www.cloudera.com/products/product-components/cloudera-manager.html
CDH官方:https://www.cloudera.com/products/open-source/apache-hadoop/key-cdh-components.html
CDH5.16.1 软件列表:https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball_516.html
一 简介
1 CDH
CDH is Cloudera’s 100% open source platform distribution, including Apache Hadoop and built specifically to meet enterprise demands. CDH delivers everything you need for enterprise use right out of the box. By integrating Hadoop with more than a dozen other critical open source projects, Cloudera has created a functionally advanced system that helps you perform end-to-end Big Data workflows.
2 Cloudera Manager
Cloudera Manager is the industry’s trusted tool for managing Hadoop in production.
二 安装
1 准备jdk
1)卸载可能的openjdk
# rpm -qa|grep openjdk
java-1.8.0-openjdk-1.8.0.191.b12-1.el7_6.x86_64
java-1.8.0-openjdk-devel-1.8.0.191.b12-1.el7_6.x86_64
java-1.8.0-openjdk-headless-1.8.0.191.b12-1.el7_6.x86_64
# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.191.b12-1.el7_6.x86_64 java-1.8.0-openjdk-devel-1.8.0.191.b12-1.el7_6.x86_64 java-1.8.0-openjdk-headless-1.8.0.191.b12-1.el7_6.x86_64
2)安装oracle jdk
# wget https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm
# rpm -ivh oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm
# ln -s /usr/java/jdk1.8.0_141-cloudera/bin/java /usr/bin/java
2 创建用户
# useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
3 下载
# wget http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz
# mkdir /opt/cloudera-manager
# tar xvzf cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz -C /opt/cloudera-manager# mkdir -p /opt/cloudera/parcels
# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
4 准备server
1)确保文件存在:/usr/share/java/mysql-connector-java.jar
# cp mysql-connector-java.jar /usr/share/java/mysql-connector-java.jar
or
# yum install mysql-connector-java
2)初始化mysql
mysql> create database scm;
mysql> grant all privileges on scm.* to scm@'%' identified by 'scm';# /opt/cloudera-manager/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh -h 192.168.0.1 mysql scm scm scm
3)其他
# mkdir /var/lib/cloudera-scm-server
# chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server
4)下载cdh
# wget http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel
# wget http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1
# wget http://archive.cloudera.com/cdh5/parcels/latest/manifest.json
# mv CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha# mkdir -p /opt/cloudera/parcel-repo
# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
# mv CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha manifest.json /opt/cloudera/parcel-repo
5 启动server
# /opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server start
日志位于 /opt/cloudera-manager/cm-5.16.1/log/cloudera-scm-server/
6 逐个启动agent
# vi /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent/config.ini
server_host=$server_ip# /opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent start
日志位于 /opt/cloudera-manager/cm-5.16.1/log/cloudera-scm-agent/
7 开机启动
/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server
/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent
修改
CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}
->
CMF_DEFAULTS=${CMF_DEFAULTS:-/opt/cloudera-manager/cm-5.16.1/etc/default}
否则会报错
File not found: /usr/sbin/cmf-agent
修改后同步到所有节点,然后配置开机启动
# ln -s /opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
# chkconfig --add cloudera-scm-agent
# chkconfig cloudera-scm-agent on
# chkconfig --list cloudera-scm-agent# ln -s /opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server
# chkconfig --add cloudera-scm-server
# chkconfig cloudera-scm-server on
# chkconfig --list cloudera-scm-server
8 访问
http://$server_ip:7180 用户名密码为 admin/admin 进入向导页面,一步步配置完成;
当使用一些功能时需要安装新的库,具体如下:
比如Activity Monitor需要
mysql> create database amon;
mysql> grant all privileges on amon.* to amon@'%' identified by 'amon';
可能遇到的问题
1)如果看不到下载版本的cdh,检查CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1是否修改为CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha
2)正在安装选定 Parcel
报错:主机运行状况不良。
查看agent日志:
# tail -f /opt/cloudera-manager/cm-5.16.1/log/cloudera-scm-agent/cloudera-scm-agent.log
[15/Feb/2019 14:44:28 +0000] 7241 MainThread agent ERROR Error, CM server guid updated, expected b6f92bed-e8fc-45e0-b627-fead8cd288e6, received 1db60b99-1f0c-4226-bd2f-a9baa568cf96
解决方法
# /bin/rm /opt/cloudera-manager/cm-5.16.1/lib/cloudera-scm-agent/cm_guid
# /opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent restart
安装parcel正常
3)如果安装过程中出现任何问题,将server和agent停掉,然后重复‘初始化mysql’过程,然后重启server和agent即可;
参考:https://www.cloudera.com/documentation/enterprise/5-16-x/topics/installation.html
【原创】大数据基础之CM5(Cloudera Manager)+CDH5离线安装的更多相关文章
- CDH构建大数据平台-使用自建的镜像地址安装Cloudera Manager
CDH构建大数据平台-使用自建的镜像地址安装Cloudera Manager 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.搭建CM私有仓库 详情请参考我的笔记: http ...
- 【原创】大数据基础之Zookeeper(2)源代码解析
核心枚举 public enum ServerState { LOOKING, FOLLOWING, LEADING, OBSERVING; } zookeeper服务器状态:刚启动LOOKING,f ...
- Cloudera Manager和CDH安装部署
本次安装采用离线安装的方式,需要提前下载好需要的包. 1. 准备工作 1.1 环境说明 操作系统:RedHat企业级Linux6.5 64-bit Cloudera Manager:5.8.4 CDH ...
- Cloudera Manager 4.6 安装部署hadoop CDH集群
Cloudera Manager 4.6 安装详解 1. Cloudera Manager介绍 1.1. 功能介绍 Cloudera Manager是一个针对hadoop集群的管理工具,功能包括:cd ...
- 分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例【转】
Kylin 麒麟官网:http://kylin.apache.org/cn/download/ 关键字:olap.Kylin Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的 ...
- CentOS6安装各种大数据软件 第十章:Spark集群安装和部署
相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...
- 决战大数据之三-Apache ZooKeeper Standalone及复制模式安装及测试
决战大数据之三-Apache ZooKeeper Standalone及复制模式安装及测试 [TOC] Apache ZooKeeper 单机模式安装 创建hadoop用户&赋予sudo权限, ...
- 【原创】大数据基础之Impala(1)简介、安装、使用
impala2.12 官方:http://impala.apache.org/ 一 简介 Apache Impala is the open source, native analytic datab ...
- 【原创】大数据基础之Kudu(1)简介、安装、使用
kudu 1.7 官方:https://kudu.apache.org/ 一 简介 kudu有很多概念,有分布式文件系统(HDFS),有一致性算法(Zookeeper),有Table(Hive Tab ...
随机推荐
- Emit动态代理.NetCore迁移之旅
[前言] 前面我们介绍了Aop 从静态代理到动态代理:https://www.cnblogs.com/7tiny/p/9657451.html 我们在.NetFramework平台下使用微软提供的Em ...
- Winform数据库连接app.config文件配置
1.添加配置文件 新建一个winform应用程序,类似webfrom下有个web.config,winform下也有个App.config;不过 App.config不是自动生成的需要手动添加,鼠标右 ...
- heapsort(Java)(最小堆)
public static void main(String[] args) { Scanner input = new Scanner(System.in); int n = input.nextI ...
- vue通过自定义指令 v-py 将名字转拼音
自定义指令 py: 1.新建 vue-py.js文件 import Vue from 'vue'; var chinesePointCode = { "a": [21834, 38 ...
- 3 数据分析之Numpy模块(2)
数组函数 通用元素级数组函数通用函数(即ufunc)是一种对ndarray中的数据执行元素级的运算.我们可以将其看做是简单的函数(接收一个或多个参数,返回一个或者多个返回值). 常用一元ufunc: ...
- SpringBoot 统一时区的方案
系统采用多时区设计的时候,往往我们需要统一时区,需要统一的地方如下: 服务器(Tomcat服务) 数据库(JPA + Hibernate) 前端数据(前端采用Vuejs) 思路为:将数据库和服务器的时 ...
- JVM中的垃圾回收算法GC
GC是分代收集算法:因为Young区,需要回收垃圾对象的次数操作频繁:Old区次数上较少收集:基本不动Perm区.每个区特点不一样,所以就没有通用的最好算法,只有合适的算法. GC的4大算法 1.引用 ...
- python提取浏览器Cookie
在用浏览器进行网页访问时,会向网页所在的服务器发送http协议的GET或者POST等请求,在请求中除了指定所请求的方法以及URI之外,后面还跟随着一段Request Header.Request He ...
- 【数学建模】MatLab 数据读写方法汇总
1.读入 txt 文件数据. load xxx.txt A=load(‘xxx.txt’) A=dlmread(‘xxx.txt’) A=importdata(‘xxx.txt’) 例:将身高体重的 ...
- position:fixed not work?
问题 在position:fixed的使用中,突然发现某个操作之后,fixed定位的位置变了?? bottom:0,left:0.本来应该在最下面,结果跑没影了. wtf?position:fixed ...