阿里云安装Cloudera Manager(草稿)
选择三台同一局域网的阿里云服务器
最初使用阿里云、京东云、百度云的三台不同的服务器,遇到一些问题,没有解决,公网速度也没有保障,还是选择同一局域网的服务器吧
CM有三种不同的安装方式:
- 通过 Cloudera 公司提供的 bin 文件来安装
这种方式只能用来安装 CM Server,节点机器上的 Agent 只能再另外通过 Web 页面等其他方式来安装
采用 bin 文件的安装方式本质上也是用 yum 来安装的,主要是会安装 CM Server、JDK、Deamons Tools、PostgreSQL,并且会自动帮忙配置好,这一点从 CM 的 yum 源就能看出来 - 通过 yum 来安装
这种方式对比第一种来说其实就是将其中的安装步骤拆分下来,并且可以弃用默认提供的 PostgreSQL 自己选择一个数据库,如果选择的是 MySQL,还需要再提供额外的 JDBC 库。JDK 也需要自己提供 - 通过 tar 文件来离线安装
其实就是将一个已有的 tar 包解压缩,修改下配置,然后起服务。对比上面两种方式的优点是:- 完全离线
- 一切自己定制,包括 JDK、数据库、文件路径,由于 yum 方式安装最终的程序是放在 ROOT 分区下的,日志也是打在 ROOT 分区下,所以有将 ROOT 分区打满的危险
离线方式最为稳妥,我们采用离线方式。
一、前提工作
1.关闭防火墙 centos6 chkconfig iptables off
2.关闭SELINUX 临时关闭setenforce 0,永久关闭要修改配置文件vim /etc/selinux/config
3.JDK安装
4.配置主机名,配置/etc/hosts文件,使用私有网络IP
5.SSH免密登陆
6.MySQL安装,这里选择5.6
7.创建CM用的数据库
在MySQL中依次创建监控数据库、Hive数据库、Oozie数据库、Hue数据库
1)启动数据库
[root@node01 ~]# mysql -uroot -p000000
2)集群监控数据库
mysql> create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
3)Hive数据库
mysql> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
4)Oozie数据库
mysql> create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
5)Hue数据库
mysql> create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
6)关闭数据库
mysql> quit;
8.下载第三方依赖
依次在三台节点(所有Agent的节点)上执行下载第三方依赖
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
二、安装CM
CM下载地址:http://archive.cloudera.com/cm5/cm/5/
离线库下载地址:http://archive.cloudera.com/cdh5/parcels
1.CM安装
注:以下所有操作均使用root用户
1)创建/bigdata/cm目录
[root@node01 ]# mkdir –p /bigdata/cm
2)上传cloudera-manager-el6-cm5.12.1_x86_64.tar.gz到node01的/root/downloads目录,并解压到/bigdata/cm目录
[root@node01 downloads]# tar -zxvf cloudera-manager-el6-cm5..1_x86_64.tar.gz -C /bigdata/cm
3)分别在node01、node02、node03创建用户cloudera-scm
useradd \ --system \ --home=/bigdata/cm/cm-5.12./run/cloudera-scm-server \ --no-create-home \ --shell=/bin/false \ --comment "Cloudera SCM User" cloudera-scm
参数说明:
--system 创建一个系统账户
--home 指定用户登入时的主目录,替换系统默认值/home/<用户名>
--no-create-home 不要创建用户的主目录
--shell 用户的登录 shell 名
--comment 用户的描述信息
注意:Cloudera Manager默认去找用户cloudera-scm,创建完该用户后,将自动使用此用户。
4)修改CM Agent配置
修改文件/bigdata/cm/cm-5.12.1/etc/cloudera-scm-agent/ config.ini的主机名称
[root@node01 cloudera-scm-agent]# vim /bigdata/cm/cm-5.12./etc/cloudera-scm-agent/config.ini
修改主机名称
server_host=node01
5)配置CM的数据库
拷贝mysql-connector-java-5.1.27-bin.jar文件到目录 /usr/share/java/
改名为 mysql-connector-java.jar
[root@node01 ]# mv /usr/share/java/mysql-connector-java-5.1.-bin.jar /usr/share/java/mysql-connector-java.jar
注意:jar包名称要修改为mysql-connector-java.jar
6)使用CM自带的脚本,在MySQL中创建CM库
[root@node01 cm-5.12.]#/bigdata/cm/cm-5.12./share/cmf/schema/scm_prepare_database.sh mysql cm -hnode01 -uroot -p000000 --scm-host node01 scm scm scm
参数说明
-h:Database host
-u:Database username
-p:Database Password
--scm-host:SCM server's hostname
7)分发cm目录到其他节点
8)创建Parcel-repo
[root@hadoop102 ~]# mkdir -p /root/cloudera/parcel-repo [root@hadoop102 ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
9)拷贝下载文件manifest.json 、CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 、CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel到node01的/opt/cloudera/parcel-repo/目录下
[root@node01 parcel-repo]# ls CDH-5.12.-.cdh5.12.1.p0.-el6.parcel CDH-5.12.-.cdh5.12.1.p0.-el6.parcel.sha1 manifest.json
10)将CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1:需改名为CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
[root@node01 parcel-repo]# mv CDH-5.12.-.cdh5.12.1.p0.-el6.parcel.sha1 CDH-5.12.-.cdh5.12.1.p0.-el6.parcel.sha
11)在node01上创建目录/opt/cloudera/parcels,并修改该目录的所属用户及用户组为cloudera-scm
[root@node01 ~]# mkdir -p /root/cloudera/parcels [root@node01 ~]# chown cloudera-scm:cloudera-scm /root/cloudera/parcels
12)分发/opt/cloudera/
1.3.3 启动CM服务
1)启动服务节点:node01
[root@node01 cm]# /bigdata/cm/cm-5.12./etc/init.d/cloudera-scm-server start Starting cloudera-scm-server: [确定]
2)启动工作节点:node01、node02、node03
/bigdata/cm/cm-5.12./etc/init.d/cloudera-scm-agent start
注意:启动过程非常慢,Manager启动成功需要等待5分钟左右,过程中会在数据库中创建对应的表需要耗费一些时间。
3)查看被占用则表示安装成功了!!!
[root@node01 cm]# netstat -anp | grep tcp 0.0.0.0: 0.0.0.0:* LISTEN /java
4)访问http://node01:7180,(用户名、密码:admin)
1.3.4 关闭CM服务
1)关闭工作节点:node01、node02、node03
/bigdata/cm/cm-5.12./etc/init.d/cloudera-scm-agent stop Stopping cloudera-scm-agent: [确定]
2)关闭服务节点:node01
[root@node01 cm]# /bigdata/cm/cm-5.12./etc/init.d/cloudera-scm-server stop 停止 cloudera-scm-server: [确定]
二、CM的集群部署
1.接受条款和协议
2.选择免费
3.指定主机
4.选择CDH的版本5.12.1
5.等待下载安装
角色分配
重启
阿里云安装Cloudera Manager(草稿)的更多相关文章
- Ubuntu安装Cloudera Manager以及CDH5.15.2
一.机子分配 注意,本安装教程是在真机上进行,而非虚拟机.另,此次搭建主要的目的是搭建测试环境,让Hadoop各组件能够运作起来即可,完成搭建后,将用小数据量进行相关数据的计算与测试.线上环境将会使用 ...
- 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...
- 离线安装 Cloudera Manager 5 和 CDH5.10
关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...
- 阿里云安装mysql后查看不到初始密码的解决办法
在阿里云安装mysql后用grep 'A temporary password' /var/log/mysqld.log命令查看MySQL初始密码,毛线都没有看到,然后直接到/var/log/mysq ...
- 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(六)CM的安装
一.角色分配 Cloudera Manager Agent:向server端报告当前机器服务状态. Cloudera Manager Server:接受agent角色报告服务状态,以视图界面展现,方便 ...
- 安装Cloudera manager agent步骤详解
安装Cloudera manager agent步骤详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要是针对:https://www.cnblogs.com/yinz ...
- 安装Cloudera manager Server步骤详解
安装Cloudera manager Server步骤详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要是针对:https://www.cnblogs.com/yin ...
- 2.3、CDH 搭建Hadoop在安装(安装Cloudera Manager Server)
第3步:安装Cloudera Manager Server 在此步骤中,您将在Cloudera Manager主机上安装JDK和Cloudera Manager Server软件包. 安装Cloude ...
- 2、CDH 搭建Hadoop在安装(安装Cloudera Manager,CDH和托管服务)
安装Cloudera Manager,CDH和托管服务 建议使用此过程为生产环境安装Cloudera Manager和CDH.对于非生产“易于安装”,请参阅安装概念证明群集. 在开始安装之前,请确保已 ...
随机推荐
- hdu 4619 Warm up 2 (二分匹配)
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=4619 题意: 平面上有一些1×2的骨牌,每张骨牌要么水平放置,要么竖直放置,并且保证同方向放置的骨牌不 ...
- 输出匹配项:grep
命令格式: grep pattern [file...] When grep encounters a "pattern" in the file, it prints out t ...
- Java 9 在win10环境搭建
Java SDK 下载地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html JA ...
- 【leetcode】543. Diameter of Binary Tree
题目如下: 解题思路:最长的周长一定是树中某一个节点(不一定是根节点)的左右子树中的两个叶子节点之间的距离,所以最简单的办法就是把树中所有节点的左右子树中最大的两个叶子节点之间的距离求出来,最终得到最 ...
- python使用bs4爬取boss静态页面
思路: 1.将需要查询城市列表,通过城市接口转换成相应的code码 2.遍历城市.职位生成url 3.通过url获取列表页面信息,遍历列表页面信息 4.再根据列表页面信息的job_link获取详情页面 ...
- VM安装OSX进度条一半时卡住不动,【附】OSX10.10 ISO镜像文件
安装OSX10.10真是一波多折,先是下载了一个5G多的原版dmg文件,转成ISO后在虚拟机上无法识别,后按网上的说的方法在提取出来的BaseSystem.dmg文件,再转成ISO文件,可以 ...
- NOIp 图论算法专题总结 (2)
系列索引: NOIp 图论算法专题总结 (1) NOIp 图论算法专题总结 (2) NOIp 图论算法专题总结 (3) 树链剖分 https://oi-wiki.org/graph/heavy-lig ...
- python最近邻分类器KNN算法
1. KNN算法 邻近算法,或者说K最近邻(kNN,k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一.所谓K最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最 ...
- vs2005安装 和 Fatal Error C1902
win10系统不能激活 win7可以激活,运行会出现兼容错误,解决办法装2个sp1补丁 拷贝mspdb80.dll到系统目录后会出现 Fatal Error C1902, 解决方法如下: VC++20 ...
- Python 进阶_OOP 面向对象编程_静态方法和类方法
目录 目录 静态方法 类方法 使用函数修饰符来声明静态方法和类方法 静态方法 静态方法仅是类中的函数, 不需要绑定实例, 也就是说静态方法的定义不需要传入 self 参数. 静态方法不属于类的某一个实 ...