2-10 就业课(2.0)-oozie:13、14、clouderaManager的服务搭建
3、clouderaManager安装资源下载
第一步:下载安装资源并上传到服务器
我们这里安装CM5.14.0这个版本,需要下载以下这些资源,一共是四个文件即可
下载cm5的压缩包
下载地址:http://archive.cloudera.com/cm5/cm/5/
具体文件地址:
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.14.0_x86_64.tar.gz
下载cm5的parcel包
下载地址:
http://archive.cloudera.com/cdh5/parcels/
第一个文件具体下载地址:
http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel
第二个文件具体下载地址:
http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1
第三个文件具体下载地址:
http://archive.cloudera.com/cdh5/parcels/5.14.0/manifest.json
将这四个安装包都上传到第一台机器的/export/softwares路径下
第二步:解压压缩包到指定路径
解压CM安装包到/opt路径下去
cd /export/softwares
tar -zxvf cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt/
第三步:将我们的parcel包的三个文件拷贝到对应路径
将我们的parcel包含三个文件,拷贝到/opt/cloudera/parcel-repo路径下面去,并记得有个文件需要重命名
cd /export/softwares/
cp CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 manifest.json /opt/cloudera/parcel-repo/
重命名标黄的这个文件
cd /opt/cloudera/parcel-repo/
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha
第四步:所有节点添加普通用户并给与sudo权限
在node01机器上面添加普通用户并赋予sudo权限
执行以下命令创建普通用户cloudera-scm
useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
赋予cloudera-scm普通用户的sudo权限
visudo
cloudera-scm ALL=(ALL) NOPASSWD: ALL
第五步:更改主节点的配置文件
node01机器上面更改配置文件
vim /opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini
server_host=node01.hadoop.com
第六步:将/opt目录下的安装包发放到其他机器
将第一台机器的安装包发放到其他机器
cd /opt
scp -r cloudera/ cm-5.14.0/ node02.hadoop.com:/opt
第七步:创建一些数据库备用
node02机器上面创建数据库
hive 数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
hue 数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
oozie 数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
第八步:准备数据库连接的驱动包
在所有机器上面都准备一份数据库的连接驱动jar包放到/usr/share/java路径下
准备一份mysql的驱动连接包,放到/usr/share/java路径下去
cd /export/softwares/
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz
tar -zxvf mysql-connector-java-5.1.45.tar.gz
cd /export/softwares/mysql-connector-java-5.1.45
cp mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar
拷贝驱动包到第二台机器
cd /usr/share/java
scp mysql-connector-java.jar node02.hadoop.com:$PWD
第九步:为clouderaManager创建数据库
node01服务器执行
/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -hnode02.hadoop.com -uroot -p123456 --scm-host node01.hadoop.com scm root 123456
命令说明:/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh 数据库类型 -h数据库主机 –u数据库用户名 –p数据库密码 --scm-host cm主机 数据库名称 用户名 密码
第十步:启动服务
主节点启动clouderaManager Server与ClouderaManager agent服务
/opt/cm-5.14.0/etc/init.d/cloudera-scm-server start
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start
从节点node02启动ClouderaManager agent服务
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start
第十一步:浏览器页面访问
默认用户名admin
密码 admin
===================================================
课程总结:
1、oozie的安装使用
oozie是什么:任务调度的框架,与azkaban的功能类似
oozie的安装:一步一步来不要调过 搞定
oozie的任务的执行workFlow:调度shell脚本,调度hive任务,调度mapreduce的任务 搞定
oozie的的多个任务的串联 : 搞定
oozie的定时任务 搞定
hue与oozie的整合 搞定
2、HA的环境搭建 不用做 可以将伪分布模式的环境转换成完全分布式,不丢失hdfs的数据
3、ClouderaManager的环境安装 做不了
2-10 就业课(2.0)-oozie:13、14、clouderaManager的服务搭建的更多相关文章
- 2-10 就业课(2.0)-oozie:12、cm环境搭建的基础环境准备
8.clouderaManager5.14.0环境安装搭建 Cloudera Manager是cloudera公司提供的一种大数据的解决方案,可以通过ClouderaManager管理界面来对我们的集 ...
- 2-10 就业课(2.0)-oozie:10、伪分布式环境转换为HA集群环境
hadoop 的基础环境增强 HA模式 HA是为了保证我们的业务 系统 7 *24 的连续的高可用提出来的一种解决办法,现在hadoop当中的主节点,namenode以及resourceManager ...
- 2-10 就业课(2.0)-oozie:9、oozie与hue的整合,以及整合后执行MR任务
5.hue整合oozie 第一步:停止oozie与hue的进程 通过命令停止oozie与hue的进程,准备修改oozie与hue的配置文件 第二步:修改oozie的配置文件(老版本的bug,新版本已经 ...
- 2-10 就业课(2.0)-oozie:8、定时任务的执行
4.5.oozie的任务调度,定时任务执行 在oozie当中,主要是通过Coordinator 来实现任务的定时调度,与我们的workflow类似的,Coordinator 这个模块也是主要通过xml ...
- 2-10 就业课(2.0)-oozie:5、通过oozie执行hive的任务
4.2.使用oozie调度我们的hive 第一步:拷贝hive的案例模板 cd /export/servers/oozie-4.1.0-cdh5.14.0 cp -ra examples/apps/h ...
- 2-10 就业课(2.0)-oozie:7、job任务的串联
4.4.oozie的任务串联 在实际工作当中,肯定会存在多个任务需要执行,并且存在上一个任务的输出结果作为下一个任务的输入数据这样的情况,所以我们需要在workflow.xml配置文件当中配置多个ac ...
- 2-10 就业课(2.0)-oozie:6、通过oozie执行mr任务,以及执行sqoop任务的解决思路
执行sqoop任务的解决思路(目前的问题是sqoop只安装在node03上,而oozie会随机分配一个节点来执行任务): ======================================= ...
- 2-10 就业课(2.0)-oozie:4、通过oozie执行shell脚本
oozie的配置文件job.properties:里面主要定义的是一些key,value对,定义了一些变量,这些变量往workflow.xml里面传递workflow.xml :workflow的配置 ...
- 2-10 就业课(2.0)-oozie:3、安装2
第七步:修改oozie-site.xml cd /export/servers/oozie-4.1.0-cdh5.14.0/conf vim oozie-site.xml 如果没有这些属性,直接添加进 ...
随机推荐
- oracle 基于时间错的 分区表
我们的zabbix 监控使用 oracle 作为存储, 因此,需要创建基于 基于时间戳的分区表,在此将操作过程记录如下 1. 创建,四个zabbix 最大的表的分区表 create table his ...
- SpringBoot爬虫小说阅读网站,定时更新小说和抓取功能
SpringBoot 小说爬虫搭建阅读网站 通过jsoup采集数据到mysql数据.redis作为缓存框架,减轻服务器压力.部署在linux,网站UI套纵横中文网! http://47.107.116 ...
- python 的参数总结
一.形参和实参 函数参数的作用是传递数据给函数使用 在使用的过程中,参数有两种形式:形式参数和实际参数 形参: 定义函数的参数 实参: 调用函数时的参数 根据实际参数类型不同,将实际参数传递给形参的方 ...
- 新手如何配置 Chromedriver 环境变量
有一个不错的链接:https://blog.csdn.net/qq_41429288/article/details/80472064
- 笔记-JavaScript与HTML DOM
引用源:https://www.cnblogs.com/propheterLiu/p/5966791.html 笔记-JavaScript和HTML DOM 区别: javascript JavaSc ...
- leetcode刷题-- 2. 排序(待更新)
排序 参考五分钟学算法 复杂度比较 时间复杂度 O(n2) 各种简单的排序:直接插入.直接选择.冒泡 O(nlog2n) 快速排序.堆排序.归并排序 O(n1+\(\lambda\)),希尔排序 线性 ...
- task20160125
http://task.zbj.com/2034844/n15o1.html 百度开放平台--首页>帮助文档首页>Frontia>Android开发指南>个人数据存储 http ...
- Gamma 矫正
参考如下链接: https://www.zhihu.com/question/27467127
- 创建私有yum仓库
创建私有yum仓库
- Java-读取.properties配置文件空指针异常java.lang.NullPointerException解决方法
异常显示: 问题所在: 加载.properties配置文件路径多了一个斜杠 "/" : 解决方法: 去掉斜杠,重新启动程序即可. 总结: 遇到问题还是要认真阅读异常信息!