Services:Haddoop cluster上可以部署的组件,比如HDFS，YARN，HBase等。

Roles:在service配置时，由Cloudera Manager创建。比如NameNode是HDFS service的一个role。

Role Group:对Role的管理，可以将相同类别的Role(如DataNode)划分到不同的角色组。每个Role Group可以有属于自己的一系列配置。

Role Instance:组成服务最基本的单一实例(可以认为是进程)。一个HDFS服务有NameNode角色和DataNode角色等组成。而DataNode角色又含有N个DataNode实例。

configuration priority: Role Instance > Role Group > Service

Cloudera Manager会基于resource availability自动创建role groups。Role可以在Role group之间移动。

每个通过cloudera manager管理的service都有两个配置文件。一个是service默认的配置文件，CM称之为client configuration，存放在/etc/hadoop/conf；一个是cloudera agent运行时需要访问的配置文件存,放在/var/run/cloudera-scm-agent/process/目录下。

Hadoop守护进程的log主要包括NameNode，DataNodes，NodeManager，JobHistory Server的log.

Application log包括YARN containers的log，以及spark，Hive等service的log

.out文件:包含进程启动时的stdout和stderr。

.log文件:service的log文件。

cloudera learning3:Hadoop配置和守护进程logs的更多相关文章

  1. hadoop地址配置、内存配置、守护进程设置、环境设置

    1.1  hadoop配置 hadoop配置文件在安装包的etc/hadoop目录下,但是为了方便升级,配置不被覆盖一般放在其他地方,并用环境变量HADOOP_CONF_DIR指定目录. 1.1.1  ...

  2. .net Core 配置Centos守护进程Supervisor

    声明: 博客引用来源:https://blog.csdn.net/qq_37997978/article/details/83311177建议看原版,更为详细 介绍: Supervisor( http ...

  3. centos7安装配置supervisor守护进程

    yum install Supervisor supervisord -c /etc/supervisord.conf 进入 cd /etc 目录 找到supervisord.conf 配置文件 和 ...

  4. Linux Rsync备份服务介绍及部署守护进程模式

    rsync介绍 rsync是一款开源的.快速的.多功能的.可实现全量及增量的本地或远程数据同步备份工具 在常驻模式(daemon mode)下,rsync默认监听TCP端口873,以原生rsync传输 ...

  5. Gradle 1.12翻译——第十九章. Gradle 守护进程

    有关其他已翻译的章节请关注Github上的项目:https://github.com/msdx/gradledoc/tree/1.12,或访问:http://gradledoc.qiniudn.com ...

  6. 【docker专栏7】容器自启动与守护进程停止后容器保活

    本文为大家介绍容器自启动以及docker 守护进程挂掉或者docker升级的情况下,如何保证容器服务的正常运行.主要包含三个部分 一.守护进程开机自启 在我们安装docker的时候,介绍过启动dock ...

  7. hadoop不能互相访问和linux防火墙守护进程

    前言——作为装过几次集群的菜鸟,对于hadoop集群的安装还是比较有心得的:只要配置文件够好,集群配置就非常容易,否则也容易出现莫名其妙的问题!总结了一份3台机器搭建较完好的集群的一份配置文件. 在我 ...

  8. centos 下Supervisor 守护进程基本配置

    supervisor:C/S架构的进程控制系统,可使用户在类UNIX系统中监控.管理进程.常用于管理与某个用户或项目相关的进程. 组成部分supervisord:服务守护进程supervisorctl ...

  9. supervisor使用，配置和安装（包括监控守护进程httpd，keepalived）

    yum -y install supervisor(如果安装不成功,需要更新源,yum -y install epel) 或者: wget --no-check-certificate https:/ ...

随机推荐

  1. jQuery插件写法总结以及面向对象方式写法总结

    前两个是jQuery插件,后面2个是以对象的形式开发,都类似. 写法一 (function($, window){ // 初始态定义 var _oDialogCollections = {}; // ...

  2. 多个DataSet数据合并

    DataSet ds = myIAppSet.GetHomeHottestList(siteID, , time); ].Rows.Count > ) { ds.Merge(ds1); } Me ...

  3. iOS之tabBar随tableView的滑动而隐藏／显现

    ` @property(nonatomic,assign)CGFloat historyY; #pragma mark Delegate //设置滑动的判定范围 - (void)scrollViewW ...

  4. Schwarz积分公式

    设$f\in H(B(0,R))\cap C(\overline{B(0,R)})$,且$f=u+iv$,则$f$可用其实部表示为 $$f(z)=\frac{1}{2\pi}\int_{0}^{2\p ...

  5. AT常见问题

    https://m.douban.com/note/247040789/?from=author

  6. jqGrid配置属性说明

    Property Type Description Default1) ajaxGridOptions object This option allows to set global ajax set ...

  7. Node.js-npm【1】-常用命令

    查看版本:npm -v 获取全局目录:npm config get prefix 设置全局目录npm config set prefix "D:\Program Files\nodejs\n ...

  8. codeforces泛做..

    前面说点什么.. 为了完成日常积累,傻逼呵呵的我决定来一发codeforces 挑水题 泛做.. 嗯对,就是泛做.. 主要就是把codeforces Div.1的ABCD都尝试一下吧0.0.. 挖坑0 ...

  9. 从零开始山寨Caffe·零：必先利其器

    工作环境 巧妇有了米炊 众所周知,Caffe是在Linux下写的,所以长久以来,大家都认为跑Caffe,先装Linux. niuzhiheng大神发起了caffe-windows项目(解决了一些编译. ...

  10. 你应该在开始API开发之前知道的事（下）（翻译）

    放了十多天,一直在玩没写,今天终于要把坑填完了.有部分没翻,主要是一般都用不上的,有兴趣的朋友可以自己翻下. 上篇地址 :http://www.cnblogs.com/Scohura/p/357360 ...