Hadoop学习之--Capaycity Scheduler配置参数说明

【Hadoop学习之--Capaycity Scheduler配置参数说明】的更多相关文章

Hadoop学习之--Capaycity Scheduler配置参数说明

以下列举出来的是capacity关于queue和user资源使用量相关的参数说明: mapred.capacity-scheduler.queue.xxx.capacity: 队列的资源容量百分比,所有队列的容量之和应小于100mapred.capacity-scheduler.queue.xxx.maximum-capacity: 队列资源的使用上限百分比,最高限制为100%mapred.capacity-scheduler.queue.xxx.minimum-user-limit-perce…

Hadoop学习之--Capaycity Scheduler源码分析

Capacity Scheduler调度策略当一个新的job是否允许添加到队列中进行初始化,判断当前队列和用户是否已经达到了初始化数目的上限,下面就从代码层面详细介绍整个的判断逻辑.Capaycity添加一个job,会通过注册的监听器org.apache.hadoop.mapred.JobQueuesManager向队列中添加JOB,添加JOB过程中会检查当前队列和用户是否已经达到资源上限了. 下面详细的从源码角度介绍判断的条件: 队列的相关的上限判断条件:(queueWaitingJobs +…

Hadoop学习之--Fair Scheduler作业调度分析

Fair Scheduler调度器同步心跳分配任务的过程简单来讲会经历以下环节: 1. 对map/reduce是否已经达到资源上限的循环判断 2. 对pool队列根据Fair算法排序 3.然后循环pool队列,在pool中的job队列根据Fair算法排序,循环job,选择task 4.如果选择到一个task,跳出pool的循环,然后重新对pool排序,重复步骤2 Fair Scheduler调度策略对于pool和job的调度算法都是一致的,先解释在调度算法中的几个重要变量: minshare :…

Hadoop学习11--Ha集群配置启动

理论知识: http://www.tuicool.com/articles/jameeqm 这篇文章讲的非常详细了: http://www.tuicool.com/articles/jameeqm 以下是进阶,讲QJM工作原理: http://www.tuicool.com/articles/eIBB3a 首次启动ha集群过程: hdfs zkfc -formatZK(这个之前落下了,很重要,如果不注册到zookeeper,那么等于hdfs和zookeeper没产生任何关系) 1.启动journ…

Hadoop学习笔记： sqoop配置与使用

sqoop即SQL-to-Hadoop,是一个把数据从关系型数据库导入到Hadoop系统中的工具(HDFS,HIVE和HBase),也可以将数据从Hadoop导入到关系型数据库.本文以sqoop 1.99.6版本为例演示如何配置和使用sqoop. 一. 安装配置sqoop 1. 从Apache网上下载sqoop http://apache.fayea.com/sqoop/1.99.6/ 2. 将压缩包放置到指定目录后,运行tar -zxvf sqoop-1.99.6-bin-hadoop200.…

Hadoop学习笔记：安装配置Hadoop

安装前的一些环境配置: 1. 给用户添加sudo权限,输入su - 进入root账号,然后输入visudo,进入编辑模式,找到这一行:"root ALL=(ALL) ALL"在下面添加"xxx ALL=(ALL) ALL"(这里的xxx是你的用户名),然后保存退出 2. 将JDK压缩包解压到某一目录下tar -zxvf jdk-8u71-linux-x64.gz,并且配置JAVA_HOME以及HADOOP_HOME参数.用文本编辑器打开/etc/profile, 在…

Hadoop学习笔记：安装配置Hive

1. 在官网http://hive.apache.org/下载所需要版本的Hive,以下我们就以hive 2.1.0版为例. 2. 将下载好的压缩包放到指定文件夹解压,tar -zxvf apache-hive-2.1.0-bin.tar.gz. 3. 将Hive安装路径添加到/etc/profile中,之后用source命令使其生效. 4. 执行初始化命令:schematool -dbType derby -initSchema 查看初始化后的信息: schematool -dbType de…