hadoop配置项笔记 - yarn
hadoop版本:3.1.1
yarn-site.xml
yarn.log-aggregation-enable
作用:是否开启任务日志收集
默认值:false
我的设置:true
yarn.log-aggregation.retain-seconds
作用:日志自动清理前保存多长时间,单位秒。
默认值:-1
我的设置:864000
yarn.log-aggregation.retain-check-interval-seconds
作用:检查日志保留与否的时间间隔,单位秒。
默认值:-1 如果为0或负值,则计算为yarn.log-aggregation.retain-seconds的1/10.
我的设置:-1
yarn.resourcemanager.nodes.include-path
yarn.resourcemanager.nodes.exclude-path
作用:控制或排除nodemanager。可以是文件名的完整路经名,文件每一行是一台结点机器的IP或hostname。
默认值:空
我的设置:空
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb
作用:每个容器向ResourceManager可申请的最小/最大内存,单位MB。
默认值:1024/8192
我的设置:随需要调整。
mapred-site.xml
mapreduce.map.memory.mb
作用:每个mapper申请的内存大小,单位MB
默认值:-1
我的设置:随需要调整。
mapreduce.map.java.opts
作用:为运行JVM程序准备的。mapper的child jvm的最大堆大小,单位MB
默认值:?
我的设置:-Xmx1014M,随需要调整。
mapreduce.reduce.memory.mb
作用:每个reducer申请的内存大小,单位MB
默认值:-1
我的设置:随需要调整。
mapreduce.reduce.java.opts
作用:为运行JVM程序准备的。reducer的child jvm的最大堆大小,单位MB
默认值:?
我的设置:-Xmx2560M,随需要调整。
mapreduce.task.timeout
作用:mr任务超时时间,超时将被自动杀死。超时的定义:既不读input,又不写output,还不更新status string。单位毫秒,设置为0则disable此配置。
默认值:600000 (10分钟)
我的设置:默认。随需要调整。
mapreduce.map.maxattempts
mapreduce.reduce.maxattempts
作用:map和reduce任务的最多尝试次数。
注意任务尝试(task attempt)被中止(killed)与任务失败(task failure)不同,前者不计入。
默认值:4
我的设置:默认。随需要调整。
mapreduce.map.failures.maxpercent
mapreduce.reduce.failures.maxpercent
作用:map和reduce任务的最多失败百分比。
默认值:?
我的设置:5。随需要调整。
mapreduce.task.io.sort.mb
作用:shuffle阶段排序时,mapper任务输出的内存缓冲区总大小,单位MB。
默认值:100
我的设置:默认。随需要调整。
mapreduce.map.sort.spill.percent
作用:shuffle阶段排序时,将内容写进磁盘的缓冲区阈值百分比。
默认值:0.80
我的设置:默认。随需要调整。
mapreduce.map.combine.minspills
作用:shuffle阶段排序时,运行combiner所需要的最少spill files数。
默认值:0.80
我的设置:默认。随需要调整。
mapreduce.task.io.sort.factor
作用:shuffle阶段排序时,每次内存缓存溢出阈值,都会生成一个溢出文件(spill file)。多个spill file会被合并,此配置项控制reducer一次最多合并多少流。
默认值:10
我的设置:默认。随需要调整,建议适当提高。
mapreduce.reduce.shuffle.parallelcopies
作用:shuffle阶段排序时,reduce并行复制mapper输出的线程数。
默认值:5.
我的设置:默认。随需要调整。
hadoop配置项笔记 - yarn的更多相关文章
- Hadoop学习笔记—Yarn
目录 一些基本知识 ResourceManager 的恢复 Resource Manager的HA YARN Node Labels YARN Node Attributes Web Applicat ...
- hadoop配置项笔记 - hdfs
hadoop版本:3.1.1 core-site.xml dfs.namenode.rpc-address 作用:rpc地址.我在使用distcp时显式使用到了. 默认值:port是8020 我的设置 ...
- hadoop配置项笔记 - streaming
stream.map.input.ignoreKey 作用:是否忽略key,只传递值. 默认值:false 我的设置:按需要更改 stream.map.input.field.separator st ...
- Hadoop学习笔记—HDFS
目录 搭建安装 三个核心组件 安装 配置环境变量 配置各上述三组件守护进程的相关属性 启停 监控和性能 Hadoop Rack Awareness yarn的NodeManagers监控 命令 hdf ...
- Hadoop学习笔记—22.Hadoop2.x环境搭建与配置
自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...
- Hadoop阅读笔记(一)——强大的MapReduce
前言:来园子已经有8个月了,当初入园凭着满腔热血和一脑门子冲动,给自己起了个响亮的旗号“大数据 小世界”,顿时有了种世界都是我的,世界都在我手中的赶脚.可是......时光飞逝,岁月如梭~~~随手一翻 ...
- Hadoop学习之YARN框架
转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/,非常感谢分享! 对于业界的大数据存储及分布式处理系统来说,H ...
- Hadoop读书笔记(四)HDFS体系结构
Hadoop读书笔记(一)Hadoop介绍:http://blog.csdn.net/caicongyang/article/details/39898629 Hadoop读书笔记(二)HDFS的sh ...
- Hadoop阅读笔记(七)——代理模式
关于Hadoop已经小记了六篇,<Hadoop实战>也已经翻完7章.仔细想想,这么好的一个框架,不能只是流于应用层面,跑跑数据排序.单表链接等,想得其精髓,还需深入内部. 按照<Ha ...
随机推荐
- pyothon学习笔记2-元组
# 1.元组对象不可修改,元组中列表对象的对象可以修改 t = (1,2,[1,2,3]) t[2] = [1,2,3,4] # 'tuple' object does not support ite ...
- Django---cookie和session
Django的cookie和session 一.cookie 二.session 回到顶部 一.cookie 1.特点 1. cookie数据保存在客户端,以key-value存储 2. cookie ...
- [elk]验证mapping字段数和数据字段数关系
验证一个mapping下字段缺少或者超过 结论: 没有什么不可以. 1.如果数据字段不在mapping里,则动态会更新mapping. 2.数据字段数也可以小于mapping里字段数 创建一个mapp ...
- 一HTML基础知识
网站(前段项目)的目录结构及命名 网站的结构:网站是存放在服务器上的一个文件夹(根目录),是网站所有文件的集合.网站中所有文件按照文件类型或功能分门别类的整理存放. 网站命名规则:网站中的所有文件命名 ...
- JS全选反选功能
总选框:<input type="checkbox" class="all" name="all"> 子选框: <inpu ...
- JavaScript 判断是PC端还是移动端
function IsPC() { var userAgentInfo = navigator.userAgent; var Agents = ["Android" ...
- python爬虫中scrapy框架是否安装成功及简单创建
判断框架是否安装成功,在新建的爬虫文件夹下打开盘符中框输入cmd,在命令中输入scrapy,若显示如下图所示,则说明成功安装爬虫框架: 查看当前版本:在刚刚打开的命令框内输入scrapy versio ...
- mysql杯观锁与乐观锁
悲观锁与乐观锁是两种常见的资源并发锁设计思路,也是并发编程中一个非常基础的概念.本文将对这两种常见的锁机制在数据库数据上的实现进行比较系统的介绍. 悲观锁(Pessimistic Lock) 悲观锁的 ...
- CentOS 7 Nginx1.12.2平滑升级到新版本nginx-1.13.3
查看当前Nginx版本信息 [root@web ~]# /usr/local/nginx/sbin/nginx -V nginx version: nginx/ built by gcc (Red H ...
- Mysql 导入CSV文件,中文内容乱码问题
项目中用到含有中文字段的数据CSV文件,导入Mysql数据中发现中文内容乱码. 分析原因:因为数据库字符编码问题引起. [1]创建utf-8字符集数据库 CREATE DATABASE db_name ...