hadoop 参数

看《Hadoop：权威指南》的时候收集了书上写的一些需要优化的参数，记录了一下子，给大家分享一下吧。

1.mapred.task.timeout
任务超时时间，默认是10分钟

2.mapred.map.max.attempts  mapred.reduce.max.attempts
默认任务失败重复次数为4

3.mapred.max.map.failures.percent mapred.reduce.map.failures.percent
不触发错误的失败的最大百分比

4.mapred.jobtracker.taskScheduler
作业调度算法设置,默认是FIFO

5.io.sort.mb io.sort.spill.percent
缓冲区大小默认为100MB，以及缓冲区阀值默认为0.8，超过80%就保存到硬盘

6.io.sort.factor
默认为10，一次只能合并10个溢出文件

7.mapred.compress.map.output
默认为false，不压缩输出文件
压缩算法由mapred.map.output.compression.codec指定

8.tracker.http.Threads
tasktracker用于默认为40的啦

9.mapred.reduce.parallel.copies
reduce复制map输出的线程数，默认是5个

10.mapred.inmem.merge.threshold
控制map输出阀值，如果reduce函数的内存需求不大，那么设置为0
mapred.job.reduce.input.buffer.percent设置为1，可以带来性能的提升。

11.io.sort.factor
合并因子，默认为10，意思是一次合并多少个Map输出
如果Map输出为50个文件，则每次把10个合并成一个文件，最后有5个中间文件。

12.mapred.child.java.opts
设置任务节点的内存大小

13.io.file.buffer.size
缓冲区，默认为4KB的缓冲区

14.mapred.map.tasks.speculative.execution mapred.reduce.tasks.speculative.execution
推测执行默认值为true，

15.mapred.job.reuse.jvm.num.tasks
默认值为1，指定作业的jvm执行任务的最大数，如果为-1，则同一作业中的任务可以共享一个JVM,数量不限

16.mapred.linerecordreader.maxlength
数据行长度的最大值，防止因为内存溢出导致的错误

17.SkipBadRecord开启跳跃模式，跳过失败的坏记录
mapred.map.max.attemps mapred.reduce.attemps 一次只能跳过一个错误记录

18.关闭安全模式
hadoop dfsadmin -safemode leave