Hadoop笔记HDFS(2)
高级Hadoop MapReduce管理
1 调试部署好的Hadoop的配置
2 运行基准测试检验Hadoop的安装
3 重新利用JVM提升性能
4 容错性
5 调试脚本-分析失败任务原因
6 设置失败比例以及忽略无效的记录
7 共享型用户Hadoop集群
8 Hadoop的安全性
9 使用Hadoop工具interface
内容目录
一调整参数
1、首先需要关掉正在运行的Hadoop集群(stop-dfs.sh以及stop-yarn.sh)
存放Hadoop参数的主要是下面4个文件:
core-site.xml:存放对整个集群的公共配置
hdfs-site.xml:存放对HDFS的配置
mapred-site.xml:存放对MapReduce的配置
yarn-site.xml:yarn的配置
上面的文件都是XML格式:name-value的内容格式。<configuration>是最顶层的tag,<property>定义每个属性
例如:<configuration>
<property>
<name>mapred.reduce.parallel.copies</name>
<value>2</value>
</property>
...
</configuration>
下面介绍修改存放hadoop日志的路径以及配置每个task的map和reduce个数的方法
1. 创建一个存放日志的文件,例如/home/hadoop_logs .
2. 在hadoop-env.sh中HADOOP_LOG_DIR这一行取消注释,并且赋值为新的路径。
3. 在mapred-site.xml中添加下面两个属性
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2 </value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2 </value>
</property>
4. 重启HDFS(start-dfs.sh)和MapReduce(start-yarn.sh)
5. ps –ef|grep hadoop 检验hadoop进程个数
HADOOP_LOG_DIR 重新定义了Hadoop输出日志的路径
mapred.tasktracker.map.tasks.maximum 和 mapred.tasktracker.reduce.tasks.maximum
连个属性定义了每个TaskTracker 在特定时刻能够运行的map和reduce任务的最大个数
所有在*-site.xml做的修改,都需要在重新启动Hadoop后系统重新加载生效。
二运行基准测试
Hadoop自带多个基准测试程序。我们可以使用他们验证Hadoop的安装并测试Hadoop的性能。
2. Run the randomwriter Hadoop job using the following command:
>bin/hadoop jar hadoop-examples-1.0.0.jarrandomwriter
-Dtest.randomwrite.bytes_per_map=100
-Dtest.randomwriter.maps_per_host=10 /data/unsorted-data
Here the two parameters, test.randomwrite.bytes_per_map and test.
randomwriter.maps_per_host 这两个参数指定由map产生的数据大小和map的数量
3. 执行排序程序:
>bin/hadoop jar hadoop-examples-1.0.0.jar sort /data/unsorted-data
/data/sorted-data
4. 检验前面运行的最终结果
>bin/hadoop jar hadoop-test-1.0.0.jar testmapredsort -sortInput /
data/unsorted-data -sortOutput /data/sorted-data
其它的基准测试
Hadoop includes several other benchmarks.
TestDFSIO: 测试HDFS的IO性能
nnbench:检验NameNode的硬件
mrbench: 运行多个小的job
TeraSort: 对1T的数据进行排序
三 对JVM重复使用提升性能
默认情况下,Hadoop会为每个map或reduce任务启动一个JVM,然而对多个task运行相同的jvm,
有时会显著的加快执行速度。
1. 运行WordCount的例子,并传递如下参数
>bin/hadoop jar hadoop-examples-1.0.0.jar wordcount –D mapred.job.
reuse.jvm.num.tasks=-1 /data/input1 /data/output1
2. 这时 (执行 ps –ef|grep hadoop)Hadoop会为每个task使用同样的JVM
However, passing arguments through the –D option only works if the job implements
the org.apache.hadoop.util.Tools interface. Otherwise, you should set the
option through the JobConf.setNumTasksToExecutePerJvm(-1) method.
我们可以在mapred-site.xml中设置属性mapred.job.reuse.jvm.num.tasks ,
这样就可以控制在hadopp中运行的JVM数,当设置为0或-1的时候Hadoop为每个task运行同样的JVM
四、容错性和投机性运行
选择Hadoop的主要优势是系统对容错性的支持。当运行一个job,特别是很大的job的时候,部分job
可能会由于各种原因失败(网络、硬盘、节点故障等等)。
在hadoop启动后JobTracker会监控TaskTrackers的执行情况,当TaskTrackers没有相应的时候,
hadoop会重新将task提交给其它的TaskTracker(Hadoop V2中ResourceNode负责资源的分配,而DataNode负责监控
自己节点的job运行情况)
由于集群中每个节点的性能不一样可能出现其它节点完成job,但是还有其它node没有完成job,这个时候hadoop会启动一个
空闲节点运行同样的job,然后tasktracker会使用最先运行完的节点的结果,并且结束掉另外一个还没运行完的节点。
bin/hadoop jar hadoop-examples-1.0.0.jar wordcount–Dmapred.map.tasks.
speculative.execution=false –D mapred.reduce.tasks.speculative.
execution=true /data/input1 /data/output1
待续...
Hadoop笔记HDFS(2)的更多相关文章
- Hadoop笔记HDFS(1)
环境:Hadoop2.7.3 1.Benchmarking HDFS 1.1测试集群的写入 运行基准测试是检测HDFS集群是否正确安装以及表现是否符合预期的好方法.DFSIO是Hadoop自带的一个基 ...
- hadoop笔记-hdfs文件读写
概念 文件系统 磁盘进行读写的最小单位:数据块,文件系统构建于磁盘之上,文件系统的块大小是磁盘块的整数倍. 文件系统块一般为几千字节,磁盘块一般512字节. hdfs的block.pocket.chu ...
- Hadoop学习笔记—HDFS
目录 搭建安装 三个核心组件 安装 配置环境变量 配置各上述三组件守护进程的相关属性 启停 监控和性能 Hadoop Rack Awareness yarn的NodeManagers监控 命令 hdf ...
- Hadoop学习笔记-HDFS命令
进入 $HADOOP/bin 一.文件操作 文件操作 类似于正常的linux操作前面加上“hdfs dfs -” 前缀也可以写成hadoop而不用hdfs,但终端中显示 Use of this scr ...
- hadoop笔记之hdfs shell操作
HDFS命令行操作 HDFS命令行操作 (以下是hadoop 1.x 版本的命令使用) 装好hadoop之前首先要进行一个格式化 hadoop namenode -format 运行之后,可以将文件夹 ...
- hadoop之HDFS学习笔记(一)
主要内容:hdfs的整体运行机制,DATANODE存储文件块的观察,hdfs集群的搭建与配置,hdfs命令行客户端常见命令:业务系统中日志生成机制,HDFS的java客户端api基本使用. 1.什么是 ...
- Hadoop基础-HDFS集群中大数据开发常用的命令总结
Hadoop基础-HDFS集群中大数据开发常用的命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本盘博客仅仅列出了我们在实际生成环境中常用的hdfs命令,如果想要了解更多, ...
- Hadoop基础-HDFS的API常见操作
Hadoop基础-HDFS的API常见操作 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本文主要是记录一写我在学习HDFS时的一些琐碎的学习笔记, 方便自己以后查看.在调用API ...
- Hadoop基础-Hdfs各个组件的运行原理介绍
Hadoop基础-Hdfs各个组件的运行原理介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.NameNode工作原理(默认端口号:50070) 1>.什么是NameN ...
随机推荐
- sql 错误提示
今天在登录SqlServer2005的MicroSoft Sql Server Managerment Studio的时候,系统提示:在建立与服务器的连接时出错.在连接到SQL Server 2005 ...
- C遇到的问题
1. stdout-------printf输出到stdout,并在终端打印 stderr--------perror错误输出到stderr,并在终端打印 2. usleep(1)//代表一微妙 sl ...
- php session详解
<?php /* * session_abort — Discard session array changes and finish session 舍弃会话序列变化和结束会话 session ...
- 多个git账号的配置
问题描述: 作为开发人员,普遍有多个git账号,例如,公司邮箱对应的公司仓储账号和私人邮箱对应的github账号.在一台电脑上使用两个账号基于ssh协议拉代码,如果不进行额外设置,往往只有一个账号可以 ...
- easyui datagrid 单选框 效果
columns: [[{ field: 'oid', title: '选择', width: 20, forma ...
- DataSet, BindingSource, BindingNavigator Relationship
Multiple Bindings caused dataBing weird???? Text.DataBindings.Add(new Binding("Text", bs1, ...
- tomcat session cluster
Session的生命周期 以前在学习的时候没怎么注意,今天又回过头来仔细研究研究了一下Session的生命周期. Session存储在服务器端,一般为了防止在服务器的内存中(为了高速存取),Sessi ...
- Spark运行原理解析
前言: Spark Application的运行架构由两部分组成:driver program(SparkContext)和executor.Spark Application一般都是在集群中运行,比 ...
- LeetCode Binary Tree Longest Consecutive Sequence
原题链接在这里:https://leetcode.com/problems/binary-tree-longest-consecutive-sequence/ 题目: Given a binary t ...
- thinkphp多语言设置
thinkphp多语言设置有点'高大上',为什么说它有点'高大上'呢?因为本人设置了好久才弄好,而本人之所以弄了好久的原因,竟然是因为'开启语言设置必须得先开启初始化系统的行为类',所以,在这里,因为 ...