2、HDFS和Yarn的基础学习笔记

日志 --排错

.log：通过log4j记录的，记录大部分应用程序的日志信息

.out：记录标准输出和标准错误日志，少量记录

hdfs 常用shell

-ls

-put <localsrc> ... <dst> 上传

-cat -text 查看文件内容

-mkdir [-p]

-mv

-cp

-du

-chmod

认识一些重要的配置选项：

namenode 元数据？？

datanode 数据存储目录？

系统默认：

文件名：core-default.xml、hdfs-default.xml、yarn-default.xml、mapred-default.xml

自定义的：

位置：$HADOOP_HOME/etc/hadoop

文件名：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml

自定义namenode节点 datanode节点

hdfs-site.xml:

    <property>

        <name>dfs.namenode.http-address</name>

        <value>hadoop1:50070</value>

    </property>

core-site.xml

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/modules/hadoop-2.5.0/data</value>

    </property>

yarn-site.xml

   <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop1</value>

    </property>

日志聚合

--日志上传到HDFS

yarn-site.xml

    <property>

        <name>yarn.log-aggregation-enable</name>

        <value>true</value>

    </property>

    <property> 
　　　　　　<name>yarn.log-aggregation.retain-seconds</name>

        <value>86400</value>

    </property>

mapred-site.xml

    <property>

        <name>mapreduce.jobhistory.webapp.address</name>

        <value>hadoop1:19888</value>

    </property>

启动服务

$ sbin/mr-jobhistory-daemon.sh start historyserver

目前：

 NameNode

 Jps

 DataNode

 NodeManager

 JobHistoryServer

 ResourceManager

hdfs --namenode datanode

--resourcemanager nodemanager

namenode

--元数据（文件名、权限、时间）

fsimage(内存) 二进制

--> put rm mkdir -->edits

edits_log 二进制

-->重启

-->hdfs有很多修改（元数据-->edits很大） replay

-->下一次重启namenode，合并变得很慢

secondary namenode(不是热备)

-->周期性合并fsimage和edits，辅助namenode

-->通常安装到另外一台物理服务器

--周期性：1H

--edits：64M

hdfs-site.xml

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>hadoop1:50090</value>

    </property>

namenode

--HDFS的中心服务器

--客户端访问HDFS集群的入口

--响应给客户端的数据直接由datanode传出

--读取文件时NameNode尽量让用户先读取最近的副本

--周期性地从集群中的每个Datanode接收心跳信号和块状态报告(Blockreport)

datanode

--存储数据

--以块为单位进行存储（128M）

--报告块的状态（1H）

--周期性向namenode注册（3s）--（10min）

--在线加入/卸载服务器

HDFS数据安全性？？

safemode安全模式： --HDFS

--进入安全模式以后变成只读

1、在namenode启动过程中

-->datanode

2、dfs.namenode.safemode.threshold-pct

-->0.999f -->block

HDFS

--存储大、动态扩展

--运行在普通的商用服务器（容错高）

--副本数、保证数据安全

--一次写入、多次读写

--不适合修改比较频繁的业务

--适合存储大文件，不适合存储太多小文件

yarn --资源管理

resourcemanager

--处理客户端请求

--启动/监控ApplicationMaster

--监控NodeManager

--资源分配与调度

Application Master

--作为job任务的管理者

--为应用程序申请资源，并进一步分配给内部任务

--任务监控与容错

NodeManager

--单个节点上的资源管理和任务管理

--处理来自ResourceManager的命令

--处理来自ApplicationMaster的命令

Container

--对任务运行环境的抽象

--描述一系列信息

--任务运行资源（节点、内存、CPU）

--任务启动命令

--任务运行环境

yarn任务运行流程：

1、resourcemanager收到客户端请求

2、resourcemanager会去生产一个application master，作为当前job任务的管理者

3、application master再去resource manager申请资源

4、resource manager响应application master的资源申请

5、application master分派任务给其他nodemanager(container)

6、nodemanager接受到任务指派以后，开始执行job任务

7、nodemanager执行完成以后向管理者报告

8、application master向resourcemanager报告

yarn.nodemanager.resource.memory-mb 8G

yarn.nodemanager.resource.cpu-vcores

memory多少会影响任务执行是否失败

cpu只会job任务的快慢