CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置

相关文章链接

CentOS7安装CDH 第一章：CentOS7系统安装

CentOS7安装CDH 第二章：CentOS7各个软件安装和启动

CentOS7安装CDH 第三章：CDH中的问题和解决方法

CentOS7安装CDH 第四章：CDH的版本选择和安装方式

CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0

CentOS7安装CDH 第六章：CDH的管理-CDH5.12

CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置

CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作

CentOS7安装CDH 第九章：CDH中安装Kafka

CentOS7安装CDH 第十章：CDH中安装Spark2

CentOS7安装CDH 第十一章：离线升级CDH版本

CentOS7安装CDH 第十二章：YARN的资源调优

CentOS7安装CDH 第十三章：CDH资源池配置

CentOS7安装CDH 第十四章：CDH的优化

1. HDFS的HA配置

1、在HDFS的的服务中点击启动High Availability

2、设置NameService的名称

3、分配HDFS的HA所需要的角色

NameNode        主机:nn1 、nn2

JoumalNode      主机:nn1 、nn2 、dn1

4、审核更改(JournalNode的编辑目录)

5、安装必要的服务

6、安装服务过程中的一个error

此为正常现象，先前那个单节点是有数据的，所以不会格式化，所以报错。

7、安装完成

2. HDFS中的2个常用命令

1、hdfs haadmin命令

[root@i-bsbhj3uw ~]# hdfs haadmin

Usage: DFSHAAdmin [-ns <nameserviceId>]

[-transitionToActive <serviceId> [--forceactive]]

[-transitionToStandby <serviceId>]

[-failover [--forcefence] [--forceactive] <serviceId> <serviceId>]

[-getServiceState <serviceId>]

[-checkHealth <serviceId>]

[-help <command>]

2、hdfs fsck命令

[hdfs@i-bsbhj3uw ~]$ hdfs fsck

Usage: DFSck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]]

<path>   start checking from this path

-move    move corrupted files to /lost+found

-delete   delete corrupted files

-files      print out files being checked

-openforwrite      print out files opened for write

-includeSnapshots      include snapshot data if the given path~

-list-corruptfileblocks print out list of missing blocks and files they belong to

-blocks   print out block report

-locations     print out locations for every block

-racks    print out network topology for data-node locations

-blockId print out which file this blockId belongs to, locations (nodes, racks) ~

应用场景：当在上传文件到HDFS中时，碰到突然断电等突发操作，服务器重启后会发现hdfs启动不了，可以使用hdfs fsck命令查找到其中腐败的块。

然后使用hdfs fsck -delete /腐败的块的位置将该块删除，就可以重启HDFS了。

3. Yarn的HA配置

1、在HDFS的的服务中点击启动High Availability

2、选择Yarn高可用所需要的主机

3、安装Yarn高可用所需要的服务

4、Yarn高可用安装成功

4. Yarn中的常用命令

1、查看Yanr中所用正在运行的程序

　　yarn application -list

2、kill掉通过yarn提交的spark的实时程序

　　yarn application -kill application_1541073817208_0238

3、查看yarn中的一个程序的任务日志（有些日志只能这样查看，在web界面的log中显示不出来）

　　yarn logs -applicationId application_1541073817208_0677 |grep  "查找的内容"