Hadoop进阶命令使用介绍

hadoop生产环境的使用是很复杂的，有些公司是CDH或者Ambari等管理工具运维的，有些是原生的集群俗称裸奔，前者优缺点是运维，查看监控等容易，对于底层理解不友好；裸奔集群反之，裸奔集群的很多东西都需要定制和自己开发，比如监控用zabbix，告警用企业微信，节点的异构严重的，需要二次开发配置文件分发等等避免同步配置时配置覆盖(举例：node1是2块磁盘，node2是三块，如果直接同步配置文件则要么node1多了一个目录，要么node2的配置少了一块盘。若覆盖的磁盘多了，就会导致集群丢块)

先上官网：Apache Hadoop 3.1.2

集群间数据平衡：

> nohup hdfs balancer -D "dfs.balancer.movedWinWidth=300000000"  -D "dfs.datanode.balance.bandwidthPerSec=2000m" -threshold  > hadoop-hadoop-balancer-hadoop-.log &

节点内各个磁盘的数据平衡：

> hdfs diskbalancer -plan IP -bandwidth  -v > /dev/null | egrep ^/ | xargs hdfs diskbalancer -execute

接上，查看磁盘平衡情况/进度：

> hdfs diskbalancer -query IP

YARN资源置空(这里多说一下，资源置空我们在生产环境是有些情况需要把这个node下线，但是此时此刻正有任务在运行，资源置空之后，UI上面会显示这个资源是负值，等正在运行的任务运行完成之后就不会再提交到这个node上了，就可以下线了)

• 注意这个PORT是UI页面上的Node Address，不是Node HTTP Address

> yarn rmadmin -updateNodeResource IP:PORT  

HDFS高可用Namenode主从切换：

• nn1,nn2这两个是你集群配置文件配置高可用时指定的别名，需要用你自己的

> hdfs haadmin -failover nn2 nn1

HDFS退出安全模式

> hadoop dfsadmin -safemode leave

HDFS动态生效datanode/namenode配置：

• status:查看动态生效配置状态
• start:执行动态生效配置动作
• properties:查看修改了哪些配置与正在运行的不一样

> hdfs dfsadmin -reconfig datanode IP:PORT status|start|properties

简单就先写这么多，后面遇到了在更新。这篇不是教大家这些命令怎么用，怎么背，是教大家遇到问题怎么解决，上面我自己的定义是水贴，后面才是干货

往下看！

官网链接我贴在开头了，点进去在往下看我写的，看我圈中红圈的位置

首先你遇到一个问题你要清楚这是哪一类的问题，而且一定要多看官网，熟悉官网对于问题和用法的分类，上图我标注的，1，2，3，4步。因为我清楚我的问题是hdfs的问题，动态生效就一定需要命令行操作，就点进去command reference，然后是datanode修改配置的问题，配置是管理员操作的不是客户端，所以定位到Administration Commands，所以很快就定位到子命令dfsadmin。是yarn还是hdfs还是mapreduce遇到的问题，然后官网左侧边栏按分类自己找，暂且用这三类举例，如果是命令行的动作，啥也别想，command reference点进去，浏览器Ctrl + F搜你可能遇到问题的英文单词，比如上面举例的动态生效配置，我不知道什么status，start，但是配置的英文是properties，那我就搜进去看看，结果已经很少了，不信你看下面最后的图

找到这里，基本不需要再纠结什么了，就很快就找到了，这是dfsadmin子命令的所有总览，不太确定的往下找详细解释就行了

很多问题百度，Google是没有答案的，泛泛来讲的话很多问题的表象可能一样，但是根本原因可能都不尽相同，别人的办法不一定适合你，我上一篇写的JetBrains Datagip连接hive的那个小帖子，我千算万算没算到驱动版本的导致的，但是单纯的看返回的报错，互联网铺天盖地的一样的报错，但是问题的成因根本不同，所以要多尝试从官方入手，嫌麻烦？你网上看，我的步骤麻烦吗? 不比你百度一上午来的快？？？