hadoop集群日常运维命令
#1.namenode
hadoop namenode -format #格式化，慎用
su hdfs
hadoop-daemon.sh start namenode
hadoop-daemon.sh stop namenode
#2.journalnode
hadoop-daemon.sh start journalnode
hadoop-daemon.sh stop journalnode
#3.zkfc
hdfs zkfc -formatZK #格式化，慎用
hadoop-daemon.sh start zkfc
hadoop-daemon.sh stop zkfc
#4.datanode
hadoop-daemon.sh start datanode
hadoop-daemon.sh stop datanode
#5.nodemanager
su yarn
yarn-daemon.sh start nodemanager
yarn-daemon.sh stop nodemanager
#6.resourcemanager
yarn-daemon.sh start resourcemanager
yarn-daemon.sh stop resourcemanager
#7.hive
hive --service hiveserver2 #10000
hive --service metastore #9083
#8.zookeeper
bin/zkServer.sh start  #2181
bin/zkServer.sh stop
bin/zkServer.sh status
bin/zkCli.sh #连接后台zk服务查看znode,可加-server参数
#HA Federation
<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>dfs.nameservices</name>

<value>aaa,bbb</value>

</property>

<!-- aaa -->

<property>

<name>dfs.ha.namenodes.aaa</name>

<value>nn1,nn2</value>

</property>

<property>

<name>dfs.namenode.rpc-address.aaa.nn1</name>

<value>1.1.1.1:8020</value>

</property>

<property>

<name>dfs.namenode.rpc-address.aaa.nn2</name>

<value>1.1.1.2:8020</value>

</property>

<property>

<name>dfs.namenode.http-address.aaa.nn1</name>

<value>1.1.1.1:50070</value>

</property>

<property>

<name>dfs.namenode.http-address.aaa.nn2</name>

<value>1.1.1.2:50070</value>

</property>

<property>

<name>dfs.client.failover.proxy.provider.aaa</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<property>

<name>dfs.namenode.shared.edits.dir.aaa</name>

<value>qjournal://1.1.1.1:8485;1.1.1.2:8485;1.1.1.3:8485/aaa</value>

</property>

<!-- bbb -->

<property>

<name>dfs.ha.namenodes.bbb</name>

<value>nn1,nn2</value>

</property>

<property>

<name>dfs.namenode.rpc-address.bbb.nn1</name>

<value>1.1.1.4:8020</value>

</property>

<property>

<name>dfs.namenode.rpc-address.bbb.nn2</name>

<value>1.1.1.5:8020</value>

</property>

<property>

<name>dfs.namenode.http-address.bbb.nn1</name>

<value>1.1.1.4:50070</value>

</property>

<property>

<name>dfs.namenode.http-address.bbb.nn2</name>

<value>1.1.1.5:50070</value>

</property>

<property>

<name>dfs.namenode.servicerpc-address.bbb.nn1</name>

<value>1.1.1.4:8020</value>

</property>

<property>

<name>dfs.namenode.servicerpc-address.bbb.nn2</name>

<value>1.1.1.5:8020</value>

</property>

<property>

<name>dfs.client.failover.proxy.provider.bbb</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<property>

<name>dfs.namenode.shared.edits.dir.bbb</name>

<value>qjournal://1.1.1.4:8485;1.1.1.5:8485;1.1.1.6:8485/bbb</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:///data/dfs/nn/local</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/data1/dfs/local,/data2/dfs/local</value>

</property>

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/data/dfs/jn</value>

</property>

<property>

<name>dfs.qjournal.start-segment.timeout.ms</name>

<value>60000</value>

</property>

<property>

<name>dfs.qjournal.prepare-recovery.timeout.ms</name>

<value>240000</value>

</property>

<property>

<name>dfs.qjournal.accept-recovery.timeout.ms</name>

<value>240000</value>

</property>

<property>

<name>dfs.qjournal.finalize-segment.timeout.ms</name>

<value>240000</value>

</property>

<property>

<name>dfs.qjournal.select-input-streams.timeout.ms</name>

<value>60000</value>

</property>

<property>

<name>dfs.qjournal.get-journal-state.timeout.ms</name>

<value>240000</value>

</property>

<property>

<name>dfs.qjournal.new-epoch.timeout.ms</name>

<value>240000</value>

</property>

<property>

<name>dfs.qjournal.write-txns.timeout.ms</name>

<value>60000</value>

</property>

<property>

<name>dfs.namenode.acls.enabled</name>

<value>true</value>

<description>Number of replication for each chunk.</description>

</property>

<property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/hdfs/.ssh/id_rsa</value>

</property>

<property>

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.permissions.superusergroup</name>

<value>hadoop</value>

</property>

<property>

<name>dfs.datanode.max.transfer.threads</name>

<value>8192</value>

</property>

<property>

<name>dfs.hosts.exclude</name>

<value>/app/hadoop-conf/exclude.list</value>

<description> List of nodes to decommission </description>

</property>

<property>

<name>dfs.datanode.fsdataset.volume.choosing.policy</name>

<value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>

</property>

<property>

<name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold</name>

<value>10737418240</value>

</property>

<property>

<name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction</name>

<value>0.75</value>

</property>

<property>

<name>dfs.client.read.shortcircuit.streams.cache.size</name>

<value>1000</value>

</property>

<property>

<name>dfs.client.read.shortcircuit.streams.cache.expiry.ms</name>

<value>10000</value>

</property>

<property>

<name>dfs.client.read.shortcircuit</name>

<value>true</value>

</property>

<property>

<name>dfs.domain.socket.path</name>

<value>/var/run/hadoop-hdfs/dn._PORT</value>

</property>

<property>

<name>dfs.client.read.shortcircuit.skip.checksum</name>

<value>false</value>

</property>

<property>

<name>dfs.block.size</name>

<value>536870912</value>

</property>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

<property>

<name>dfs.namenode.handler.count</name>

<value>300</value>

</property>

<property>

<name>dfs.datanode.handler.count</name>

<value>40</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.namenode.datanode.registration.ip-hostname-check</name>

<value>false</value>

</property>

<property>

<name>dfs.datanode.du.reserved</name>

<value>429496729600</value>

</property>

<!--hdfs balancer -policy datanode -threshold 5 -include -f host.txt-->

<!--限制允许Datanode平衡群集的最大并发块移动数,默认为5 -->

<property>

<name>dfs.datanode.balance.max.concurrent.moves</name>

<value>24</value>

</property>

<!--带宽100MB/s,默认为1MB/s-->

<property>

<name>dfs.datanode.balance.bandwidthPerSec</name>

<value>104857600</value>

</property>

<!--mover线程数,默认为1000-->

<property>

<name>dfs.balancer.moverThreads</name>

<value>1024</value>

</property>

<!--datanode传输的最大线程数(如果运行HBase的话建议为16384) -->

<property>

<name>dfs.datanode.max.transfer.threads</name>

<value>4096/value>

</property>

<!--datanode传输的最大线程数(如果运行HBase的话建议为16384) -->

<property>

<name>dfs.datanode.max.transfer.threads</name>

<value>4096/value>

</property>

<!--datanode最大移动数据大小, 默认为10737418240 (=10GB)-->

<property>

<name>dfs.balancer.max-size-to-move</name>

<value>4096/value>

</property>

<!--$ hdfs dfsadmin -setBalancerBandwidth 1073741824

$ nohup hdfs balancer \

-Ddfs.datanode.balance.max.concurrent.moves = 10 \

-Ddfs.balancer.dispatcherThreads = 1024 \

-Ddfs.balance.bandwidthPerSec = 1073741824

-->

</configuration>

hadoop记录-hadoop集群日常运维命令的更多相关文章

  1. Hadoop集群日常运维

    (一)备份namenode的元数据 namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用.因此应该经常对元数据进行备份,最好是异地备份. 1.将元数据复制到远程站点 (1)以下代码将 ...

  2. Hadoop集群日常运维 分类： A1_HADOOP 2015-03-01 21:26 502人阅读 评论(0) 收藏

    (一)备份namenode的元数据 namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用.因此应该经常对元数据进行备份,最好是异地备份. 1.将元数据复制到远程站点 (1)以下代码将 ...

  3. vivo大规模 Kubernetes 集群自动化运维实践

    作者:vivo 互联网服务器团队-Zhang Rong 一.背景 随着vivo业务迁移到K8s的增长,我们需要将K8s部署到多个数据中心.如何高效.可靠的在数据中心管理多个大规模的K8s集群是我们面临 ...

  4. Docker Swarm 日常运维命令笔记

    之前介绍了Docker管理工具-Swarm部署记录,这里简单总结下Docker Swarm的日常维护命令,以作为平时运维笔记. Swarm作为一个管理Docker集群的工具,首先需要将其部署起来,可以 ...

  5. Ceph 存储集群-低级运维

    低级集群运维包括启动.停止.重启集群内的某个具体守护进程:更改某守护进程或子系统配置:增加或拆除守护进程.低级运维还经常遇到扩展.缩减 Ceph 集群,以及更换老旧.或损坏的硬件. 一.增加/删除 O ...

  6. Hadoop 启动/停止集群和节点的命令

    集群启动/停止Hadoop集群:start-all.sh    stop-all.sh 1) 启动NameNode, DataNode 2) 启动JournalNode, JournalNode在hd ...

  7. KingbaseES V8R6集群管理运维案例之---repmgr standby switchover故障

    案例说明: 在KingbaseES V8R6集群备库执行"repmgr standby switchover"时,切换失败,并且在执行过程中,伴随着"repmr stan ...

  8. es集群数据库~运维相关

    一 数据同步方案  1 ES-JDBC  不能实现删除同步操作.MYSQL如果删除,ES不会删除  2 logstash-input-jdbc  能实现insert update,但是仍然不能实现删除 ...

  9. ogg日常运维命令

    1.查看历史记录.快捷执行历史中的一条命令 GGSCI (11g) 32> h 23: view param exta24: info all25: lag exta.... GGSCI (11 ...

随机推荐

  1. jQuery列表选择美化插件uichoose

    项目主页:http://www.jq22.com/jquery-info12073 演示地址:http://www.jq22.com/yanshi12073

  2. 解决FileZilla访问手机ftp服务只能删除浏览文件不能下载文件的问题

    用了Linux系统之后,很多资源都不方便获取, 因为很多资料都是放在百某某盘上面. 无意中看到我手机有FTP服务,想到我电脑装有FileZilla,可以访问手机了 然后就连接上了. 但是浏览的时候发现 ...

  3. Charles(V3.10.1)的抓包以及常见功能的使用

    一.Charles的安装 安装都不会,那就不用再往下看了.(*^__^*) 嘻嘻…… 二.HTTP抓包 1.查看电脑IP地址 2.设置手机的HTTP代理 手机连接到同一WiFi下设置HTTP代理: 服 ...

  4. [references] How to Do Research

    目录: ** 0x01 做研究/写论文的Alpha/Beta ** 0x02 How to Do Research | 经典指南 ** 0x03 思考写作与研究的区别 | The difference ...

  5. lazyMan

    class Lazyman { constructor() { this.tasks = []; this.init(); } init() { const task = () => { con ...

  6. Centos7 IPv6 Route And Dhcpv6 Server(借鉴补充)

    软件:radvd.dhcp 1)启用ipv6 vi /etc/sysctl.conf net.ipv6.conf.all.disable_ipv6 = 0net.ipv6.conf.default.d ...

  7. 在Asp.Net Core中集成ABP Dapper

    在实际的项目中,除了集成ABP框架的EntityFrameworkCore以外,在有些特定的场景下不可避免地会使用一些SQL查询语句,一方面是由于现在的EntityFrameworkCore2.X有些 ...

  8. React Native & react-native-web-player & React Native for Web

    React Native & react-native-web-player & React Native for Web https://github.com/dabbott/rea ...

  9. java篇 之 类型转化

    类型转换时,如果最初的数值类型是有符号的,那么就执行符号扩展:如果它是char,那么不管将要被转换成什么类型,都执行零扩展 代码执行顺序是从上至下,从右至左 强制转换: Int a =(int)(sh ...

  10. leanote使用本地账户时，去掉待同步的小红点

    切换开发者工具,如下图,点击左上角的箭头图标,选取元素,直接选择小红点. 然后会看到小红点来自于resources/app/public/themes/default.css文件中2092行: .it ...