netstat --numeric-ports -a -t -p 排查hadoop主从节点是否建立通信
tcp 通信
[root@hadoop2 logs]# netstat --numeric-ports -a -t
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address Foreign Address State
tcp 0 0 *:9864 *:* LISTEN
tcp 0 0 *:25672 *:* LISTEN
tcp 0 0 localhost:9000 *:* LISTEN
tcp 0 0 *:9866 *:* LISTEN
tcp 0 0 *:9867 *:* LISTEN
tcp 0 0 *:111 *:* LISTEN
tcp 0 0 *:80 *:* LISTEN
tcp 0 0 localhost:45105 *:* LISTEN
tcp 0 0 *:81 *:* LISTEN
tcp 0 0 *:4369 *:* LISTEN
tcp 0 0 *:82 *:* LISTEN
tcp 0 0 *:83 *:* LISTEN
tcp 0 0 *:22 *:* LISTEN
tcp 0 0 localhost:631 *:* LISTEN
tcp 0 0 *:15672 *:* LISTEN
tcp 0 0 localhost:25 *:* LISTEN
tcp 0 0 *:37051 *:* LISTEN
tcp 0 0 localhost:4369 localhost:38801 ESTABLISHED
tcp 0 0 hadoop2:4369 hadoop2:41207 TIME_WAIT
tcp 0 0 hadoop2:58050 hadoop1:27017 ESTABLISHED
tcp 0 64 hadoop2:22 192.168.2.102:51676 ESTABLISHED
tcp 0 0 localhost:38801 localhost:4369 ESTABLISHED
tcp 0 0 hadoop2:22 192.168.2.95:50018 ESTABLISHED
tcp 0 0 *:5672 *:* LISTEN
tcp 0 0 *:111 *:* LISTEN
tcp 0 0 *:22 *:* LISTEN
tcp 0 0 localhost:631 *:* LISTEN
tcp 0 0 *:52887 *:* LISTEN
[root@hadoop2 logs]#
端口号记录
[root@hadoop3 hadoop]# cat etc/hadoop/hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/local/hadoop/mydatanode</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///usr/local/hadoop/mynamenode</value>
</property>
<property>
<name>dfs.namenode.rpc-address</name>
<value>hadoop3:9933</value>
</property>
<property>
<name>dfs.namenode.servicerpc-address</name>
<value>hadoop3:9666</value>
</property>
</configuration>
[root@hadoop3 hadoop]#
hadoop2
tcp 0 0 hadoop2:56312 hadoop3:9666 ESTABLISHED
hadoop1
tcp 0 0 hadoop1:57227 hadoop3:9666 ESTABLISHED
hadoop3
tcp 0 0 hadoop3:9666 0.0.0.0:* LISTEN
tcp 0 0 hadoop3:9666 hadoop1:57227 ESTABLISHED
tcp 0 0 hadoop3:60667 hadoop3:9666 ESTABLISHED
tcp 0 0 hadoop3:9666 hadoop2:56312 ESTABLISHED
而日志记录为
Caused by: java.net.BindException: Problem binding to [hadoop3:8096] java.net.BindException: 无法指定被请求的地址; For more details see: http://wiki.apache.org/hadoop/BindException
但是主节点
tcp 0 0 hadoop3:8096 0.0.0.0:* LISTEN
8096端口再监听任意ip的任意端口
[root@hadoop3 hadoop]# cat etc/hadoop/yarn-site.xml
<?xml version="1.0"?>
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop3:8032</value>
</property>
<property>
<name>yarn.nodemanager.address</name>
<value>hadoop3:8096</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
</configuration>
[root@hadoop3 hadoop]#
yarn.nodemanager出现了问题
netstat -atp
netstat -a -t -p
netstat --numeric-ports -a -t -p 排查hadoop主从节点是否建立通信的更多相关文章
- hadoop的节点间的通信
一个DataNode上的Block是唯一的,多个DataNode可能有相同的Block. 2)通信场景: (1)NameNode的映射表上不永久保存每个DataNode所对应的block信息,而是通过 ...
- 实验-hadoop新增节点
关于hadoop新增节点网上的说法都有些差别,自己来实践一把 1.建立一个namenode一个datanode的集群 master:192.168.126.130 slave1:192.168.126 ...
- Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid)
Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid) java.io.IOException: All director ...
- 一、hadoop单节点安装测试
一.hadoop简介 相信你或多或少都听过hadoop这个名字,hadoop是一个开源的.分布式软件平台.它主要解决了分布式存储(hdfs)和分布式计算(mapReduce)两个大数据的痛点问题,在h ...
- 当Hadoop 启动节点Datanode失败解决
Hadoop 启动节点Datanode失败解决 [日期:2014-11-01] 来源:Linux社区 作者:shuideyidi [字体:大 中 小] 当我动态添加一个Hadoop从节点的之后,出现 ...
- 【Hadoop】Hadoop DataNode节点超时时间设置
hadoop datanode节点超时时间设置 datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间 ...
- Hadoop添加节点datanode(生产环境)
Hadoop添加节点datanode 博客分类: hadoop HadoopSSHJDKXML工作 1.部署hadoop 和普通的datanode一样.安装jdk,ssh 2.修改host ...
- Hadoop多节点Cluster
Hadoop多节点集群规划 服务起名称 内网IP HDFS YARN master 192.168.1.155 NameNode ResourceManager slave1 192.168.1.11 ...
- hadoop中节点上的nodemanager一直启动不起来
当我们启动Hadoop集群的时候,发现有一台机器的nodemanager启动后自动关闭, 查看日志的时候发现有错误:yarn-root-nodemanager-log 解决办法: netstat a ...
随机推荐
- 数据结构实验1:C++实现静态顺序表类
写了3个多小时,还是太慢了.太菜了! 图1 程序运行演示截图1 实验1 1.1 实验目的 熟练掌握线性表的顺序存储结构. 熟练掌握顺序表的有关算法设计. 根据具体问题的需要,设计出合理的表示数据的顺序 ...
- python基础——6(字符编码,文件操作)
今日内容: 1.字符编码: 人识别的语言与机器识别的语言转化的媒介 ***** 2.字符与字节: 字符占多少字节,字符串转化 *** 3.文件操作: 操作硬盘中的一块区域:读写操作 ...
- JavaScript验证密码强度
JavaScript的方法: <script type="text/javascript"> window.onload = function () { documen ...
- 前端接收到的json的属性的首字母会自动变成小写,解决办法如下
使用的json包是alibaba.fastjson. 把TypeUtils.compatibleWithJavaBean = true; 如图位置:
- 实体类与实体DTO类之间的转换
实体类与实体DTO类之间的转换 实体类与实体DTO类之间的转换 1.通过使用第三方序列化反序列化工具Newtonsoft.Json 2.通过反射实现 3.通过表达式目录树加字典缓存实现 4. 通过表达 ...
- BZOJ1733: [Usaco2005 feb]Secret Milking Machine 神秘的挤奶机
n<=200个点m<=40000条边无向图,求 t次走不经过同条边的路径从1到n的经过的边的最大值 的最小值. 最大值最小--二分,t次不重边路径--边权1的最大流. #inclu ...
- c/s程序版本自动升级的问题,如何判断client端版本号是否最新,然后从指定ftp服务器down
c/s程序版本自动升级的问题,如何判断client端版本号是否最新,然后从指定ftp服务器down http://blog.csdn.net/delphizhou/article/details/30 ...
- 从零开始写STL-string类型
class string { public: typedef size_t size_type; typedef char* iterator; typedef char value_type; pr ...
- Borg Maze-POJ3026(bfs+最小生成树)
http://poj.org/problem?id=3026 如果一个一个普通搜处理不好的话会超时 可以连到一块搜 我觉得这个方法特别好 #include<stdio.h> #inclu ...
- maven的超级pom
对于 Maven3,超级 POM 在文件 %MAVEN_HOME%/lib/maven-model-builder-x.x.x.jar 中的 org/apache/maven/model/pom-4. ...