hadoop 相关工具访问端口（转）
原文：http://www.tuicool.com/articles/BB3eArJ
hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。
1.系统
8080，80 用于tomcat和apache的端口。
22 ssh的端口
2.Web UI
用于访问和监控Hadoop系统运行状态
| Daemon | 缺省端口 | 配置参数 | |
| HDFS | Namenode | 50070 | dfs.http.address |
| Datanodes | 50075 | dfs.datanode.http.address | |
| Secondarynamenode | 50090 | dfs.secondary.http.address | |
| Backup/Checkpoint node* | 50105 | dfs.backup.http.address | |
| MR | Jobracker | 50030 | mapred.job.tracker.http.address |
| Tasktrackers | 50060 | mapred.task.tracker.http.address | |
| HBase | HMaster | 60010 | hbase.master.info.port |
| HRegionServer | 60030 | hbase.regionserver.info.port | |
| * hadoop 0.21以后代替secondarynamenode . | |||
3.内部端口
| Daemon | 缺省端口 | 配置参数 | 协议 | 用于 | |
| Namenode | 9000 | fs.default.name | IPC: ClientProtocol | Filesystem metadata operations. | |
| Datanode | 50010 | dfs.datanode.address | Custom Hadoop Xceiver: DataNodeand DFSClient | DFS data transfer | |
| Datanode | 50020 | dfs.datanode.ipc.address | IPC:InterDatanodeProtocol,ClientDatanodeProtocol ClientProtocol |
Block metadata operations and recovery | |
| Backupnode | 50100 | dfs.backup.address | 同 namenode | HDFS Metadata Operations | |
| Jobtracker | 9001 | mapred.job.tracker | IPC:JobSubmissionProtocol,InterTrackerProtocol | Job submission, task tracker heartbeats. | |
| Tasktracker | 127.0.0.1:0* | mapred.task.tracker.report.address | IPC:TaskUmbilicalProtocol | 和 child job 通信 | |
| * 绑定到未用本地端口 | |||||
4.相关产品端口
| 产品 | 服务 | 缺省端口 | 参数 | 范围 | 协议 | 说明 |
| HBase | Master | 60000 | hbase.master.port | External | TCP | IPC |
| Master | 60010 | hbase.master.info.port | External | TCP | HTTP | |
| RegionServer | 60020 | hbase.regionserver.port | External | TCP | IPC | |
| RegionServer | 60030 | hbase.regionserver.info.port | External | TCP | HTTP | |
| HQuorumPeer | 2181 | hbase.zookeeper.property.clientPort | TCP | HBase-managed ZK mode | ||
| HQuorumPeer | 2888 | hbase.zookeeper.peerport | TCP | HBase-managed ZK mode | ||
| HQuorumPeer | 3888 | hbase.zookeeper.leaderport | TCP | HBase-managed ZK mode | ||
| REST Service | 8080 | hbase.rest.port | External | TCP | ||
| ThriftServer | 9090 | Pass -p <port> on CLI | External | TCP | ||
| Avro server | 9090 | Pass –port <port> on CLI | External | TCP | ||
| Hive | Metastore | 9083 | External | TCP | ||
| HiveServer | 10000 | External | TCP | |||
| Sqoop | Metastore | 16000 | sqoop.metastore.server.port | External | TCP | |
| ZooKeeper | Server | 2181 | clientPort | External | TCP | Client port |
| Server | 2888 | X in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 3888 | Y in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 3181 | X in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 4181 | Y in server.N=host:X:Y | Internal | TCP | Peer | |
| Hue | Server | 8888 | External | TCP | ||
| Beeswax Server | 8002 | Internal | ||||
| Beeswax Metastore | 8003 | Internal | ||||
| Oozie | Oozie Server | 11000 | OOZIE_HTTP_PORT in oozie-env.sh | External | TCP | HTTP |
| Oozie Server | 11001 | OOZIE_ADMIN_PORT in oozie-env.sh | localhost | TCP | Shutdown port |
5.YARN(Hadoop 2.0)缺省端口
| 产品 | 服务 | 缺省端口 | 配置参数 | 协议 |
| Hadoop YARN | ResourceManager | 8032 | yarn.resourcemanager.address | TCP |
| ResourceManager | 8030 | yarn.resourcemanager.scheduler.address | TCP | |
| ResourceManager | 8031 | yarn.resourcemanager.resource-tracker.address | TCP | |
| ResourceManager | 8033 | yarn.resourcemanager.admin.address | TCP | |
| ResourceManager | 8088 | yarn.resourcemanager.webapp.address | TCP | |
| NodeManager | 8040 | yarn.nodemanager.localizer.address | TCP | |
| NodeManager | 8042 | yarn.nodemanager.webapp.address | TCP | |
| NodeManager | 8041 | yarn.nodemanager.address | TCP | |
| MapReduce JobHistory Server | 10020 | mapreduce.jobhistory.address | TCP | |
| MapReduce JobHistory Server | 19888 | mapreduce.jobhistory.webapp.address | TCP |
6.第三方产品端口
ganglia用于监控Hadoop和HBase运行情况。kerberos是一种网络认证协议，相应软件由麻省理工开发。
| 产品 | 服务 | 安全 | 缺省端口 | 协议 | 访问 | 配置 |
| Ganglia | ganglia-gmond | 8649 | UDP/TCP | Internal | ||
| ganglia-web | 80 | TCP | External | 通过 Apache httpd | ||
| Kerberos | KRB5 KDC Server | Secure | 88 | UDP*/TCP | External | [kdcdefaults] 或 [realms]段下的kdc_ports 和 kdc_tcp_ports |
| KRB5 Admin Server | Secure | 749 | TCP | Internal | Kdc.conf 文件：[realms]段kadmind_port |
* 缺省
UDP
协议
7.参考
https://ccp.cloudera.com/display/CDH4DOC/Configuring+Ports+for+CDH4
hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。
1.系统
8080，80 用于tomcat和apache的端口。
22 ssh的端口
2.Web UI
用于访问和监控Hadoop系统运行状态
| Daemon | 缺省端口 | 配置参数 | |
| HDFS | Namenode | 50070 | dfs.http.address |
| Datanodes | 50075 | dfs.datanode.http.address | |
| Secondarynamenode | 50090 | dfs.secondary.http.address | |
| Backup/Checkpoint node* | 50105 | dfs.backup.http.address | |
| MR | Jobracker | 50030 | mapred.job.tracker.http.address |
| Tasktrackers | 50060 | mapred.task.tracker.http.address | |
| HBase | HMaster | 60010 | hbase.master.info.port |
| HRegionServer | 60030 | hbase.regionserver.info.port | |
| * hadoop 0.21以后代替secondarynamenode . | |||
3.内部端口
| Daemon | 缺省端口 | 配置参数 | 协议 | 用于 | |
| Namenode | 9000 | fs.default.name | IPC: ClientProtocol | Filesystem metadata operations. | |
| Datanode | 50010 | dfs.datanode.address | Custom Hadoop Xceiver: DataNodeand DFSClient | DFS data transfer | |
| Datanode | 50020 | dfs.datanode.ipc.address |
IPC:InterDatanodeProtocol,ClientDatanodeProtocol ClientProtocol |
Block metadata operations and recovery | |
| Backupnode | 50100 | dfs.backup.address | 同 namenode | HDFS Metadata Operations | |
| Jobtracker | 9001 | mapred.job.tracker | IPC:JobSubmissionProtocol,InterTrackerProtocol | Job submission, task tracker heartbeats. | |
| Tasktracker | 127.0.0.1:0* | mapred.task.tracker.report.address | IPC:TaskUmbilicalProtocol | 和 child job 通信 | |
| * 绑定到未用本地端口 | |||||
4.相关产品端口
| 产品 | 服务 | 缺省端口 | 参数 | 范围 | 协议 | 说明 |
| HBase | Master | 60000 | hbase.master.port | External | TCP | IPC |
| Master | 60010 | hbase.master.info.port | External | TCP | HTTP | |
| RegionServer | 60020 | hbase.regionserver.port | External | TCP | IPC | |
| RegionServer | 60030 | hbase.regionserver.info.port | External | TCP | HTTP | |
| HQuorumPeer | 2181 | hbase.zookeeper.property.clientPort | TCP | HBase-managed ZK mode | ||
| HQuorumPeer | 2888 | hbase.zookeeper.peerport | TCP | HBase-managed ZK mode | ||
| HQuorumPeer | 3888 | hbase.zookeeper.leaderport | TCP | HBase-managed ZK mode | ||
| REST Service | 8080 | hbase.rest.port | External | TCP | ||
| ThriftServer | 9090 | Pass -p <port> on CLI | External | TCP | ||
| Avro server | 9090 | Pass –port <port> on CLI | External | TCP | ||
| Hive | Metastore | 9083 | External | TCP | ||
| HiveServer | 10000 | External | TCP | |||
| Sqoop | Metastore | 16000 | sqoop.metastore.server.port | External | TCP | |
| ZooKeeper | Server | 2181 | clientPort | External | TCP | Client port |
| Server | 2888 | X in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 3888 | Y in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 3181 | X in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 4181 | Y in server.N=host:X:Y | Internal | TCP | Peer | |
| Hue | Server | 8888 | External | TCP | ||
| Beeswax Server | 8002 | Internal | ||||
| Beeswax Metastore | 8003 | Internal | ||||
| Oozie | Oozie Server | 11000 | OOZIE_HTTP_PORT in oozie-env.sh | External | TCP | HTTP |
| Oozie Server | 11001 | OOZIE_ADMIN_PORT in oozie-env.sh | localhost | TCP | Shutdown port |
5.YARN(Hadoop 2.0)缺省端口
| 产品 | 服务 | 缺省端口 | 配置参数 | 协议 |
| Hadoop YARN | ResourceManager | 8032 | yarn.resourcemanager.address | TCP |
| ResourceManager | 8030 | yarn.resourcemanager.scheduler.address | TCP | |
| ResourceManager | 8031 | yarn.resourcemanager.resource-tracker.address | TCP | |
| ResourceManager | 8033 | yarn.resourcemanager.admin.address | TCP | |
| ResourceManager | 8088 | yarn.resourcemanager.webapp.address | TCP | |
| NodeManager | 8040 | yarn.nodemanager.localizer.address | TCP | |
| NodeManager | 8042 | yarn.nodemanager.webapp.address | TCP | |
| NodeManager | 8041 | yarn.nodemanager.address | TCP | |
| MapReduce JobHistory Server | 10020 | mapreduce.jobhistory.address | TCP | |
| MapReduce JobHistory Server | 19888 | mapreduce.jobhistory.webapp.address | TCP |
6.第三方产品端口
ganglia用于监控Hadoop和HBase运行情况。kerberos是一种网络认证协议，相应软件由麻省理工开发。
| 产品 | 服务 | 安全 | 缺省端口 | 协议 | 访问 | 配置 |
| Ganglia | ganglia-gmond | 8649 | UDP/TCP | Internal | ||
| ganglia-web | 80 | TCP | External | 通过 Apache httpd | ||
| Kerberos | KRB5 KDC Server | Secure | 88 | UDP*/TCP | External | [kdcdefaults] 或 [realms]段下的kdc_ports 和 kdc_tcp_ports |
| KRB5 Admin Server | Secure | 749 | TCP | Internal | Kdc.conf 文件：[realms]段kadmind_ |
hadoop 相关工具访问端口（转）的更多相关文章
- Hadoop服务的端口50070无法访问的问题
Hadoop启动之后,遇到一个奇怪的问题: VMware虚拟机中Hadoop服务的端口50070无法访问的问题---通过127.0.0.1:50070.localhost:50070.主机名:5007 ...
- aix7安装was7、打补丁、更改访问端口、手动启动was、配置was7、部署项目
1:准备工作 首先了解下我们下面即将用到的aix命令,以及安装包.补丁安装工具.补丁 was7的安装包以及补丁工具都是压缩包形式并且以.tar.gz结尾的 安装包在800MB左右,通常为****_w ...
- CentOS6.5 配置防火墙+允许指定ip访问端口
参考博文: iptables防火墙只允许指定ip连接指定端口.访问指定网站 一.配置防火墙 打开配置文件 [root@localhost ~]# vi /etc/sysconfig/iptables ...
- Linux 修改zabbix server的web访问端口
在安装zabbix server的时候默认就安装了apache,zabbix依靠apache提供的web服务,修改Zabbix的浏览器访问端口,就是修改apache的服务端口(默认端口:80) 1.编 ...
- 大数据实操2 - hadoop集群访问——Hadoop客户端访问、Java API访问
上一篇中介绍了hadoop集群搭建方式,本文介绍集群的访问.集群的访问方式有两种:hadoop客户端访问,Java API访问. 一.集群客户端访问 Hadoop采用C/S架构,可以通过客户端对集群进 ...
- tomcat访问端口
问题描述:今天,访问服务器上的应用,tomcat服务器已经启动,确怎么都打不开:问题原因:原来有人改了端口.具体操作:进入tomcat的安装目录,进入conf文件夹下,找到server.xml文件.用 ...
- .net core获取服务器本地IP及Request访问端口
string str = (Request.HttpContext.Connection.LocalIpAddress.MapToIPv4().ToString() + ":" + ...
- windows server 2012 r2 8080外网访问端口发布设置
windowser server 2012 r2 8080外网访问端口发布设置,在配置服务器时候,8080端口作为默认的web访问的端口,那么如何配置呢如下步骤: 工具/原料 windowser se ...
- Linux对外提供服务 网络操作 端口操作 1.开启服务监听端口 2.设置防火墙，放行访问端口的包 iptables&netfilter 四表五链和通堵策略
主题: Linux服务器上软件提供服务 1.网络操作 2.端口操作 1.网络操作 本机必须能够ping通目标主机(本地虚拟机或者远程主机) 2.端口操作 1.开启服务监听端口 2.设置防火墙,放行访问 ...
随机推荐
- 【Visual Studio】解决错误 fatal error C1010: unexpected end of file while looking for precompiled head（转）
原文转自 http://blog.csdn.net/liuqiyao_01/article/details/38867145 在编译VS时候,出现fatal error C1010: unexpect ...
- 2018年东北农业大学春季校赛 E 阶乘后的0【数论】
链接:https://www.nowcoder.com/acm/contest/93/E来源:牛客网 时间限制:C/C++ 1秒,其他语言2秒 空间限制:C/C++ 262144K,其他语言52428 ...
- Data structure basics - Java Implementation
Stack & Queue Implementations FixedCapacityQueue package cn.edu.tsinghua.stat.mid_term; import j ...
- yield理解
http://www.jianshu.com/p/d09778f4e055 从yield处返回一个值,下次从yield后开始执行
- [资料分享]GIS+=地理信息+云计算+大数据+容器+物联网+...论文、会议、讲座资料分享
分享地址 http://pan.baidu.com/s/1gesDSB5 部分内容截图 watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5 ...
- VS2008中编译通过，但调试时出现“未使用调试信息生成二进制文件”的问题
.只要是“建立项目的时候不应建立空项目,而应当建立一个“win32控制台应用程序”.这样确实可以解决问题.只要你选择的是这个"win32控制台应用程序"则在附加选项里面选不选上“空 ...
- 常用jar包之commons-digester使用
常用jar包之commons-digester使用 学习了:https://blog.csdn.net/terryzero/article/details/4332257 注意了, digester. ...
- 《学习bash》笔记--调试shell程序
在shell中,最简单的调试助手时输出语句echo,能够通过把很多echo语句放到代码中进行调试,但必须花费足够的时间以定位 要查看的信息.可能必须通过很多的输出才干发现要查找的信息. 1.set选项 ...
- MFC中函数的使用
函数语句: ((CStatic*)GetDlgItem(IDC_STATIC1))->SetIcon(AfxGetApp()->LoadIconW(IDI_CLOSE)); 解释: 1.G ...
- 搭建局域网maven仓库
第一步: 下载Nexus http://nexus.sonatype.org/downloads/下载最新版本 解压缩到任意目录,我的直接解压到了E盘---------->E:\nexus-2. ...