hadoop 相关工具访问端口（转）
原文：http://www.tuicool.com/articles/BB3eArJ
hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。
1.系统
8080，80 用于tomcat和apache的端口。
22 ssh的端口
2.Web UI
用于访问和监控Hadoop系统运行状态
| Daemon | 缺省端口 | 配置参数 | |
| HDFS | Namenode | 50070 | dfs.http.address |
| Datanodes | 50075 | dfs.datanode.http.address | |
| Secondarynamenode | 50090 | dfs.secondary.http.address | |
| Backup/Checkpoint node* | 50105 | dfs.backup.http.address | |
| MR | Jobracker | 50030 | mapred.job.tracker.http.address |
| Tasktrackers | 50060 | mapred.task.tracker.http.address | |
| HBase | HMaster | 60010 | hbase.master.info.port |
| HRegionServer | 60030 | hbase.regionserver.info.port | |
| * hadoop 0.21以后代替secondarynamenode . | |||
3.内部端口
| Daemon | 缺省端口 | 配置参数 | 协议 | 用于 | |
| Namenode | 9000 | fs.default.name | IPC: ClientProtocol | Filesystem metadata operations. | |
| Datanode | 50010 | dfs.datanode.address | Custom Hadoop Xceiver: DataNodeand DFSClient | DFS data transfer | |
| Datanode | 50020 | dfs.datanode.ipc.address | IPC:InterDatanodeProtocol,ClientDatanodeProtocol ClientProtocol |
Block metadata operations and recovery | |
| Backupnode | 50100 | dfs.backup.address | 同 namenode | HDFS Metadata Operations | |
| Jobtracker | 9001 | mapred.job.tracker | IPC:JobSubmissionProtocol,InterTrackerProtocol | Job submission, task tracker heartbeats. | |
| Tasktracker | 127.0.0.1:0* | mapred.task.tracker.report.address | IPC:TaskUmbilicalProtocol | 和 child job 通信 | |
| * 绑定到未用本地端口 | |||||
4.相关产品端口
| 产品 | 服务 | 缺省端口 | 参数 | 范围 | 协议 | 说明 |
| HBase | Master | 60000 | hbase.master.port | External | TCP | IPC |
| Master | 60010 | hbase.master.info.port | External | TCP | HTTP | |
| RegionServer | 60020 | hbase.regionserver.port | External | TCP | IPC | |
| RegionServer | 60030 | hbase.regionserver.info.port | External | TCP | HTTP | |
| HQuorumPeer | 2181 | hbase.zookeeper.property.clientPort | TCP | HBase-managed ZK mode | ||
| HQuorumPeer | 2888 | hbase.zookeeper.peerport | TCP | HBase-managed ZK mode | ||
| HQuorumPeer | 3888 | hbase.zookeeper.leaderport | TCP | HBase-managed ZK mode | ||
| REST Service | 8080 | hbase.rest.port | External | TCP | ||
| ThriftServer | 9090 | Pass -p <port> on CLI | External | TCP | ||
| Avro server | 9090 | Pass –port <port> on CLI | External | TCP | ||
| Hive | Metastore | 9083 | External | TCP | ||
| HiveServer | 10000 | External | TCP | |||
| Sqoop | Metastore | 16000 | sqoop.metastore.server.port | External | TCP | |
| ZooKeeper | Server | 2181 | clientPort | External | TCP | Client port |
| Server | 2888 | X in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 3888 | Y in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 3181 | X in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 4181 | Y in server.N=host:X:Y | Internal | TCP | Peer | |
| Hue | Server | 8888 | External | TCP | ||
| Beeswax Server | 8002 | Internal | ||||
| Beeswax Metastore | 8003 | Internal | ||||
| Oozie | Oozie Server | 11000 | OOZIE_HTTP_PORT in oozie-env.sh | External | TCP | HTTP |
| Oozie Server | 11001 | OOZIE_ADMIN_PORT in oozie-env.sh | localhost | TCP | Shutdown port |
5.YARN(Hadoop 2.0)缺省端口
| 产品 | 服务 | 缺省端口 | 配置参数 | 协议 |
| Hadoop YARN | ResourceManager | 8032 | yarn.resourcemanager.address | TCP |
| ResourceManager | 8030 | yarn.resourcemanager.scheduler.address | TCP | |
| ResourceManager | 8031 | yarn.resourcemanager.resource-tracker.address | TCP | |
| ResourceManager | 8033 | yarn.resourcemanager.admin.address | TCP | |
| ResourceManager | 8088 | yarn.resourcemanager.webapp.address | TCP | |
| NodeManager | 8040 | yarn.nodemanager.localizer.address | TCP | |
| NodeManager | 8042 | yarn.nodemanager.webapp.address | TCP | |
| NodeManager | 8041 | yarn.nodemanager.address | TCP | |
| MapReduce JobHistory Server | 10020 | mapreduce.jobhistory.address | TCP | |
| MapReduce JobHistory Server | 19888 | mapreduce.jobhistory.webapp.address | TCP |
6.第三方产品端口
ganglia用于监控Hadoop和HBase运行情况。kerberos是一种网络认证协议，相应软件由麻省理工开发。
| 产品 | 服务 | 安全 | 缺省端口 | 协议 | 访问 | 配置 |
| Ganglia | ganglia-gmond | 8649 | UDP/TCP | Internal | ||
| ganglia-web | 80 | TCP | External | 通过 Apache httpd | ||
| Kerberos | KRB5 KDC Server | Secure | 88 | UDP*/TCP | External | [kdcdefaults] 或 [realms]段下的kdc_ports 和 kdc_tcp_ports |
| KRB5 Admin Server | Secure | 749 | TCP | Internal | Kdc.conf 文件：[realms]段kadmind_port |
* 缺省
UDP
协议
7.参考
https://ccp.cloudera.com/display/CDH4DOC/Configuring+Ports+for+CDH4
hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。
1.系统
8080，80 用于tomcat和apache的端口。
22 ssh的端口
2.Web UI
用于访问和监控Hadoop系统运行状态
| Daemon | 缺省端口 | 配置参数 | |
| HDFS | Namenode | 50070 | dfs.http.address |
| Datanodes | 50075 | dfs.datanode.http.address | |
| Secondarynamenode | 50090 | dfs.secondary.http.address | |
| Backup/Checkpoint node* | 50105 | dfs.backup.http.address | |
| MR | Jobracker | 50030 | mapred.job.tracker.http.address |
| Tasktrackers | 50060 | mapred.task.tracker.http.address | |
| HBase | HMaster | 60010 | hbase.master.info.port |
| HRegionServer | 60030 | hbase.regionserver.info.port | |
| * hadoop 0.21以后代替secondarynamenode . | |||
3.内部端口
| Daemon | 缺省端口 | 配置参数 | 协议 | 用于 | |
| Namenode | 9000 | fs.default.name | IPC: ClientProtocol | Filesystem metadata operations. | |
| Datanode | 50010 | dfs.datanode.address | Custom Hadoop Xceiver: DataNodeand DFSClient | DFS data transfer | |
| Datanode | 50020 | dfs.datanode.ipc.address |
IPC:InterDatanodeProtocol,ClientDatanodeProtocol ClientProtocol |
Block metadata operations and recovery | |
| Backupnode | 50100 | dfs.backup.address | 同 namenode | HDFS Metadata Operations | |
| Jobtracker | 9001 | mapred.job.tracker | IPC:JobSubmissionProtocol,InterTrackerProtocol | Job submission, task tracker heartbeats. | |
| Tasktracker | 127.0.0.1:0* | mapred.task.tracker.report.address | IPC:TaskUmbilicalProtocol | 和 child job 通信 | |
| * 绑定到未用本地端口 | |||||
4.相关产品端口
| 产品 | 服务 | 缺省端口 | 参数 | 范围 | 协议 | 说明 |
| HBase | Master | 60000 | hbase.master.port | External | TCP | IPC |
| Master | 60010 | hbase.master.info.port | External | TCP | HTTP | |
| RegionServer | 60020 | hbase.regionserver.port | External | TCP | IPC | |
| RegionServer | 60030 | hbase.regionserver.info.port | External | TCP | HTTP | |
| HQuorumPeer | 2181 | hbase.zookeeper.property.clientPort | TCP | HBase-managed ZK mode | ||
| HQuorumPeer | 2888 | hbase.zookeeper.peerport | TCP | HBase-managed ZK mode | ||
| HQuorumPeer | 3888 | hbase.zookeeper.leaderport | TCP | HBase-managed ZK mode | ||
| REST Service | 8080 | hbase.rest.port | External | TCP | ||
| ThriftServer | 9090 | Pass -p <port> on CLI | External | TCP | ||
| Avro server | 9090 | Pass –port <port> on CLI | External | TCP | ||
| Hive | Metastore | 9083 | External | TCP | ||
| HiveServer | 10000 | External | TCP | |||
| Sqoop | Metastore | 16000 | sqoop.metastore.server.port | External | TCP | |
| ZooKeeper | Server | 2181 | clientPort | External | TCP | Client port |
| Server | 2888 | X in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 3888 | Y in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 3181 | X in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 4181 | Y in server.N=host:X:Y | Internal | TCP | Peer | |
| Hue | Server | 8888 | External | TCP | ||
| Beeswax Server | 8002 | Internal | ||||
| Beeswax Metastore | 8003 | Internal | ||||
| Oozie | Oozie Server | 11000 | OOZIE_HTTP_PORT in oozie-env.sh | External | TCP | HTTP |
| Oozie Server | 11001 | OOZIE_ADMIN_PORT in oozie-env.sh | localhost | TCP | Shutdown port |
5.YARN(Hadoop 2.0)缺省端口
| 产品 | 服务 | 缺省端口 | 配置参数 | 协议 |
| Hadoop YARN | ResourceManager | 8032 | yarn.resourcemanager.address | TCP |
| ResourceManager | 8030 | yarn.resourcemanager.scheduler.address | TCP | |
| ResourceManager | 8031 | yarn.resourcemanager.resource-tracker.address | TCP | |
| ResourceManager | 8033 | yarn.resourcemanager.admin.address | TCP | |
| ResourceManager | 8088 | yarn.resourcemanager.webapp.address | TCP | |
| NodeManager | 8040 | yarn.nodemanager.localizer.address | TCP | |
| NodeManager | 8042 | yarn.nodemanager.webapp.address | TCP | |
| NodeManager | 8041 | yarn.nodemanager.address | TCP | |
| MapReduce JobHistory Server | 10020 | mapreduce.jobhistory.address | TCP | |
| MapReduce JobHistory Server | 19888 | mapreduce.jobhistory.webapp.address | TCP |
6.第三方产品端口
ganglia用于监控Hadoop和HBase运行情况。kerberos是一种网络认证协议，相应软件由麻省理工开发。
| 产品 | 服务 | 安全 | 缺省端口 | 协议 | 访问 | 配置 |
| Ganglia | ganglia-gmond | 8649 | UDP/TCP | Internal | ||
| ganglia-web | 80 | TCP | External | 通过 Apache httpd | ||
| Kerberos | KRB5 KDC Server | Secure | 88 | UDP*/TCP | External | [kdcdefaults] 或 [realms]段下的kdc_ports 和 kdc_tcp_ports |
| KRB5 Admin Server | Secure | 749 | TCP | Internal | Kdc.conf 文件：[realms]段kadmind_ |
hadoop 相关工具访问端口（转）的更多相关文章
- Hadoop服务的端口50070无法访问的问题
Hadoop启动之后,遇到一个奇怪的问题: VMware虚拟机中Hadoop服务的端口50070无法访问的问题---通过127.0.0.1:50070.localhost:50070.主机名:5007 ...
- aix7安装was7、打补丁、更改访问端口、手动启动was、配置was7、部署项目
1:准备工作 首先了解下我们下面即将用到的aix命令,以及安装包.补丁安装工具.补丁 was7的安装包以及补丁工具都是压缩包形式并且以.tar.gz结尾的 安装包在800MB左右,通常为****_w ...
- CentOS6.5 配置防火墙+允许指定ip访问端口
参考博文: iptables防火墙只允许指定ip连接指定端口.访问指定网站 一.配置防火墙 打开配置文件 [root@localhost ~]# vi /etc/sysconfig/iptables ...
- Linux 修改zabbix server的web访问端口
在安装zabbix server的时候默认就安装了apache,zabbix依靠apache提供的web服务,修改Zabbix的浏览器访问端口,就是修改apache的服务端口(默认端口:80) 1.编 ...
- 大数据实操2 - hadoop集群访问——Hadoop客户端访问、Java API访问
上一篇中介绍了hadoop集群搭建方式,本文介绍集群的访问.集群的访问方式有两种:hadoop客户端访问,Java API访问. 一.集群客户端访问 Hadoop采用C/S架构,可以通过客户端对集群进 ...
- tomcat访问端口
问题描述:今天,访问服务器上的应用,tomcat服务器已经启动,确怎么都打不开:问题原因:原来有人改了端口.具体操作:进入tomcat的安装目录,进入conf文件夹下,找到server.xml文件.用 ...
- .net core获取服务器本地IP及Request访问端口
string str = (Request.HttpContext.Connection.LocalIpAddress.MapToIPv4().ToString() + ":" + ...
- windows server 2012 r2 8080外网访问端口发布设置
windowser server 2012 r2 8080外网访问端口发布设置,在配置服务器时候,8080端口作为默认的web访问的端口,那么如何配置呢如下步骤: 工具/原料 windowser se ...
- Linux对外提供服务 网络操作 端口操作 1.开启服务监听端口 2.设置防火墙，放行访问端口的包 iptables&netfilter 四表五链和通堵策略
主题: Linux服务器上软件提供服务 1.网络操作 2.端口操作 1.网络操作 本机必须能够ping通目标主机(本地虚拟机或者远程主机) 2.端口操作 1.开启服务监听端口 2.设置防火墙,放行访问 ...
随机推荐
- 【MFC - 菜单】在对话框程序中添加菜单栏（CMenu）（转）
原文转自 http://lishiqiang1988.blog.163.com/blog/static/41147912201382104631547/ VS2010的MFC对话框程序中添加菜单栏的过 ...
- 关于platform_device和platform_driver的匹配【转】
转自:http://blog.csdn.net/dfysy/article/details/5959451 版权声明:本文为博主原创文章,未经博主允许不得转载. 说句老实话,我不太喜欢现在Linux ...
- CodeForces - 16E Fish
Discription n fish, numbered from 1 to n, live in a lake. Every day right one pair of fish meet, and ...
- Python那些事
Python这几年很火,在这里我用问答的方式来总结一下使用python的一些常见问题,对自己是个总结,也希望对有同样问题的朋友有帮助. Q:Python为什么流行? A:Python是一个比较方便 ...
- Android 分享透明图片到微信变黑的问题
/** * bitmap中的透明色用白色替换 * * @param bitmap * @return */ public static Bitmap changeColor(Bitmap bitmap ...
- 【ecplise】快捷键 集合
1.查看本方法在哪里被调用过 光标放在本方法名上 快捷键: Ctrl+Shift+G
- Mac搭建python环境
1 安装xcode 2 安装 brew ruby-e"$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/mast ...
- C#调用C++Dll封装时遇到的一系列问题【转】
最近帮底层开发的同时用C#重新封装一下dll,也就是用C#类来封装C++Dll里的方法,以供用户使用. 之前也用到过类似的应用,大多数问题都出在类型转换上,但是这次的应用层出不穷,所以在这里总结一 ...
- CentOS6.5环境配置笔记
CentOS6.5环境配置笔记 一.概述 服务器系统重装,配置应用运行环境 CentOS6.5 x64 二.修改密码 重新设置登录密码 $passwd 或 $passwd root 三.配置端口号及防 ...
- 【SharePoint】SharePoint 2013 使用PreSaveAction自定义客户端验证
使用PreSaveAction函数实现客户端自定义验证. 例:[项目编号]为空时,必须填写[责任者]项.(其中[项目编号]为单行文本框,[责任者]为用户/组选择框.) function PreSave ...