hadoop生态系统默认port集合
版权声明:本文为博主John Lau原创文章。未经博主同意不得转载 https://blog.csdn.net/GreatElite/article/details/24651569
1 HDFS服务中,默认端口集合:
Service | Servers | Default Ports Used | Protocol | Description | Need End User Access? | Configuration Parameters |
NameNode WebUI |
Master Nodes (NameNode and any back-up NameNodes) | 50070 | http | Web UI to look at current status of HDFS, explore file system | Yes (Typically admins, Dev/Support teams) | dfs.http.address |
50470 | https | Secure http service | dfs.https.address |
|||
NameNode metadata service |
Master Nodes (NameNode and any back-up NameNodes) | 8020/9000 | IPC |
File system metadata operations |
Yes (All clients who directly need to interact with the HDFS) | Embedded in URI specified by fs.default.name |
DataNode |
All Slave Nodes |
50075 |
http |
DataNode WebUI to access the status, logs etc. |
Yes (Typically admins, Dev/Support teams) | dfs.datanode.http.address |
50475 |
https |
Secure http service |
dfs.datanode.https.address |
|||
50010 |
Data transfer |
dfs.datanode.address |
||||
50020 |
IPC |
Metadata operations |
No | dfs.datanode.ipc.address |
||
Secondary NameNode | Secondary NameNode and any backup Secondanry NameNode |
50090 |
http |
Checkpoint for NameNode metadata |
No | dfs.secondary.http.address
|
2 MapReduce端口
Service | Servers | Default Ports Used | Protocol | Description | Need End User Access? | Configuration Parameters |
JobTracker WebUI |
Master Nodes (JobTracker Node and any back-up JobTracker node ) | 50030 | http | Web UI for JobTracker | Yes | mapred.job.tracker.http.address |
JobTracker |
Master Nodes (JobTracker Node) | 8021 | IPC |
For job submissions |
Yes (All clients who need to submit the MapReduce jobs including Hive, Hive server, Pig) | Embedded in URI specified bymapred.job.tracker |
TaskTracker Web UI and Shuffle |
All Slave Nodes |
50060 |
http | DataNode Web UI to access status, logs, etc. | Yes (Typically admins, Dev/Support teams) | mapred.task.tracker.http.address |
History Server WebUI | 51111 | http | Web UI for Job History | Yes | mapreduce.history.server.http.address
|
3 Hive 端口
Service | Servers | Default Ports Used | Protocol | Description | Need End User Access? | Configuration Parameters |
Hive Server2 |
Hive Server machine (Usually a utility machine) | 10000 | thrift | Service for programatically (Thrift/JDBC) connecting to Hive | Yes (Clients who need to connect to Hive either programatically or through UI SQL tools that use JDBC) | ENV Variable HIVE_PORT |
Hive Metastore |
9083 | thrift | Yes (Clients that run Hive, Pig and potentially M/R jobs that use HCatalog) | hive.metastore.uris |
4 HBase端口
Service | Servers | Default Ports Used | Protocol | Description | Need End User Access? | Configuration Parameters |
HMaster |
Master Nodes (HBase Master Node and any back-up HBase Master node) | 60000 | Yes | hbase.master.port |
||
HMaster Info Web UI |
Master Nodes (HBase master Node and back up HBase Master node if any) | 60010 | http | The port for the HBaseMaster web UI. Set to -1 if you do not want the info server to run. | Yes | hbase.master.info.port |
Region Server |
All Slave Nodes | 60020 | Yes (Typically admins, dev/support teams) | hbase.regionserver.port |
||
Region Server |
All Slave Nodes | 60030 | http | Yes (Typically admins, dev/support teams) | hbase.regionserver.info.port |
|
All ZooKeeper Nodes | 2888 | Port used by ZooKeeper peers to talk to each other.Seehere for more information. |
No | hbase.zookeeper.peerport |
||
All ZooKeeper Nodes | 3888 | Port used by ZooKeeper peers to talk to each other.Seehere for more information. |
hbase.zookeeper.leaderport |
|||
2181 | Property from ZooKeeper's config zoo.cfg . The port at which the clients will connect. |
hbase.zookeeper.property.clientPort |
5 WebHCat 端口
Service | Servers | Default Ports Used | Protocol | Description | Need End User Access? | Configuration Parameters |
WebHCat Server |
Any utility machine | 50111 | http | Web API on top of HCatalog and other Hadoop services | Yes | templeton.port |
6 监控ganglia端口
Service | Servers | Default Ports Used | Protocol | Description | Need End User Access? | Configuration Parameters |
Ganglia server | 8660/61/62/63 | For gmond collectors | ||||
All Slave Nodes | 8660 | For gmond agents | ||||
Ganglia server | 8651 | For ganglia gmetad |
欢迎增加微信公众号
hadoop生态系统默认port集合的更多相关文章
- Hadoop生态系统如何选择搭建
Apache Hadoop项目的目前版本(2.0版)含有以下模块: Hadoop通用模块:支持其他Hadoop模块的通用工具集. Hadoop分布式文件系统(HDFS):支持对应用数据高吞吐量访问的分 ...
- hadoop生态系统的详细介绍
1.Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架.具有可靠.高效.可伸缩的特点. Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YAR ...
- Apache Kudu: Hadoop生态系统的新成员实现对快速数据的快速分析
A new addition to the open source Apache Hadoop ecosystem, Apache Kudu completes Hadoop's storage la ...
- 如何修改Hadoop的默认日志级别,还真是麻烦
鄙人使用的Hadoop版本为2.6.4.Hadoop的默认日志级别为INFO,对于百台以上的集群,如果文件操作频繁的话,NameNode会狂打日志,对性能会有一定的影响. 我们可以通过http://& ...
- Hadoop概念学习系列之Hadoop 生态系统(十二)
当下 Hadoop 已经成长为一个庞大的生态体系,只要和海量数据相关的领域,都有 Hadoop 的身影.下图是一个 Hadoop 生态系统的图谱,详细列举了在 Hadoop 这个生态系统中出现的各种数 ...
- Hadoop 生态系统
1.概述 最近收到一些同学和朋友的邮件,说能不能整理一下 Hadoop 生态圈的相关内容,然后分享一些,我觉得这是一个不错的提议,于是,花了一些业余时间整理了 Hadoop 的生态系统,并将其进行了归 ...
- 从问题域出发认识Hadoop生态系统
近些年来Hadoop生态系统发展迅猛,它本身包含的软件越来越多,同时带动了周边系统的繁荣发展.尤其是在分布式计算这一领域,系统繁多纷杂,时不时冒出一个系统,号称自己比MapReduce或者Hive高效 ...
- 改动Apach默认port
一.改动Apache的默认port号 在WEB SERVER界,无论是微软的IIS还是世界排名第一的Apache,它们安装好后默认的网页服务port号都是80.有必要指出的是,假设你的电脑中已经安装有 ...
- 一步一步学习大数据:Hadoop 生态系统与场景
Hadoop概要 到底是业务推动了技术的发展,还是技术推动了业务的发展,这个话题放在什么时候都会惹来一些争议. 随着互联网以及物联网的蓬勃发展,我们进入了大数据时代.IDC预测,到2020年,全球会有 ...
随机推荐
- 【DM642学习笔记六】TI参考文档--DM642 Video Port Mini Driver
这个文档介绍了在DM642EVM板上视频采集和显示微驱动的使用和设计.用EDMA进行存储器和视频端口的数据传输.为了增强代码的复用性和简化设计过程,驱动分为通用视频端口层和特定编解码芯片微驱动层两个 ...
- Luogu P2679 子串(字符串+dp)
P2679 子串 题意 题目描述 有两个仅包含小写英文字母的字符串\(A\)和\(B\). 现在要从字符串\(A\)中取出\(k\)个互不重叠的非空子串,然后把这\(k\)个子串按照其在字符串\(A\ ...
- 用Python的requests库作接口测试——上传文件
POST一个多部分编码(Multipart-Encoded)的文件 Requests使得上传多部分编码文件变得很简单: >>> url = 'http://httpbin.org/p ...
- PHP1.6--数组
一.数组的键值操作函数 1.array_values() 函数作用是返回数组中所有元素的值,只有一个参数,规定传人给定数组,返回一个包含给定数组中所有值的数组,但不保留键名 被返回的数组将使用顺序的数 ...
- Git 对已经加入版本控制的文件,修改后希望不被提交办法
参考网址:http://my.oschina.net/zlLeaf/blog/197740 问题举例:假设网站有一个数据库配置文件db.php,通过git做版本控制,已经将这个文件提交到git库中.但 ...
- 前端小知识--区分get和post请求
get和post是HTTP协议中的两种发送请求的方法. 如果你还不了解http,可以点击[HTTP协议①介绍](https://www.jianshu.com/p/632b890b75ac)[HTTP ...
- 前端(Node.js)(2)-- Node.js开发环境配置
1.开发环境介绍 1.MEAN Stack 什么是全栈? 负责界面和UI的设计师.负责移动端应用开发的安卓IOS开发工程师.负责服务器端开发的后端程序员.负责数据库开发和管理的数据库工程师.负责服务器 ...
- [转]深入理解ajax系列——进度事件
一般地,使用readystatechange事件探测HTTP请求的完成.XHR2规范草案定义了进度事件Progress Events规范,XMLHttpRequest对象在请求的不同阶段触发不同类型的 ...
- 策略模式(Strategy)(策略类,场景不同策略不同,环境策略分离组合,)
(定义一组算法,将每个算法都封装起来,并且使它们之间可以互换.) 例:button 与 listener ,在使用时具体根据情况实例化listener,做不同的操作. 背景 在软件开发中常常遇到这 ...
- Linux ifconfig 配置网络接口
Linux ifconfig 可以用来配置网络接口的IP地址.掩码.网关.物理地址等:值得一说的是用Linux ifconfig 为网卡指定IP地址,这只是用来调试网络用的,并不会更改系统关于网卡的配 ...