版权声明:本文为博主John Lau原创文章。未经博主同意不得转载 https://blog.csdn.net/GreatElite/article/details/24651569

     1 HDFS服务中,默认端口集合:

 1. HDFS 端口
Service Servers Default Ports Used Protocol Description Need End User Access? Configuration Parameters

NameNode WebUI

Master Nodes (NameNode and any back-up NameNodes) 50070 http Web UI to look at current status of HDFS, explore file system Yes (Typically admins, Dev/Support teams) dfs.http.address
50470 https Secure http service dfs.https.address

NameNode metadata service

Master Nodes (NameNode and any back-up NameNodes) 8020/9000 IPC

File system metadata operations

Yes (All clients who directly need to interact with the HDFS) Embedded in URI specified by fs.default.name

DataNode

All Slave Nodes

50075

http

DataNode WebUI to access the status, logs etc.

Yes (Typically admins, Dev/Support teams) dfs.datanode.http.address

50475

https

Secure http service

dfs.datanode.https.address

50010

 

Data transfer

  dfs.datanode.address

50020

IPC

Metadata operations

No dfs.datanode.ipc.address
Secondary NameNode Secondary NameNode and any backup Secondanry NameNode

50090

http

Checkpoint for NameNode metadata

No dfs.secondary.http.address

    2 MapReduce端口

     

2. MapReduce 端口
Service Servers Default Ports Used Protocol Description Need End User Access? Configuration Parameters

JobTracker  WebUI

Master Nodes (JobTracker Node and any back-up Job­Tracker node ) 50030 http Web UI for JobTracker Yes mapred.job.tracker.http.address

JobTracker

Master Nodes (JobTracker Node) 8021 IPC

For job submissions

Yes (All clients who need to submit the MapReduce jobs  including Hive, Hive server, Pig) Embedded in URI specified bymapred.job.tracker

Task­Tracker Web UI and Shuffle

All Slave Nodes

50060

http DataNode Web UI to access status, logs, etc. Yes (Typically admins, Dev/Support teams) mapred.task.tracker.http.address
History Server WebUI   51111 http Web UI for Job History Yes mapreduce.history.server.http.address

   3 Hive 端口

3. Hive 端口
Service Servers Default Ports Used Protocol Description Need End User Access?

Configuration Parameters

Hive Server2

Hive Server machine (Usually a utility machine) 10000 thrift Service for programatically (Thrift/JDBC) connecting to Hive Yes (Clients who need to connect to Hive either programatically or through UI SQL tools that use JDBC) ENV Variable HIVE_PORT

Hive Metastore

  9083 thrift Yes (Clients that run Hive, Pig and potentially M/R jobs that use HCatalog) hive.metastore.uris

      4 HBase端口

4. HBase 端口
Service Servers Default Ports Used Protocol Description Need End User Access?

Configuration Parameters

HMaster

Master Nodes (HBase Master Node and any back-up HBase Master node) 60000     Yes hbase.master.port

HMaster Info Web UI

Master Nodes (HBase master Node and back up HBase Master node if any) 60010 http The port for the HBase­Master web UI. Set to -1 if you do not want the info server to run. Yes hbase.master.info.port

Region Server

All Slave Nodes 60020     Yes (Typically admins, dev/support teams) hbase.regionserver.port

Region Server

All Slave Nodes 60030 http   Yes (Typically admins, dev/support teams) hbase.regionserver.info.port
  All ZooKeeper Nodes 2888   Port used by ZooKeeper peers to talk to each other.Seehere for
more information.
No hbase.zookeeper.peerport
  All ZooKeeper Nodes 3888   Port used by ZooKeeper peers to talk to each other.Seehere for
more information.
  hbase.zookeeper.leaderport
    2181   Property from ZooKeeper's config zoo.cfg. The port at which the clients will connect.   hbase.zookeeper.property.clientPort

        5 WebHCat 端口

 5 WebHCat 端口
Service Servers Default Ports Used Protocol Description Need End User Access? Configuration Parameters

WebHCat Server

Any utility machine 50111 http Web API on top of HCatalog and other Hadoop services Yes templeton.port

         6 监控ganglia端口

6. Ganglia 端口
Service Servers Default Ports Used Protocol Description Need End User Access?

Configuration Parameters
  Ganglia server 8660/61/62/63   For gmond collectors    
  All Slave Nodes 8660   For gmond agents    
  Ganglia server 8651   For ganglia gmetad  

   

欢迎增加微信公众号

hadoop生态系统默认port集合的更多相关文章

  1. Hadoop生态系统如何选择搭建

    Apache Hadoop项目的目前版本(2.0版)含有以下模块: Hadoop通用模块:支持其他Hadoop模块的通用工具集. Hadoop分布式文件系统(HDFS):支持对应用数据高吞吐量访问的分 ...

  2. hadoop生态系统的详细介绍

    1.Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架.具有可靠.高效.可伸缩的特点. Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YAR ...

  3. Apache Kudu: Hadoop生态系统的新成员实现对快速数据的快速分析

    A new addition to the open source Apache Hadoop ecosystem, Apache Kudu completes Hadoop's storage la ...

  4. 如何修改Hadoop的默认日志级别,还真是麻烦

    鄙人使用的Hadoop版本为2.6.4.Hadoop的默认日志级别为INFO,对于百台以上的集群,如果文件操作频繁的话,NameNode会狂打日志,对性能会有一定的影响. 我们可以通过http://& ...

  5. Hadoop概念学习系列之Hadoop 生态系统(十二)

    当下 Hadoop 已经成长为一个庞大的生态体系,只要和海量数据相关的领域,都有 Hadoop 的身影.下图是一个 Hadoop 生态系统的图谱,详细列举了在 Hadoop 这个生态系统中出现的各种数 ...

  6. Hadoop 生态系统

    1.概述 最近收到一些同学和朋友的邮件,说能不能整理一下 Hadoop 生态圈的相关内容,然后分享一些,我觉得这是一个不错的提议,于是,花了一些业余时间整理了 Hadoop 的生态系统,并将其进行了归 ...

  7. 从问题域出发认识Hadoop生态系统

    近些年来Hadoop生态系统发展迅猛,它本身包含的软件越来越多,同时带动了周边系统的繁荣发展.尤其是在分布式计算这一领域,系统繁多纷杂,时不时冒出一个系统,号称自己比MapReduce或者Hive高效 ...

  8. 改动Apach默认port

    一.改动Apache的默认port号 在WEB SERVER界,无论是微软的IIS还是世界排名第一的Apache,它们安装好后默认的网页服务port号都是80.有必要指出的是,假设你的电脑中已经安装有 ...

  9. 一步一步学习大数据:Hadoop 生态系统与场景

    Hadoop概要 到底是业务推动了技术的发展,还是技术推动了业务的发展,这个话题放在什么时候都会惹来一些争议. 随着互联网以及物联网的蓬勃发展,我们进入了大数据时代.IDC预测,到2020年,全球会有 ...

随机推荐

  1. SQL2005自动备份,定期删除的维护计划及自动定期清除日志

    作为一名DBA,他们最常见的日常任务是: 1)定期完成数据库的完全备份或差异备份.2)定期清理备份文件,因为存储空间有限,可能只需要保存一个时期段内的文件(比如一周内或一月内). 而如何做到这两点呢? ...

  2. springboot核心技术(四)-----Docker、数据访问、自定义starter

    Docker 1.简介 Docker是一个开源的应用容器引擎:是一个轻量级容器技术: Docker支持将软件编译成一个镜像:然后在镜像中各种软件做好配置,将镜像发布出去,其他使用者可以直接使 用这个镜 ...

  3. R语言画图教程之盒形图

    R语言画图教程之盒形图 我们之前有分享过一系列的R语言画图代码(PCA图.Pathway图.火山图.RDA图.热图),今天再来补充一个盒形图(箱形图)的代码. 以下代码只是示例,不能直接搬来用哦,注意 ...

  4. java基础之集合(Set,Map,List)总结

    一.Collection接口 1.Collection接口两个子接口     -List接口         -ArrayList:         -Vector:         -LinkedL ...

  5. 注册.NET Framework

    C:\Windows\Microsoft.NET\Framework\v4.0.30319\aspnet_regiis.exe /i

  6. hive-hbase性能问题

    华为负责人本来想用这种表来做大数据开发,先前就听前辈讲过性能存在问题.实际开发过程确实存在不少问题.然后放弃换方案去做了. 1.底层meta映射字段问题.默认4000,如果再做修改会涉及到挺多源码. ...

  7. iFrame 父子窗口通讯

    今天就来说说 iFrame 的父子窗口通讯,关于 iFrame 这里就不陈述了,想要了解的盆友可以百度一下, 由于项目需要,前些天用到了个弹框框架 layer 弹出层,有很多弹出的方式,其中一种就是用 ...

  8. Django+小程序技术打造微信小程序助手

    Django+小程序技术打造微信小程序助手   整个课程都看完了,当前这个课程的分享可以往下看,下面有某盘的链接,之前做java开发也做了一些年头,也分享下自己看这个视频的感受,同时也分享下自己的总结 ...

  9. 各NoSQL数据库管理系统与模型比较

    提供:ZStack云计算 内容简介 NoSQL数据库的存在意义在于提供传统关系数据库管理系统所不具备的特定功能.无论是负责承载简单的键-值对存储以实现短期缓存,抑或是处理传统数据库及结构化查询语言(简 ...

  10. python基础--计算机网络

    网络编程: 软件开发架构: c/s架构(client/server) c:客户端 s:服务端 b/s架构(browser/server) b:浏览器 s:服务端 服务端:24小时不间断提供服务 客户端 ...