大数据HDFS集群相关概念

一、Zookeeper服务

端口	描述	配置路径
2181	主要使用端口，对cline端提供服务。连接方式jdbc:hive2://ip:2181	conf/zoo.cfg中clientPort
2183	选举leader使用	conf/zoo.cfg中server.x=2182:2183
2182	集群内机器通讯使用（Leader监听此端口）	conf/zoo.cfg中server.x=2182:2183

二、Hive服务

端口	描述	配置路径
7004	Metastore，连接方式thrift://ip:7004	hive-site.xml 的hive.metastore.port
7001	HiveServer2	hive-site.xml 的hive.server2.thrift.port

三、Yarn服务

服务	端口	描述	配置路径
ResourceManager	5000	RM的applications manager端口	yarn.resourcemanager.address
	5001	scheduler组件的IPC端口	yarn.resourcemanager.scheduler.address
	5002	IPC	yarn.resourcemanager.resource-tracker.address
	5003	IPC	yarn.resourcemanager.admin.address
	5004	http服务端口	yarn.resourcemanager.webapp.address
NodeManager	8040	localizer IPC	yarn.nodemanager.localizer.address
	8042	http服务端口	yarn.nodemanager.webapp.address
	8041	NM中container manager的端口	yarn.nodemanager.address
JobHistory Server	5022	IPC	mapreduce.jobhistory.address
	5023	MR jobhistory admin地址，用以接收history admin命令	mapreduce.jobhistory.admin.address
	5024	http服务端口	mapreduce.jobhistory.webapp.address

四、HDFS服务

服务	端口	描述	配置路径
DataNode	50010	datanode服务端口，用于数据传输	dfs.datanode.address
	50075	http服务的端口	dfs.datanode.http.address
	50475	https服务的端口	dfs.datanode.https.address
	50020	ipc服务的端口	dfs.datanode.ipc.address
NameNode	4008	http服务的端口	dfs.namenode.http-address
	4009	https服务的端口	dfs.namenode.https-address
	8020	接收Client连接的RPC端口，用于获取文件系统metadata信息。	fs.defaultFS