《OD大数据实战》环境整理
一、关机后服务重新启动
1. 启动hadoop服务
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
sbin/hadoop-daemon.sh start secondarynamenode sbin/httpfs.sh start
2. 启动hive服务
nohup hive --service metastore > ~/hive_metastore.start.log >& &
nohup hive --service hiveserver2 > ~/hiveserver2.start.log >& &
3. 启动zookeeper服务
bin/zkServer.sh start
4. 启动kafka服务
nohup bin/kafka-server-start.sh config/server.properties >~/kafka-start.log >& &
nohup bin/kafka-server-start.sh config/server1.properties >~/kafka-server1-start.log >& &
nohup bin/kafka-server-start.sh config/server2.properties >~/kafka-server2-start.log >& &
5. 启动oozie服务
bin/oozied.sh start
6. 启动hbase服务
bin/start-hbase.sh
bin/hbase-daemon.sh start thrift
7. 启动hue服务
nohup build/env/bin/supervisor >~/hue-start.log 2>&1 &
8. 启动mongodb服务
nohup bin/mongod --config bin/mongodb.conf >~/mongodb-start.log >& &
9. 启动storm
nohup bin/storm nimbus >~/storm-nimbus-start.log >& &
nohup bin/storm supervisor >~/storm-supervisor-start.log >& &
nohup bin/storm ui >~/storm-ui-start.log >& &
nohup bin/storm logviewer >~/storm-logviewer-start.log >& &
10. 启动spark
sbin/start-master.sh
sbin/start-slaves.sh
99. 大数据UI服务
http://beifeng-hadoop-02:50070/dfshealth.html#tab-overview
http://beifeng-hadoop-02:8088/cluster
http://beifeng-hadoop-02:19888/
http://beifeng-hadoop-02:50090/status.html
http://beifeng-hadoop-02:11000/oozie/
http://beifeng-hadoop-02:60010/master-status
http://beifeng-hadoop-02:8888/
http://beifeng-hadoop-02:8081/
二、大数据相关服务及端口
服务名 | 默认端口 |
namenode | 9000 |
datanode | 50010/50075/50020 |
secondarynamenode | 50090 |
resourcemanager | 8088 |
nodemanager | |
historyserver | |
zookeeper | 2181 |
oozie | 11000 |
mongodb | 27017 |
mongodb http | 28017 |
storm ui | 8081 |
spark ui | 4040 |
三、 环境检查命令
jps
ps -ef | grep processname
netstat -tlnup | grep port
lsof –i : port
netstat –nltp | grep pid
pkill -9 java
《OD大数据实战》环境整理的更多相关文章
- 《OD大数据实战》Hive环境搭建
一.搭建hadoop环境 <OD大数据实战>hadoop伪分布式环境搭建 二.Hive环境搭建 1. 准备安装文件 下载地址: http://archive.cloudera.com/cd ...
- 《OD大数据实战》HDFS入门实例
一.环境搭建 1. 下载安装配置 <OD大数据实战>Hadoop伪分布式环境搭建 2. Hadoop配置信息 1)${HADOOP_HOME}/libexec:存储hadoop的默认环境 ...
- 《OD大数据实战》驴妈妈旅游网大型离线数据电商分析平台
一.环境搭建 1. <OD大数据实战>Hadoop伪分布式环境搭建 2. <OD大数据实战>Hive环境搭建 3. <OD大数据实战>Sqoop入门实例 4. &l ...
- 《OD大数据实战》Hue环境搭建
官网: http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/ 一.Hue环境搭建 1. 下载 http://archive.cloude ...
- 《OD大数据实战》Hadoop伪分布式环境搭建
一.安装并配置Linux 8. 使用当前root用户创建文件夹,并给/opt/下的所有文件夹及文件赋予775权限,修改用户组为当前用户 mkdir -p /opt/modules mkdir -p / ...
- 《OD大数据实战》Storm环境搭建
一.环境搭建 1. 下载 http://www.apache.org/dyn/closer.lua/storm/apache-storm-0.9.6/apache-storm-0.9.6.tar.gz ...
- 《OD大数据实战》MongoDB环境搭建
一.MongonDB环境搭建 1. 下载 https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6.tgz 2. 解压 tar -zxvf ...
- 《OD大数据实战》HBase环境搭建
一.环境搭建 1. 下载 hbase-0.98.6-cdh5.3.6.tar.gz 2. 解压 tar -zxvf hbase-0.98.6-cdh5.3.6.tar.gz -C /opt/modul ...
- 《OD大数据实战》Oozie环境搭建
一.Oozie环境搭建 1. 下载oozie-4.0.0-cdh5.3.6.tar.gz 下载地址:http://archive.cloudera.com/cdh5/cdh/5/ 2. 解压 tar ...
随机推荐
- S初始化生产环境数据
一.将开发机的库文件导出10.10.1.139开发机服务器,桌面上的BAT文件,将数据库表结构和表数据导出来,导到E:\Repository,设置SADMIN密码永不过期BAT文件内容如下: ::导出 ...
- A* 算法求第k短路径
A*算法是一类贪心算法,其可以用于寻找最优路径.我们可以利用A*算法来求第k短路径. 一条路径可以由两部分组成,第一部分是一个从出发到达任意点的任意路径,而第二部分是从第一部分的末端出发,到终点的最短 ...
- Struts2源代码查看
-----------------siwuxie095 Struts2 源代码查看 1.Struts2 的核心过滤器 StrutsPrepareAndExecuteFilter 实现了 Filter ...
- Ros学习——Movebase源码解读
1.总体框架 goal global planner-------global_costmap<——map server amcl local planner---------local_cos ...
- 117. Populating Next Right Pointers in Each Node II 计算右边的附属节点
[抄题]: Given a binary tree struct TreeLinkNode { TreeLinkNode *left; TreeLinkNode *right; TreeLinkNod ...
- POST 与 GET请求区别
- 【小前端】float属性
要求 需要float的元素,必须指定一个width宽度 没了 然后就可以指定 float:right 什么的了
- 第一话:IE中用DOM方法绑定事件
工作比较忙,但是也一定要抽时间出来提升一下自己的基本功,只有技术实力到位,才能为公司和个人创造更多的价值.下面进入主题: IE中事件监听比较容易用到,但是由它所引出的一个关于this的问题,不得不着重 ...
- SQLSERVER中常用的系统视图
QLServer中提供了相当丰富的系统视图,能够从宏观到微观,从静态到动态反应数据库对象的存储结果.系统性能.系统等待事件等等.同时 也保留了与早期版本兼容性的视图,主要差别在于SQLServer20 ...
- Python 日期和时间戳的转换
Python 日期和时间戳的转换 1. Python中处理时间的模块 Python中处理时间的模块有time.datetime和calendar. 在Python中表示时间的方式: 时间戳:10位整数 ...