hadoop使用supervisord
#安装 wget https://pypi.python.org/packages/80/37/964c0d53cbd328796b1aeb7abea4c0f7b0e8c7197ea9b0b9967b7d004def/supervisor-3.3.1.tar.gz
tar zxf supervisor-3.3..tar.gz
cd supervisor-3.3.
python setup.py install
ln -s /usr/local/bin/supervisord /usr/bin/
ln -s /usr/local/bin/supervisorctl /usr/bin/
cd ..
#echo_supervisord_conf > /etc/supervisord.conf
#echo -e "[include]\nfiles = supervisord.d/*.ini" >> /etc/supervisord.conf
mkdir /etc/supervisord.d #配置文件
cat > /etc/supervisord.d/hadoop.ini << EOF
[program:hadoop]
user=user
#/data/user/hadoop-2.6./sbin/yarn-daemon.sh start resourcemanager启动后ps -ef | grep resourcemanager 出来的参数
command=/data/user/jdk1..0_71/bin/java -Dproc_resourcemanager -Xmx1000m -Dhadoop.log.dir=/data/user/hadoop-2.6./logs -Dyarn.log.dir=/data/user/hadoop-2.6./logs -Dhadoop.log.file=yarn-root-resourcemanag
er-hadoop-.log -Dyarn.log.file=yarn-root-resourcemanager-hadoop-.log -Dyarn.home.dir= -Dyarn.id.str=root -Dhadoop.root.logger=INFO,RFA -Dyarn.root.logger=INFO,RFA -Djava.library.path=/data/user/hadoop-
.6.0/lib/native -Dyarn.policy.file=hadoop-policy.xml -Dhadoop.log.dir=/data/user/hadoop-2.6./logs -Dyarn.log.dir=/data/user/hadoop-2.6./logs -Dhadoop.log.file=yarn-root-resourcemanager-hadoop-.log -Dya
rn.log.file=yarn-root-resourcemanager-hadoop-.log -Dyarn.home.dir=/data/user/hadoop-2.6. -Dhadoop.home.dir=/data/user/hadoop-2.6. -Dhadoop.root.logger=INFO,RFA -Dyarn.root.logger=INFO,RFA -Djava.librar
y.path=/data/user/hadoop-2.6./lib/native -classpath /data/user/hadoop-2.6./etc/hadoop:/data/user/hadoop-2.6./etc/hadoop:/data/user/hadoop-2.6./etc/hadoop:/data/user/hadoop-2.6./share/hadoop/commo
n/lib/*:/data/user/hadoop-2.6.0/share/hadoop/common/*:/data/user/hadoop-2.6.0/share/hadoop/hdfs:/data/user/hadoop-2.6.0/share/hadoop/hdfs/lib/*:/data/user/hadoop-2.6.0/share/hadoop/hdfs/*:/data/user/h
adoop-2.6.0/share/hadoop/yarn/lib/*:/data/user/hadoop-2.6.0/share/hadoop/yarn/*:/data/user/hadoop-2.6.0/share/hadoop/mapreduce/lib/*:/data/user/hadoop-2.6.0/share/hadoop/mapreduce/*:/data/user/hadoop-2.
6.0/share/hadoop/yarn/*:/data/user/hadoop-2.6.0/share/hadoop/yarn/lib/*:/data/user/hadoop-2.6.0/etc/hadoop/rm-config/log4j.properties org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
#进程停止的信号
stopsignal=QUIT
#启动supervisord的时候自动启动
autostart=true
autorestart = true
redirect_stderr=true
stdout_logfile=/data/user/hadoop-2.6.0/logs/supervisor.log
stderr_logfile=/data/user/hadoop-2.6.0/logs/supervisor_error.log
EOF #配置开机启动
cp supervisord /etc/init.d/
chmod +x /etc/init.d/supervisord
chkconfig --add supervisord
chkconfig supervisord on
chkconfig --list supervisord #使用方法
service supervisord start
service supervisord restart
supervisorctl restart hadoop
supervisorctl stop hadoop
supervisorctl start hadoop
supervisorctl status
hadoop使用supervisord的更多相关文章
- 【Hadoop】伪分布式环境搭建、验证
Hadoop伪分布式环境搭建: 自动部署脚本: #!/bin/bash set -eux export APP_PATH=/opt/applications export APP_NAME=Ares ...
- Supervisord进程管家
Supervisord进程管家 Supervisord是一个守护进程的工具,当进程意外终止或服务器掉电起来后,希望进程能够自动运行,supervisord可以很好的为我们做这件事情.同时supervi ...
- Hadoop 中利用 mapreduce 读写 mysql 数据
Hadoop 中利用 mapreduce 读写 mysql 数据 有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些 pv.uv 数据,然后为了实时查询的需求,或者一些 OLAP ...
- 初识Hadoop、Hive
2016.10.13 20:28 很久没有写随笔了,自打小宝出生后就没有写过新的文章.数次来到博客园,想开始新的学习历程,总是被各种琐事中断.一方面确实是最近的项目工作比较忙,各个集群频繁地上线加多版 ...
- hadoop 2.7.3本地环境运行官方wordcount-基于HDFS
接上篇<hadoop 2.7.3本地环境运行官方wordcount>.继续在本地模式下测试,本次使用hdfs. 2 本地模式使用fs计数wodcount 上面是直接使用的是linux的文件 ...
- hadoop 2.7.3本地环境运行官方wordcount
hadoop 2.7.3本地环境运行官方wordcount 基本环境: 系统:win7 虚机环境:virtualBox 虚机:centos 7 hadoop版本:2.7.3 本次先以独立模式(本地模式 ...
- 【Big Data】HADOOP集群的配置(一)
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
- Hadoop学习之旅二:HDFS
本文基于Hadoop1.X 概述 分布式文件系统主要用来解决如下几个问题: 读写大文件 加速运算 对于某些体积巨大的文件,比如其大小超过了计算机文件系统所能存放的最大限制或者是其大小甚至超过了计算机整 ...
- 程序员必须要知道的Hadoop的一些事实
程序员必须要知道的Hadoop的一些事实.现如今,Apache Hadoop已经无人不知无人不晓.当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软...... 1: ...
随机推荐
- Android 时间计算工具 通用类TimeUtil
1.整体分析 1.1.源代码如下,可以直接Copy. public class TimeUtil { private static final String TAG = "TimeUtil& ...
- Javacript实现倒计时
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8" ...
- MyEclipse - MyEclipse优化
1.去除不需要的启动加载项 选择菜单:Window --> Preferences -->General --> Startup and Shutdown, 可以关掉的启动项有: J ...
- Active Directory-Integrated Zones
更新时间: 2010年5月 应用到: Windows Server 2003, Windows Server 2003 R2, Windows Server 2003 with SP1, Window ...
- redis系列文章目录
redis系列文章目录 使用spring-data-redis实现incr自增 Redis 利用Hash存储节约内存 Redis学习笔记(九)redis实现时时直播列表缓存,支持分页[热点数据存储] ...
- 关于p标签的嵌套问题
今天群里问了一个p的问题,初看我觉得恩这么简单我应该知道. 他代码如下: <!DOCTYPE HTML> <html> <head> <meta charse ...
- Linux忘记root密码的解决办法
这里以centos6为例: 第一步:先将系统重新启动,在读秒的时候按下任意键就会出现如下图的菜单界面: 第二步:按下『e』就能够进入grub的编辑模式,如图: 第三步:将光标移动到kernel那一行, ...
- Kotlin的数据类:节省很多行代码(KAD 10)
作者:Antonio Leiva 时间:Jan 25, 2017 原文链接:https://antonioleiva.com/data-classes-kotlin/ 在前面的文章中,我们已经见到了类 ...
- Pytest 断言
pytest 断言 断言:一个标准的用例都包含了断言,编写pytest自动化脚本的时候,也需要设置断言 assert使用 常用分三种 1:比较大小与是否相等 2:包含或不包含 3:验证boolean ...
- 深入理解synchronize
本文参考引用,本人整理个人理解.地址点击 1.实现原理 synchronized可以保证方法或者代码块在运行时,同一时刻只有一个方法可以进入到临界区,同时它还可以保证共享变量的内存可见性. 下面是一些 ...