hadoop使用supervisord
#安装 wget https://pypi.python.org/packages/80/37/964c0d53cbd328796b1aeb7abea4c0f7b0e8c7197ea9b0b9967b7d004def/supervisor-3.3.1.tar.gz
tar zxf supervisor-3.3..tar.gz
cd supervisor-3.3.
python setup.py install
ln -s /usr/local/bin/supervisord /usr/bin/
ln -s /usr/local/bin/supervisorctl /usr/bin/
cd ..
#echo_supervisord_conf > /etc/supervisord.conf
#echo -e "[include]\nfiles = supervisord.d/*.ini" >> /etc/supervisord.conf
mkdir /etc/supervisord.d #配置文件
cat > /etc/supervisord.d/hadoop.ini << EOF
[program:hadoop]
user=user
#/data/user/hadoop-2.6./sbin/yarn-daemon.sh start resourcemanager启动后ps -ef | grep resourcemanager 出来的参数
command=/data/user/jdk1..0_71/bin/java -Dproc_resourcemanager -Xmx1000m -Dhadoop.log.dir=/data/user/hadoop-2.6./logs -Dyarn.log.dir=/data/user/hadoop-2.6./logs -Dhadoop.log.file=yarn-root-resourcemanag
er-hadoop-.log -Dyarn.log.file=yarn-root-resourcemanager-hadoop-.log -Dyarn.home.dir= -Dyarn.id.str=root -Dhadoop.root.logger=INFO,RFA -Dyarn.root.logger=INFO,RFA -Djava.library.path=/data/user/hadoop-
.6.0/lib/native -Dyarn.policy.file=hadoop-policy.xml -Dhadoop.log.dir=/data/user/hadoop-2.6./logs -Dyarn.log.dir=/data/user/hadoop-2.6./logs -Dhadoop.log.file=yarn-root-resourcemanager-hadoop-.log -Dya
rn.log.file=yarn-root-resourcemanager-hadoop-.log -Dyarn.home.dir=/data/user/hadoop-2.6. -Dhadoop.home.dir=/data/user/hadoop-2.6. -Dhadoop.root.logger=INFO,RFA -Dyarn.root.logger=INFO,RFA -Djava.librar
y.path=/data/user/hadoop-2.6./lib/native -classpath /data/user/hadoop-2.6./etc/hadoop:/data/user/hadoop-2.6./etc/hadoop:/data/user/hadoop-2.6./etc/hadoop:/data/user/hadoop-2.6./share/hadoop/commo
n/lib/*:/data/user/hadoop-2.6.0/share/hadoop/common/*:/data/user/hadoop-2.6.0/share/hadoop/hdfs:/data/user/hadoop-2.6.0/share/hadoop/hdfs/lib/*:/data/user/hadoop-2.6.0/share/hadoop/hdfs/*:/data/user/h
adoop-2.6.0/share/hadoop/yarn/lib/*:/data/user/hadoop-2.6.0/share/hadoop/yarn/*:/data/user/hadoop-2.6.0/share/hadoop/mapreduce/lib/*:/data/user/hadoop-2.6.0/share/hadoop/mapreduce/*:/data/user/hadoop-2.
6.0/share/hadoop/yarn/*:/data/user/hadoop-2.6.0/share/hadoop/yarn/lib/*:/data/user/hadoop-2.6.0/etc/hadoop/rm-config/log4j.properties org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
#进程停止的信号
stopsignal=QUIT
#启动supervisord的时候自动启动
autostart=true
autorestart = true
redirect_stderr=true
stdout_logfile=/data/user/hadoop-2.6.0/logs/supervisor.log
stderr_logfile=/data/user/hadoop-2.6.0/logs/supervisor_error.log
EOF #配置开机启动
cp supervisord /etc/init.d/
chmod +x /etc/init.d/supervisord
chkconfig --add supervisord
chkconfig supervisord on
chkconfig --list supervisord #使用方法
service supervisord start
service supervisord restart
supervisorctl restart hadoop
supervisorctl stop hadoop
supervisorctl start hadoop
supervisorctl status
hadoop使用supervisord的更多相关文章
- 【Hadoop】伪分布式环境搭建、验证
Hadoop伪分布式环境搭建: 自动部署脚本: #!/bin/bash set -eux export APP_PATH=/opt/applications export APP_NAME=Ares ...
- Supervisord进程管家
Supervisord进程管家 Supervisord是一个守护进程的工具,当进程意外终止或服务器掉电起来后,希望进程能够自动运行,supervisord可以很好的为我们做这件事情.同时supervi ...
- Hadoop 中利用 mapreduce 读写 mysql 数据
Hadoop 中利用 mapreduce 读写 mysql 数据 有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些 pv.uv 数据,然后为了实时查询的需求,或者一些 OLAP ...
- 初识Hadoop、Hive
2016.10.13 20:28 很久没有写随笔了,自打小宝出生后就没有写过新的文章.数次来到博客园,想开始新的学习历程,总是被各种琐事中断.一方面确实是最近的项目工作比较忙,各个集群频繁地上线加多版 ...
- hadoop 2.7.3本地环境运行官方wordcount-基于HDFS
接上篇<hadoop 2.7.3本地环境运行官方wordcount>.继续在本地模式下测试,本次使用hdfs. 2 本地模式使用fs计数wodcount 上面是直接使用的是linux的文件 ...
- hadoop 2.7.3本地环境运行官方wordcount
hadoop 2.7.3本地环境运行官方wordcount 基本环境: 系统:win7 虚机环境:virtualBox 虚机:centos 7 hadoop版本:2.7.3 本次先以独立模式(本地模式 ...
- 【Big Data】HADOOP集群的配置(一)
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
- Hadoop学习之旅二:HDFS
本文基于Hadoop1.X 概述 分布式文件系统主要用来解决如下几个问题: 读写大文件 加速运算 对于某些体积巨大的文件,比如其大小超过了计算机文件系统所能存放的最大限制或者是其大小甚至超过了计算机整 ...
- 程序员必须要知道的Hadoop的一些事实
程序员必须要知道的Hadoop的一些事实.现如今,Apache Hadoop已经无人不知无人不晓.当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软...... 1: ...
随机推荐
- EF实体部分更新的问题
之前遇到只更新部分的问题:如前端修改用户信息(不修改密码),传实体到后台,这个实体是没有密码,这样一来要更新的话,得先去数据库通过传过来的实体的ID读取这条记录,然后将改动的部分填到查出来的记录中,再 ...
- [学习笔记]CSS选择器
CSS语法结构 selector { property1 : value; property2 : value; } 如果包含多个属性,那么属性每个属性的结尾需要有一个分号.如果属性的 ...
- Android开发——事件分发机制详解
0. 前言 转载请注明出处:http://blog.csdn.net/seu_calvin/article/details/52566965 深入学习事件分发机制,是为了解决在Android开发中 ...
- PaaS服务之路漫谈(一)
此文已由作者尧飘海授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. PaaS服务之路漫谈(一) 1983年,SUN公司提出的网络即计算的理念:2006年亚马逊(Amazon)推 ...
- 剑指Offer - 九度1354 - 和为S的连续正数序列
剑指Offer - 九度1354 - 和为S的连续正数序列2013-11-23 02:02 题目描述: 小明很喜欢数学,有一天他在做数学作业时,要求计算出9~16的和,他马上就写出了正确答案是100. ...
- 《Cracking the Coding Interview》——第5章:位操作——题目7
2014-03-19 06:27 题目:有一个数组里包含了0~n中除了某个整数m之外的所有整数,你要设法找出这个m.限制条件为每次你只能用O(1)的时间访问第i个元素的第j位二进制位. 解法:0~n的 ...
- linux c编程(一)
1 常用系统环境配置 2 使用g++编译连接,使用gdb调试 3 使用makefile组织目标文件的依赖关系 4 使用git 1 常用系统环境配置 输入法 Download setup file fo ...
- JavaSE复习(一)继承多态与常用API
继承与多态 在父子类的继承关系当中,如果成员变量重名,则创建子类对象时,访问有两种方式: 直接通过子类对象访问成员变量:等号左边是谁,就优先用谁,没有则向上找 间接通过成员方法访问成员变量:该方法属于 ...
- excel模板解析—桥接模式:分离解析模板和业务校验
在做excel模板解析的时候,其实会有两个部分,第一,将模板读取出来,校验一些必录项等. 但除了这些,在数据真正被业务线使用的时候,还会有一些其他的校验,比如说:根据业务,年龄是不能超过多少岁的,包括 ...
- 201621123034 《Java程序设计》第9周学习总结
作业09-集合与泛型 1. 本周学习总结 1.1 以你喜欢的方式(思维导图或其他)归纳总结集合与泛型相关内容. 答:Map的HashMap中使用嵌套类static class Node<K,V& ...