hadoop使用supervisord
#安装 wget https://pypi.python.org/packages/80/37/964c0d53cbd328796b1aeb7abea4c0f7b0e8c7197ea9b0b9967b7d004def/supervisor-3.3.1.tar.gz
tar zxf supervisor-3.3..tar.gz
cd supervisor-3.3.
python setup.py install
ln -s /usr/local/bin/supervisord /usr/bin/
ln -s /usr/local/bin/supervisorctl /usr/bin/
cd ..
#echo_supervisord_conf > /etc/supervisord.conf
#echo -e "[include]\nfiles = supervisord.d/*.ini" >> /etc/supervisord.conf
mkdir /etc/supervisord.d #配置文件
cat > /etc/supervisord.d/hadoop.ini << EOF
[program:hadoop]
user=user
#/data/user/hadoop-2.6./sbin/yarn-daemon.sh start resourcemanager启动后ps -ef | grep resourcemanager 出来的参数
command=/data/user/jdk1..0_71/bin/java -Dproc_resourcemanager -Xmx1000m -Dhadoop.log.dir=/data/user/hadoop-2.6./logs -Dyarn.log.dir=/data/user/hadoop-2.6./logs -Dhadoop.log.file=yarn-root-resourcemanag
er-hadoop-.log -Dyarn.log.file=yarn-root-resourcemanager-hadoop-.log -Dyarn.home.dir= -Dyarn.id.str=root -Dhadoop.root.logger=INFO,RFA -Dyarn.root.logger=INFO,RFA -Djava.library.path=/data/user/hadoop-
.6.0/lib/native -Dyarn.policy.file=hadoop-policy.xml -Dhadoop.log.dir=/data/user/hadoop-2.6./logs -Dyarn.log.dir=/data/user/hadoop-2.6./logs -Dhadoop.log.file=yarn-root-resourcemanager-hadoop-.log -Dya
rn.log.file=yarn-root-resourcemanager-hadoop-.log -Dyarn.home.dir=/data/user/hadoop-2.6. -Dhadoop.home.dir=/data/user/hadoop-2.6. -Dhadoop.root.logger=INFO,RFA -Dyarn.root.logger=INFO,RFA -Djava.librar
y.path=/data/user/hadoop-2.6./lib/native -classpath /data/user/hadoop-2.6./etc/hadoop:/data/user/hadoop-2.6./etc/hadoop:/data/user/hadoop-2.6./etc/hadoop:/data/user/hadoop-2.6./share/hadoop/commo
n/lib/*:/data/user/hadoop-2.6.0/share/hadoop/common/*:/data/user/hadoop-2.6.0/share/hadoop/hdfs:/data/user/hadoop-2.6.0/share/hadoop/hdfs/lib/*:/data/user/hadoop-2.6.0/share/hadoop/hdfs/*:/data/user/h
adoop-2.6.0/share/hadoop/yarn/lib/*:/data/user/hadoop-2.6.0/share/hadoop/yarn/*:/data/user/hadoop-2.6.0/share/hadoop/mapreduce/lib/*:/data/user/hadoop-2.6.0/share/hadoop/mapreduce/*:/data/user/hadoop-2.
6.0/share/hadoop/yarn/*:/data/user/hadoop-2.6.0/share/hadoop/yarn/lib/*:/data/user/hadoop-2.6.0/etc/hadoop/rm-config/log4j.properties org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
#进程停止的信号
stopsignal=QUIT
#启动supervisord的时候自动启动
autostart=true
autorestart = true
redirect_stderr=true
stdout_logfile=/data/user/hadoop-2.6.0/logs/supervisor.log
stderr_logfile=/data/user/hadoop-2.6.0/logs/supervisor_error.log
EOF #配置开机启动
cp supervisord /etc/init.d/
chmod +x /etc/init.d/supervisord
chkconfig --add supervisord
chkconfig supervisord on
chkconfig --list supervisord #使用方法
service supervisord start
service supervisord restart
supervisorctl restart hadoop
supervisorctl stop hadoop
supervisorctl start hadoop
supervisorctl status
hadoop使用supervisord的更多相关文章
- 【Hadoop】伪分布式环境搭建、验证
Hadoop伪分布式环境搭建: 自动部署脚本: #!/bin/bash set -eux export APP_PATH=/opt/applications export APP_NAME=Ares ...
- Supervisord进程管家
Supervisord进程管家 Supervisord是一个守护进程的工具,当进程意外终止或服务器掉电起来后,希望进程能够自动运行,supervisord可以很好的为我们做这件事情.同时supervi ...
- Hadoop 中利用 mapreduce 读写 mysql 数据
Hadoop 中利用 mapreduce 读写 mysql 数据 有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些 pv.uv 数据,然后为了实时查询的需求,或者一些 OLAP ...
- 初识Hadoop、Hive
2016.10.13 20:28 很久没有写随笔了,自打小宝出生后就没有写过新的文章.数次来到博客园,想开始新的学习历程,总是被各种琐事中断.一方面确实是最近的项目工作比较忙,各个集群频繁地上线加多版 ...
- hadoop 2.7.3本地环境运行官方wordcount-基于HDFS
接上篇<hadoop 2.7.3本地环境运行官方wordcount>.继续在本地模式下测试,本次使用hdfs. 2 本地模式使用fs计数wodcount 上面是直接使用的是linux的文件 ...
- hadoop 2.7.3本地环境运行官方wordcount
hadoop 2.7.3本地环境运行官方wordcount 基本环境: 系统:win7 虚机环境:virtualBox 虚机:centos 7 hadoop版本:2.7.3 本次先以独立模式(本地模式 ...
- 【Big Data】HADOOP集群的配置(一)
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
- Hadoop学习之旅二:HDFS
本文基于Hadoop1.X 概述 分布式文件系统主要用来解决如下几个问题: 读写大文件 加速运算 对于某些体积巨大的文件,比如其大小超过了计算机文件系统所能存放的最大限制或者是其大小甚至超过了计算机整 ...
- 程序员必须要知道的Hadoop的一些事实
程序员必须要知道的Hadoop的一些事实.现如今,Apache Hadoop已经无人不知无人不晓.当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软...... 1: ...
随机推荐
- adb 显示手机分辨率
adb shell dumpsys window | grep "ShownFrame" | head -n 1 adb shell dwm size 当然,作为一个Android ...
- easyui 获取树的平级根节点的父节点&选择性展示树的一个根节点
1.easyui的树的根节点一般是几个平级的,怎样获取这些父节点的id? 可以将获取到的平级根节点放在一个数组中 var roots=[]; roots=$("#tree1").t ...
- react书写规范小记
1.对齐方式 //如果没有属性,在自闭和标签前添加一个空格: <Footer /> //如果可以放在一行,放在一行上即可: <Footer bar="bar" / ...
- 【 Logistic Regression 】林轩田机器学习基石
这里提出Logistic Regression的角度是Soft Binary Classification.输出限定在0~1之间,用于表示可能发生positive的概率. 具体的做法是在Linear ...
- express 热启动 静态文件部署 跨域解决 调试
1.热启动 每次修改app.js文件,都得重新启动项目,十分不方便.这里可以用hotnode插件实现热启动 安装:$ npm install -g hotnode 启动项目:$ hotnode app ...
- Python 3基础教程16-类
本文介绍类和简单使用,类是需要class这个关键字来声明的,一般如下面的语法: class className: def fun1(): pass def fun2(): pass 看下面demo.p ...
- 孤荷凌寒自学python第四十七天通用跨数据库同一数据库中复制数据表函数
孤荷凌寒自学python第四十七天通用跨数据库同一数据库中复制数据表函数 (完整学习过程屏幕记录视频地址在文末) 今天继续建构自感觉用起来顺手些的自定义模块和类的代码. 今天打算完成的是通用的(至少目 ...
- cinatra--一个高效易用的c++ http框架
cinatra是一个高性能易用的http框架,它是用modern c++(c++17)开发的,它的目标是提供一个快速开发的c++ http框架.它的主要特点如下: 统一而简单的接口 header-on ...
- win10下乌龟git安装和使用
一.安装git for windows 首先下载git for windows客户端http://msysgit.github.io/ 安装过程没什么特别的,不停next就ok了 图太多就不继 ...
- Linux学习前的准备
Linux学习前的准备 Linux的学习也是这次项目的一个点. 我的学习教材是 The Linux Command Line,这是本已经被翻译好了的 中英版本的教材,知识点还是比较入门的 我使用的是 ...