hadoop一键安装伪分布式
hadoop伪分布式和hive在openSUSE中的安装
在git上的路径为:https://github.com/huabingood/hadoop--------/tree/master
各个文件夹内容
一.lib文件夹,主要存放使用到的jar包
1. dom4j.jar 主要是用来解析xml文档的jar包
2. JavaStudy.jar 具体执行解析xml文档的jar包
3. mysql-connector-java-5.1.42-bin.jar hive中需要的Java连接MySQL数据库的驱动jar包
二.software文件夹,主要存放要安装的hadoop生态安装包
1. hadoop-2.6.0-cdh5.10.0.tar.gz CDH的hadoop安装包
2. hive-1.1.0-cdh5.10.0.tar.gz CDH的hive安装包
三.script文件夹,主要是一键安装的脚本
1. main.sh 主调函数,顺序执行安装步骤
2. install-env.sh 主要是安装需要用到的各种参数,比如安装目录,MySQL连接信息,xml配置信息等。有部分配置需要根据不同的机器进行修改。
3. functions.sh 安装步骤,主要是供main.sh调用的函数。不需要修改
如何执行
一.完成Linux环境的基本配置
1. 安装好Java
2. 安装好mysql
3. 停用防火墙
4. 配置网络,并能ping通外网
5. 设置好主机名
二.创建文件夹用于存放安装问价夹
1. root用户下修改/opt文件的权限
chown 用户名 /opt
2. 普通用户创建文件存放脚本的文件夹
mkdir /opt/install
3. 将安装文件夹放到刚才创建的文件夹中
4. 赋予脚本的执行权限
chmod 777 functions.sh install-env.sh main.sh
修改install-env.sh配置自己的安装环境
- 添加脚本的安装路径
- 添加MySQL的连接参数
- 给出要运行的Java的安装路径
main.sh代码
#!/bin/bash source ./install-env.sh
source ./functions.sh # 创建文件安装路径
creatFile ${INSTALL_PATH}
# 创建hadoop临时文件夹的存放路径
mkdir -p ${HADOOP_TMP_DIR} # 解压hadoop,hive到安装目录下
myTar hadoop ${INSTALL_PATH}
myTar hive ${INSTALL_PATH} # 修改hadoop中非xml的配置文件
notXMLHadoop ${INSTALL_PATH} ${HADOOP_PROFILEPATH}
isSuccess $? "非XML修改成功" "非XML修改失败,请检查原因!!!" # 修改hadoop中xml的配置文件
alterHadoopXml "${coreSite[@]}"
alterHadoopXml "${hdfsSite[@]}" # 配置pid的文件路径
alterBashrc
isSuccess $? "bashrc修改成功" "bashrc修改失败,请检查原因!!!"
# 格式化NameNode
formatNameNode # 修改hive的的非xml配置文件
setHiveNotXML
isSuccess $? "非XML修改成功" "非XML修改失败,请检查原因!!!" # 修改hive的xml的配置文件hive-site.xml
alterHiveXml "${hiveSite[@]}" # 将Java的mysql的jar包驱动放到hive中的lib文件夹里面
hiveOver
install-env.sh
代码
#!/bin/bash INSTALL_PATH="/opt/hadoop" # 请输入安装hadoop的绝对路径。改路径下应该没有内容!
# mysql的配置情况
mysqlIP="192.168.59.100"
mysqlPort=""
mysqlDatabase="hive_test"
mysqlUser="root"
mysqlPwd=""
mysqlConnetor="mysql-connector-java-5.1.42-bin.jar" # 这里存放自己的JAVA_HOME
MY_JAVA_HOME="/opt/softWare/jdk1.8.0_131" # 以下内容请不要修改!!!
HADOOP_PROFILEPATH="/etc/hadoop"
# hadoop临时文件的存放路径
HADOOP_TMP_DIR="${INSTALL_PATH}/tmp/hadoop"
HIVE_TMP_DIR="${INSTALL_PATH}/tmp/hive"
# 需要往一下文件中修改其中的JAVA_HOME
myArray=("hadoop-env.sh" "mapred-env.sh" "yarn-env.sh") # hadoop中需要修改的xml配置文件的文件名和修改属性
coreSite=("core-site.xml" "fs.defaultFS" "hdfs://`hostname`:9000" "hadoop.tmp.dir" "${HADOOP_TMP_DIR}")
hdfsSite=("hdfs-site.xml" "dfs.replication" "") # hive日志文件的存放路径
hiveLogs="${INSTALL_PATH}/tmp/hive_logs"
# hive-site.xml文件的配置
hiveSite=("hive-site.xml" "javax.jdo.option.ConnectionURL" "jdbc:mysql://${mysqlIP}:${mysqlPort}/${mysqlDatabase}?createDatabaseIfNotExist=true&useSSL=false&characterEncoding=utf8" "javax.jdo.option.ConnectionDriverName" "com.mysql.jdbc.Driver" "javax.jdo.option.ConnectionUserName" "${mysqlUser}" "javax.jdo.option.ConnectionPassword" "${mysqlPwd}" "hive.exec.scratchdir" "${HIVE_TMP_DIR}" "system:java.io.tmpdir" "${HIVE_TMP_DIR}" "hive.cli.print.header" "true" "hive.cli.print.current.db" "true" "hive.metastore.warehouse.dir" "/opt/hadoop/warehouse")
functions.sh
代码
#!/bin/bash source ./install-env.sh # 创建文件夹,并清空文件夹
function creatFile(){
if [ -e $ ]
then
echo "文件夹已经存在!将清空${1}!!!\n"
isContinue "清空${1}" "将要清空${1}"
rm -rf ${}/*
isSuccess $? "${1}清空成功,准备解压文件。" "${1}清空失败,请检查原因!!!"
else
mkdir ${1}
isSuccess $? "${1}创建成功,准备解压文件。" "${1}创建失败,请检查原因!!!"
fi
} # 询问是否继续进项操作
function isContinue(){
echo -e "\e[1;31m是否${1}【y/n】\e[0m"
read choose
if [ "${choose}" = "y" ] || [ "${choose}" = "yes" ] || [ "${choose}" = "Y" ] || [ "${choose}" = "YES" ]
then
echo -e "\e[1;31m${1}\e[0m"
else
exit
fi
} # 判断前一个操作是否成功,如果错误就全部推倒重来
function isSuccess(){
if [ $1 -eq 0 ]
then
echo "${2}"
else
echo -e "\e[1;31m${3}\e[0m"
rm -rf ${INSTALL_PATH}
exit
fi
} # 解压缩文件
function myTar(){
filePath=`find ../software -name ${1}* | awk -F "/" '{print $NF}'`
tar -zxvf ../software/${filePath} -C ${2} 1>>/dev/null 2>>/dev/null
isSuccess $? "${1}解压成功。" "${2}解压失败,请查找原因!!!"
} # 修改hadoop的非xml类的配置文件
function notXMLHadoop(){
filePath=`ls ${1} | grep hadoop`
mkdir ${HADOOP_TMP_DIR}/myPID for i in ${myArray[@]}
do
sed -i '/export JAVA_HOME=$/d' ${1}/${filePath}${2}/${i}
#sed -i "/export JAVA_HOME=${MY_JAVA_HOME}/d" ${1}/${filePath}${2}/${i}
sed -i "3a export JAVA_HOME=${MY_JAVA_HOME}" ${1}/${filePath}${2}/${i}
isSuccess $? "$i修改成功" "$i修改失败" done # 修改各个env.sh文件,修改pid文件存放的路径 sed -i "s@export HADOOP_PID_DIR=.*@HADOOP_PID_DIR=${HADOOP_TMP_DIR}/myPID@g" ${1}/${filePath}${2}/hadoop-env.sh # sed -i "/export HADOOP_MAPRED_PID_DIR=${HADOOP_TMP_DIR}\/myPID/d" ${1}/${filePath}${2}/mapred-env.sh
sed -i "4a export HADOOP_MAPRED_PID_DIR=${HADOOP_TMP_DIR}/myPID" ${1}/${filePath}${2}/mapred-env.sh # sed -i "/export YARN_PID_DIR=${HADOOP_TMP_DIR}\/myPID/d" ${1}/${filePath}${2}/yarn-env.sh
sed -i "4a export YARN_PID_DIR=${HADOOP_TMP_DIR}/myPID" ${1}/${filePath}${2}/yarn-env.sh # 修改slaves文件
sed -i "1a `hostname`" ${1}/${filePath}${2}/slaves
isSuccess $? "slaves修改成功" "slaves修改失败"
sed -i '1d' ${1}/${filePath}${2}/slaves
} # 修改hadoop中的xml类的配置文件
function alterHadoopXml(){ myArray=($@)
filePath=`ls ${INSTALL_PATH} | grep hadoop`
for ((i=1;i<${#myArray[@]};i+=2))
do
j=$((i+1))
java -jar ../lib/JavaStudy.jar /${INSTALL_PATH}/${filePath}${HADOOP_PROFILEPATH}/${myArray[0]} add ${myArray[$i]} ${myArray[$j]}
isSuccess $? "${myArray[0]}中的${myArray[$i]}修改成功" "${myArray[0]}中的${myArray[$i]}修改失败,请检查原因!!!"
done
} # 修改当前用户的.bashrc文件,添加hadoop中pid等配置的存放路径
function alterBashrc(){
bashrcPathe=~/.bashrc
mkdir ${HADOOP_TMP_DIR}/myPID
sed -i "/myPIDDir=/d" ${bashrcPathe}
sed -i "\$a myPIDDir=${HADOOP_TMP_DIR}/myPID" ${bashrcPathe}
sed -i "/export HADOOP_PID_DIR=${myPIDDir}/d" ${bashrcPathe}
sed -i '$a export HADOOP_PID_DIR=${myPIDDir}' ${bashrcPathe}
sed -i '/export YARN_PID_DIR=${myPIDDir}/d' ${bashrcPathe}
sed -i '$a export YARN_PID_DIR=${myPIDDir}' ${bashrcPathe}
sed -i '/export HADOOP_MAPRED_PID_DIR=${myPIDDir}/d' ${bashrcPathe}
sed -i '$a export HADOOP_MAPRED_PID_DIR=${myPIDDir}' ${bashrcPathe}
sed -i '/export HBASE_PID_DIR=${myPIDDir}/d' ${bashrcPathe}
sed -i '$a export HBASE_PID_DIR=${myPIDDir}' ${bashrcPathe} source ~/.bashrc
} # 格式化NameNode
function formatNameNode(){
filePath=`ls ${INSTALL_PATH} | grep hadoop`
${INSTALL_PATH}/${filePath}/bin/hdfs namenode -format 1>>/dev/null 2>>/dev/null
if [ $? -ne 0 ]
then
exit
fi
isSuccess $? "NameNode格式化成功!" "NameNode格式化失败,请查找原因!!!"
} # 配置好hive的配置文件
function setHiveNotXML(){
echo "开始修改hive的非xml配置文件"
filePath=`ls ${INSTALL_PATH} | grep hive`
cp ${INSTALL_PATH}/${filePath}/conf/hive-env.sh.template ${INSTALL_PATH}/${filePath}/conf/hive-env.sh
cp ${INSTALL_PATH}/${filePath}/conf/hive-exec-log4j.properties.template ${INSTALL_PATH}/${filePath}/conf/hive-exec-log4j.properties
cp ${INSTALL_PATH}/${filePath}/conf/hive-log4j.properties.template ${INSTALL_PATH}/${filePath}/conf/hive-log4j.properties
touch ${INSTALL_PATH}/${filePath}/conf/hive-site.xml
echo '<?xml version="1.0" encoding="UTF-8" standalone="no"?>' > ${INSTALL_PATH}/${filePath}/conf/hive-site.xml
sed -i '1a <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>' ${INSTALL_PATH}/${filePath}/conf/hive-site.xml
sed -i '2a <configuration>' ${INSTALL_PATH}/${filePath}/conf/hive-site.xml
sed -i '3a </configuration>' ${INSTALL_PATH}/${filePath}/conf/hive-site.xml
# 修改hive-env.sh
hadoopPath=`ls ${INSTALL_PATH} | grep hadoop`
sed -i "\$a HADOOP_HOME=${INSTALL_PATH}/${hadoopPath}" ${INSTALL_PATH}/${filePath}/conf/hive-env.sh
sed -i "\$a HIVE_CONF_DIR=${INSTALL_PATH}/${filePath}/conf" ${INSTALL_PATH}/${filePath}/conf/hive-env.sh
sed -i "\$a export JAVA_HOME=${MY_JAVA_HOME}" ${INSTALL_PATH}/${filePath}/conf/hive-env.sh # 修改hive-log4j.properties文件
mkdir ${hiveLogs}
sed -i "s@hive.log.dir=.*@hive.log.dir=${hiveLogs}@g" ${INSTALL_PATH}/${filePath}/conf/hive-log4j.properties
} # 修改hive的xml文件
function alterHiveXml(){
myArray=($@)
filePath=`ls ${INSTALL_PATH} | grep hive`
for ((i=1;i<${#myArray[@]};i+=2))
do
j=$((i+1))
java -jar ../lib/JavaStudy.jar /${INSTALL_PATH}/${filePath}/conf/${myArray[0]} add ${myArray[$i]} ${myArray[$j]}
isSuccess $? "${myArray[0]}中的${myArray[$i]}修改成功" "${myArray[0]}中的${myArray[$i]}修改失败,请检查原因!!!"
done
} # 创建hive的配置文件夹,并Java的mysql驱动jar包复制到hive中的lib文件夹中
function hiveOver(){
mkdir ${HIVE_TMP_DIR}
filePath=`ls ${INSTALL_PATH} | grep hive`
cp ../lib/${mysqlConnetor} ${INSTALL_PATH}/${filePath}/lib
isSuccess $? "hadoop与hive的伪分布式安装成功,just have fun!" "复制mysql的jar包失败,请检查原因!!!"
}
JavaStudy.jar代码
package com.huabingood; import org.dom4j.Document;
import org.dom4j.DocumentException;
import org.dom4j.Element;
import org.dom4j.io.OutputFormat;
import org.dom4j.io.SAXReader;
import org.dom4j.io.XMLWriter; import java.io.*; /**
* Created by 杨华彬 on 2017/5/4.
*/
public class TestXML {
public static void main(String[] args) {
/*String[] args = new String[4];
args[0] = "D:\\core-site.xml";
args[1] = "add";
args[2] = "name";
args[3] = "1234567";*/ // 创建解析器,准备解析指定路径的xml文档
SAXReader saxReader = new SAXReader();
Document doc = null;
try {
doc = saxReader.read(new File(args[0]));
} catch (DocumentException e) {
e.printStackTrace();
} addNode(args, doc); write2XML(args[0], doc);
} /**
* 获取参数后,自动创建name和value节点,将根据传入的值设置name和value的值
*
* @param args 传递的是创建一个节点的参数。参数1表示xml文档的路径,
* 参数2表示是创建节点还是修改节点,参数3表示name节点的值,参数4表示
* value节点的值。
*/
public static void addNode(String[] args, Document doc) { // 获取根节点
Element root = doc.getRootElement();
// 创建根节点下的子节点
Element parentNode = root.addElement("property"); // 创建name和value节点
Element nameChild = parentNode.addElement("name");
nameChild.setText(args[2]);
Element valueChild = parentNode.addElement("value");
valueChild.setText(args[3]);
} /**
* 将修改内容写到文档中去
*
* @param file 修改的文件路径
* @param doc 前面传进来的xml文档对象模型。
*/
public static void write2XML(String file, Document doc) { // 设置排版格式为缩进格式,字符为utf-8
OutputFormat of = OutputFormat.createPrettyPrint();
of.setEncoding("utf-8"); // 创建写入流,准备写入对象
File myFile = new File(file);
OutputStreamWriter osw = null;
FileOutputStream fos = null;
try {
fos = new FileOutputStream(myFile);
osw = new OutputStreamWriter(fos, "utf-8");
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (Exception e) {
e.printStackTrace();
} XMLWriter xmlWriter = new XMLWriter(osw, of); // 开始写入内容
try {
xmlWriter.write(doc);
xmlWriter.flush(); } catch (IOException e) {
e.printStackTrace();
} finally {
try {
xmlWriter.close();
} catch (IOException e) {
e.printStackTrace();
}
} }
}
hadoop一键安装伪分布式的更多相关文章
- Hadoop单点安装(伪分布式)
Hadoop单点安装,基于版本2.7.1, 在一台Lunix主机上面安装Hdoop, 包括Hdfs的NameNode和DataNode, 以及Yarn的ResouceManager和NodeManag ...
- Hadoop单机和伪分布式安装
本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit 本机名称 hadoop001 本机IP ...
- 云计算课程实验之安装Hadoop及配置伪分布式模式的Hadoop
一.实验目的 1. 掌握Linux虚拟机的安装方法. 2. 掌握Hadoop的伪分布式安装方法. 二.实验内容 (一)Linux基本操作命令 Linux常用基本命令包括: ls,cd,mkdir,rm ...
- Hadoop部署方式-伪分布式(Pseudo-Distributed Mode)
Hadoop部署方式-伪分布式(Pseudo-Distributed Mode) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.下载相应的jdk和Hadoop安装包 JDK:h ...
- 使用Docker搭建Hadoop集群(伪分布式与完全分布式)
之前用虚拟机搭建Hadoop集群(包括伪分布式和完全分布式:Hadoop之伪分布式安装),但是这样太消耗资源了,自学了Docker也来操练一把,用Docker来构建Hadoop集群,这里搭建的Hado ...
- Hadoop学习2—伪分布式环境搭建
一.准备虚拟环境 1. 虚拟环境网络设置 A.安装VMware软件并安装linux环境,本人安装的是CentOS B.安装好虚拟机后,打开网络和共享中心 -> 更改适配器设置 -> 右键V ...
- 避坑之Hadoop安装伪分布式(Hadoop3.2.0/Ubuntu14.04 64位)
一.安装JDK环境(这个可以网上随意搜一篇教程了照着弄,这里不赘述) 安装成功之后 输入 输入:java -version 显示如下说明jdk安装成功(我这里是安装JDK8) 二.安装Hadoop3. ...
- Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+)
一.本文思路 [1].配置java环境–JDK12(Hadoop的底层实现语言是java,hadoop运行需要JDK环境) [2].安装Hadoop 1.解压hadop 2.配置hadoop环境变量 ...
- CentOS7上安装伪分布式Hadoop
1.下载安装包 下载hadoop安装包 官网地址:https://hadoop.apache.org/releases.html 版本:建议使用hadoop-2.7.3.tar.gz 系统环境:Cen ...
随机推荐
- java错题集
解析:java中,JavaDoc注释以 /** 开头(中间写内容)以*/结尾 解析:A对象是类的实例,不是集合,其余正确 解析:创建一个对象的语法为: 类名 对象名=new 类名();,因此正确答案为 ...
- 云计算--网络原理与应用--20171122--STP与HSRP
简单了解STP 学习HSRP 实验 一. 简单学习STP STP(spanning tree protocol)生成树协议,就是把一个环形的结构改变成一个树形的结构.通过一些算法,在逻辑上阻塞一些端 ...
- 网络1711班 C语言第八次作业批改总结
网络1711班 C语言第七次作业批改总结 最近在忙一些琐事,没能及时批改大家的作业,连续两次作业总结也没有很用心写,在这要给大家say sorry. 1.本次作业评分细则 1.1 基本要求(1分) 按 ...
- PTA題目的處理(三)
题目7-1 高速公路超速處罰 1.實驗代碼 #include <stdio.h> //#include <stdlib.h> int main() { int csp,lsp; ...
- python控制流 If-else
控制流 If-else 我们处理现实生活中的问题时会做出决定,就像决定买哪种相机或者怎样更好的打篮球.同样我们写计算机程序的时候也要做相同的事情.我们通过 if-else 语句来做决定,我们使 ...
- 使用XIB实现嵌套自定义视图
在进行iOS开发的过程中,对于一些复杂的界面,我们可以通过Interface Builder这个Xcode集成的可视化界面编辑工具在完成,这回节省大部分时间以及代码量.它的使用方法这里不做介绍了,这次 ...
- 201421123042 《Java程序设计》第5周学习总结
1. 本周学习总结 1.1 写出你认为本周学习中比较重要的知识点关键词 接口 Comparable Arrays.sort -has a Lambda表达式 1.2尝试使用思维导图将这些关键词组织起来 ...
- Flask 学习 十三 应用编程接口
最近这些年,REST已经成为web services和APIs的标准架构,很多APP的架构基本上是使用RESTful的形式了. REST的六个特性: 客户端-服务器(Client-Server)服务器 ...
- jwt验证登录信息
为什么要告别session?有这样一个场景,系统的数据量达到千万级,需要几台服务器部署,当一个用户在其中一台服务器登录后,用session保存其登录信息,其他服务器怎么知道该用户登录了?(单点登录), ...
- OpenShift实战(一):OpenShift高级安装
1.1 服务器基本信息 本次安装采用一个master.5个node.3个etcd,node节点两块硬盘,60G磁盘用于docker storage,xxx改为自己的域名或主机名. 节点 功能 IP 内 ...