Hadoop集群搭建-05安装配置YARN

Hadoop集群搭建-04安装配置HDFS 

Hadoop集群搭建-03编译安装hadoop

Hadoop集群搭建-02安装配置Zookeeper

Hadoop集群搭建-01前期准备

hadoop的编译和安装是直接在一台机器上搞得,姑且nn1机器。

全程切换到root用户下操作

1.hadoop的一些资源在这里:https://www.lanzous.com/b849710/   密码:9vui

[hadoop@nn1 zk_op]$ su - root
[root@nn1 ~]# mkdir /tmp/hadoop_c
[root@nn1 ~]# cd /tmp/hadoop_c/
用xshell的rz命令上传源码包到上面的目录。
[root@nn1 hadoop_c]# tar -xzf /tmp/hadoop_c/hadoop-2.7.3-src.tar.gz -C /usr/local/

yum安装一下乱七八糟要用到的软件和插件

yum -y install svn ncurses-devel gcc* lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel bzip2

2.编译安装protobuf,谷歌的通信和存储协议,必须要用

[root@nn1 ~]# tar -zxf protobuf-2.5.0.tar.gz -C /usr/local/
[root@nn1 ~]# cd /usr/local/protobuf-2.5.0
进行编译安装
[root@nn1 protobuf-2.5.0]# ./configure
[root@nn1 protobuf-2.5.0]# make && make install
[root@nn1 protobuf-2.5.0]# protoc --version

3.解压安装ant

[root@nn1 hadoop_c]# tar -xf apache-ant-1.9.9-bin.tar.bz2 -C /usr/local/

4.解压安装findbugs

[root@nn1 hadoop_c]# tar -zxf apache-ant-1.9.9-bin.tar.bz2 -C /usr/local/

5.解压安装maven

因为咱的hadoop在后边是用maven编译的。

[root@nn1 hadoop_c]# tar -zxf apache-maven-3.3.9-bin.tar.gz -C /usr/local/

6.编译安装snappy,谷歌的压缩算法

[root@nn1 hadoop_c]# tar -xzf snappy-1.1.3.tar.gz -C /usr/local/
[root@nn1 hadoop_c]# cd /usr/local/snappy-1.1.3/
[root@nn1 snappy-1.1.3]# ./configure
[root@nn1 snappy-1.1.3]# make && make install

7.确保已经安装jdk8

8.在环境变量中添加hadoop编译所需的各种软件的变量

[root@nn1 snappy-1.1.3]# vim /etc/profile
#set Hadoop_compile
export MAVEN_HOME=/usr/local/apache-maven-3.3.9
export FINDBUGS_HOME=/usr/local/findbugs-3.0.1
export PROTOBUF_HOME=/usr/local/protobuf-2.5.0
export ANT_HOME=/usr/local/apache-ant-1.9.9
export PATH=$PATH:$MAVEN_HOME/bin:$FINDBUGS_HOME/bin:$ANT_HOME/bin
export MAVEN_OPTS="-Xmx2g -XX:MaxMetaspaceSize=512M -XX:ReservedCodeCacheSize=512m"
让环境变量生效:
[root@nn1 snappy-1.1.3]# source /etc/profile
查看maven版本
[root@nn1 snappy-1.1.3]# mvn -v
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00)
Maven home: /usr/local/apache-maven-3.3.9
Java version: 1.8.0_144, vendor: Oracle Corporation
Java home: /usr/java/jdk1.8.0_144/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-957.21.3.el7.x86_64", arch: "amd64", family: "unix"
[root@nn1 snappy-1.1.3]#

9.更改maven的settings.xml文件,更改仓库,配置本地仓库位置

[root@nn1 hadoop_c]# cd /usr/local/apache-maven-3.3.9/conf/
[root@nn1 conf]# cp settings.xml settings.xml.bak
[root@nn1 conf]# rm -rf settings.xml
[root@nn1 conf]# cp /tmp/hadoop_c/settings.xml settings.xml
可以直接用上边网盘里弄好的配置文件
主要修改了:
<!-- 本地仓库 -->
<localRepository>/data/maven/repositories</localRepository>
和远程仓库
<mirror>
<id>huaweicloud</id>
<mirrorOf>central</mirrorOf>
<url>https://repo.huaweicloud.com/repository/maven/</url>
</mirror>
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>central</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
<mirror>
<id>maven</id>
<name>MavenMirror</name>
<url>http://repo1.maven.org/maven2/</url>
<mirrorOf>central</mirrorOf>
</mirror>

把网盘里的maven离线仓库下载解压成如下路径/data/maven/repositories/各种jar包

下边开始用maven编译hadoop源码

[root@nn1 conf]# cd /usr/local/hadoop-2.7.3-src/
[root@nn1 hadoop-2.7.3-src]# nohup mvn clean package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib > /tmp/hadoop_log 2>&1 &

nohup命令用来让任务在后台运行,这里重定向输出到了日志文件,这里通过查看日志文件来监控安装进程。

[root@nn1 hadoop-2.7.3-src]# tail -f /tmp/hadoop_log

10.编译完成后就会在/usr/local/hadoop-2.7.3-src/hadoop-dist/target/下生成一个tar.gz的包,把这个包cp到我们的home,然后批量发送给其他4台机器。

[root@nn1 ~]# exit
登出
[hadoop@nn1 ~]$ cp /usr/local/hadoop-2.7.3-src/hadoop-dist/target/hadoop-2.7.3.tar.gz ~/
[hadoop@nn1 hadoop_base_op]$ ./scp_all.sh ../hadoop-2.7.3.tar.gz /tmp/

11.把5台机器的tar包批量解压到各自的/usr/local/下

[hadoop@nn1 hadoop_base_op]$ ./ssh_root.sh tar -zxf /tmp/hadoop-2.7.3.tar.gz -C /usr/local/
修改文件用户和权限
[hadoop@nn1 hadoop_base_op]$ ./ssh_all.sh chmod -R 770 /usr/local/hadoop-2.7.3
[hadoop@nn1 hadoop_base_op]$ ./ssh_root.sh ln -s /usr/local/hadoop-2.7.3 /usr/local/hadoop

这时候hadoop就安装结束了,检查一下是否正确安装

[hadoop@s1 ~]$ source /etc/profile
[hadoop@s1 ~]$ hadoop checknative
19/07/22 15:37:25 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
19/07/22 15:37:25 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop: true /usr/local/hadoop-2.7.3/lib/native/libhadoop.so.1.0.0
zlib: true /usr/lib64/libz.so.1
snappy: true /usr/local/hadoop-2.7.3/lib/native/libsnappy.so.1
lz4: true revision:99
bzip2: true /usr/lib64/libbz2.so.1
openssl: true /usr/lib64/libcrypto.so

如果提示hadoop是未知命令,那么就要查看环境变量是否正确配置,然后可以重新source一下环境变量。

Hadoop集群搭建-03编译安装hadoop的更多相关文章

  1. 3.Hadoop集群搭建之Zookeeper安装

    前期准备 下载Zookeeper 3.4.5 若无特殊说明,则以下操作均在master节点上进行 1. 解压Zookeeper #直接解压Zookeeper压缩包 tar -zxvf zookeepe ...

  2. Hadoop集群搭建-05安装配置YARN

    Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 先保证集群5台虚 ...

  3. Hadoop集群搭建-04安装配置HDFS

    Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...

  4. Hadoop集群搭建-02安装配置Zookeeper

    Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...

  5. Hadoop集群搭建-01前期准备

    Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...

  6. Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!)

    Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!) 一.JDK的安装 安装位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安装在克隆三台机器的时候可以提前安装 ...

  7. Hadoop集群搭建安装过程(二)(图文详解---尽情点击!!!)

    Hadoop集群搭建安装过程(二)(配置SSH免密登录)(图文详解---尽情点击!!!) 一.配置ssh无密码访问 ®生成公钥密钥对 1.在每个节点上分别执行: ssh-keygen -t rsa(一 ...

  8. Hadoop集群搭建安装过程(一)(图文详解---尽情点击!!!)

    Hadoop集群搭建(一)(上篇中讲到了Linux虚拟机的安装) 一.安装所需插件(以hadoop2.6.4为例,如果需要可以到官方网站进行下载:http://hadoop.apache.org) h ...

  9. Hadoop集群搭建

    配置IP,修改主机名,关闭防火墙,配置SSH免密码登录

随机推荐

  1. 第二章 Unicode简介

    /*------------------------------------------------------------- screensize.cpp -- Displays screen si ...

  2. python 输出三角形

    pattern = input("请输入你要选择的模式:") while True: if pattern == "A": row = eval(input(& ...

  3. MySQL认识索引

    什么是索引? 索引在MySQL中也叫是一种“键”,是存储引擎用于快速找到记录的一种数据结构.索引对于良好的性能非常关键,尤其是当表中的数据量越来越大时,索引对于性能的影响愈发重要.索引优化应该是对查询 ...

  4. OpenGL 开发环境配置:Visual Studio 2017 + GLFW + GLEW

    Step1:Visual Studio 2017 Why 开发环境,后面编译GLFW 和 GLEW也要用 How 这里使用的是Visual Studio 2017的 Community 版本,直接官网 ...

  5. LG2216 理想的正方形

    题意 有一个\(a \times b\)的整数组成的矩阵,现请你从中找出一个\(n \times n\)的正方形区域,使得该区域所有数中的最大值和最小值的差最小 思路 对于每一列,都用两个单调队列维护 ...

  6. HTML5调用本地摄像头画面,拍照,上传服务器

    实现功能和适用业务 采集本地摄像头获取摄像头画面,拍照保存,上传服务器: 前端上传图片处理,展示,缩小,裁剪,上传服务器 实现步骤 调取本地摄像头(getUserMedia)/上传图片,将图片/视频显 ...

  7. json常用的注解

    json注解: 1.@JsonIgnoreProperties: 此注解是类注解,作用是json序列化时将java bean中的一些属性忽略掉,序列化和反序列化都受影响. 写法将此标签加在model ...

  8. How to delete System Profiles for those registered with Red Hat Subscription Management (RHSM)?

    Environment Red Hat Customer Portal Certificate Based Subscription Red Hat Subscription Management ( ...

  9. Qt那点事儿(三) 论父对象与子对象的关系

    第三回 父与子 70后的道友都应该看过这么一部片子叫做<<父子情深>>.讲述的是一个小男孩患了绝症,父亲为了满足他的愿望,让已关门的游乐园为他们父子俩重新开放.在游乐园尽情地玩 ...

  10. MAC为Apache2服务器配置多个虚拟主机

    Mac 下自带的 Apache 配置 2016年01月25日 00:25:03 阅读数:1292 参考: http://www.cnblogs.com/snandy/archive/2012/11/1 ...