Hadoop环境搭建(centos)

本平台密码83953588abc

配置Java环境

  • 下载JDK(本实验从/cgsrc 文件中复制到指定目录)
    mkdir /usr/local/java
cp /cgsrc/jdk-8u171-linux-x64.tar.gz /usr/local/java/

JDK至少1.8以上!!!

  • 解压JDK安装包
    cd /usr/local/java
tar -zxvf jdk-8u171-linux-x64.tar.gz
rm -f jdk-8u171-linux-x64.tar.gz
  • 添加环境变量

配置JAVA_HOME环境变量。修改文件vim ~/.bashrc

    export JAVA_HOME=/usr/local/java/jdk1.8.0_171
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar
export PATH=$PATH:${JAVA_HOME}/bin

如果PATH环境变量修改错误,则可能出现Linux常用命令无法找到的现象!!!

使修改环境生效,source ~/.bashrc.

检查是否设置正确.

    echo $JAVA_HOME   #检查变量值
java -version #查看java版本

配置分布式模式

选定一台机器作为名称节点(Master),另外两条作为数据节点(Slave)。

配置hosts文件

在Master上修改/etc/hosts文件:

使用命令vim /etc/hosts

    ip1  master
ip2 slave1
ip3 slave2

测试节点之间是否已经联通:

    ping master -c 3
ping slave1 -c 3
ping slave2 -c 3

配置SSH无密码登录

  • 必须要让master节点可以SSH无密码登录到各个节点上。首先,生成master节点的公匙,如果之前已经生成过公匙,必须删除原来的公匙,重新生成一次,命令如下:
    cd ~/.ssh  #如果没有该目录,先执行一次ssh localhost
rm -f ./id_rsa* #删除之前生成的公匙
ssh-keygen -t rsa #执行该命令后,遇到提示信息,均按Enter即可。
  • 为了让master节点能无密码SSH登录到本机,需要在mater节点上执行如下 cat ./id_rsa.pub >> ./authorized_keys.

    检测是否成功,ssh master ,遇到提示信息,yes即可, exit退出。

  • 把master上的公匙传输到slave节点:

    scp ~/.ssh/id_rsa.pub root@slave1:/root
scp ~/.ssh/id_rsa.pub root@slave1:/root

其中本次实验平台,要把slave1、slave2换成相应的IP。

  • 传输完成后在slave1和slave2节点上将SSH公匙加入授权:
    mkdir ~/.ssh
cat ~/id_rsa.pub >> ~/.ssh/authoried_keys
rm -f ~/id_rsa.pub

配置环境变量

  • 将Hadoop安装包复制到/usr/local目录上:

    cp /cgsrc/hadoop-2.7.1.tar.gz /usr/local/

  • 解压

    cd /usr/local
tar -zxvf hadoop-2.7.1.tar.gz
rm -f hadoop-2.7.1.tar.gz
mv hadoop-2.7.1/ hadoop #将hadoop-2.7.1重命名为hadoop
  • 配置环境变量

    • 打开~/.bashrc文件

      vim ~/.bashrc
    • 输入以下内容

      export PATH=$PATH:/usr/1ocal/hadoop/bin:/usr/1ocal/hadoop/sbin
    • 文件生效

      source ~/.bashrc
    • 查看hadoop版本

      hadoop version

配置集群环境

配置集群环境时,需要修改/usr/local/hadoop/etc/hadoop目录下的配置文件,这里仅设置正常启动必须的设置项,包括slaves、core-site.xml、hdfs

-site.xml、mapred-site.xml、yarn-site.xml共五个文件。

  • 修改文件slaves

    需要把所有数据节点的主机名写入该文件,每行一个,默认为localhost

    (即把本机作为数据节点)。在进行集群配置时,可以保留localhost,让master节点同时充当名称节点和数据节点,也可以删除localhost这行,让master节点仅作为名称节点使用。

    本节让master节点仅作为名称节点使用,因此将slaves文件中原来的内容删除,添加如下内容:

    slave1

    slave2
  • 修改文件core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/1ocal/hadoop/tmp</value>
</property>
</configuration>
  • 修改文件hdfs-site.xml

    对于Hadoop的分布式文件系统HDFS而言,一般是采用元余存储,冗余因子一般是3,也就是说一份数据保存3份副本。而我们只有两个数据节点,即数据只能保存两份,所以,dfs.replication设置为2,文件具体内容如下:
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/1ocal/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/1ocal/hadoop/tmp/dfs/date</value>
</property>
</configuration>
  • 修改文件mapred-site.xml

    /usr/local/hadoop/etc/hadoop 目录下有一个mapred-site.xml.template,需要复制该文件为mapred-site.xml:

    cp mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
  • 修改文件yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

配置slave节点

将master节点上的/usr/local/hadoop复制到slave节点上。

    cd /usr/local
rm -rf ./hadoop/tmp #删除临时文件
rm -rf ./hadoop/1ogs/* #删除日志文件
tar -zcf ~/hadoop.master.tar.gz. /hadoop #先压缩再复制
cd ~
scp ./hadoop.master.tar.gz root@slave1: /root
scp ./hadoop.master.tar.gz root@slave2: /root

在slave1和slave2上执行如下命令:

    rm -rf usr/local/hadoop #如果有旧文件则先删除
tar -zxf ~/hadoop.master.tar.gz -C /usr/1ocal
rm -f ~/hadoop.master.tar.gz

启动Hadoop集群

  • 首次启动Hadoop集群时,需要先在master节点执行名称节点的格式化:

    hdfs namenode-format
  • 现在可以启动Hadoop了,启动需要在master节点上进行,执行如下命令:
    start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

Hadoop环境搭建(centos)的更多相关文章

  1. hadoop环境搭建之关于NAT模式静态IP的设置 ---VMware12+CentOs7

    很久没有更新了,主要是没有时间,今天挤出时间验证了一下,果然还是有些问题的,不过已经解决了,就发上来吧. PS:小豆腐看仔细了哦~ 关于hadoop环境搭建,从单机模式,到伪分布式,再到完全分布式,我 ...

  2. 环境搭建-CentOS集群搭建

    环境搭建-CentOS集群搭建 写在前面 最近有许多小伙伴问我,大数据的hadoop分布式集群该如何去搭建.所以,想着,就写一篇博客,帮助到更多刚入门大数据的人.本博客会一步一步带你实现一个Hadoo ...

  3. 转 史上最详细的Hadoop环境搭建

    GitChat 作者:鸣宇淳 原文:史上最详细的Hadoop环境搭建 关注公众号:GitChat 技术杂谈,一本正经的讲技术 [不要错过文末活动哦] 前言 Hadoop在大数据技术体系中的地位至关重要 ...

  4. 【转】RHadoop实践系列之一:Hadoop环境搭建

    RHadoop实践系列之一:Hadoop环境搭建 RHadoop实践系列文章,包含了R语言与Hadoop结合进行海量数据分析.Hadoop主要用来存储海量数据,R语言完成MapReduce 算法,用来 ...

  5. eclipse工具下hadoop环境搭建

    eclipse工具下hadoop环境搭建:    window10操作系统中搭建eclipse64开发系统,配置hadoop的eclipse插件,让eclipse可以查看Hdfs中的文件内容.     ...

  6. 大数据学习之Hadoop环境搭建

    一.Hadoop的优势 1)高可靠性:因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理. 2)高扩展性:在集群间分配任务数据,可方便的 ...

  7. Hadoop环境搭建、启动和管理界面查看

    一.hadoop环境搭建: 1. hadoop 6个核心配置文件的作用:core-site.xml:核心配置文件,主要定义了我们文件访问的格式 hdfs://hadoop-env.sh:主要配置我们的 ...

  8. Ubuntu中Hadoop环境搭建

    Ubuntu中Hadoop环境搭建 JDK安装 方法一:通过命令行直接安装(不建议) 有两种java可以安装oracle-java8-installer以及openjdk (1)安装oracle-ja ...

  9. Linux集群搭建与Hadoop环境搭建

    今天是8月19日,距离开学还有15天,假期作业完成还是遥遥无期,看来开学之前的恶补是躲不过了 今天总结一下在Linux环境下安装Hadoop的过程,首先是对Linux环境的配置,设置主机名称,网络设置 ...

随机推荐

  1. [贪心]Codeforces Equal Rectangles

    Equal Rectangles time limit per test 2 seconds memory limit per test 256 megabytes input standard in ...

  2. 10行Python代码计算汽车数量

    当你还是个孩子坐车旅行的时候,你玩过数经过的汽车的数目的游戏吗? 在这篇文章中,我将教你如何使用10行Python代码构建自己的汽车计数程序. 以下是环境及相应的版本库: Python版本 3.6.9 ...

  3. TensorFlow官方发布剪枝优化工具:参数减少80%,精度几乎不变

    去年TensorFlow官方推出了模型优化工具,最多能将模型尺寸减小4倍,运行速度提高3倍. 最近现又有一款新工具加入模型优化"豪华套餐",这就是基于Keras的剪枝优化工具. 训 ...

  4. centos7环境下安装nginx

    安装所需环境 nginx是C语言开发,在Linux和windows环境上面都可以运行. 1.gcc安装 安装nginx需要将官网下载的代码进行编译,编译依赖gcc环境,如果没有gcc环境,需要先安装g ...

  5. CSS躬行记(2)——伪类和伪元素

    一.伪类选择器 伪选择器弥补了常规选择器的不足,能够实现一些特殊情况下的样式,例如在鼠标悬停时或只给字符串中的第一个字符指定样式.与类选择器类似,可以从HTML元素的class属性中查看到,但伪选择器 ...

  6. vue组件中的style scoped中遇到的问题

    在uve组件中我们我们经常需要给style添加scoped来使得当前样式只作用于当前组件的节点.添加scoped之后,实际上vue在背后做的工作是将当前组件的节点添加一个像data-v-1233这样唯 ...

  7. 使用Spring实例化Bean的方法以及Bean取别名

    一.通过构造方法实例化Bean bean中加构造方法 public class Bean1 { public Bean1() { System.out.println("Bean1构造方法. ...

  8. HashMap源码与相关面试题

    一.哈希表 哈希表是一种可以快速定位得数据结构.哈希表可以做到平均查找.插入.删除时间是O(1),当然这是指不发生Hash碰撞得情况.而哈希表最大得缺陷就是哈希值得碰撞(collision). Has ...

  9. ajax2.0之文件上传加跨域

    express_server.js const express=require('express'); //主体 const body=require('body-parser'); //接收普通PO ...

  10. 【php】面向对象(一)

    1. 学习面向对象的目标: a) 语法的学习: b) 编程思想的学习: i. 过程化: ii. 面向对象:2. 比较(有对象和没对象的区别) a) 没对象: i. 我饿了 自己做饭 ii. 我渴了 自 ...