1、JDK的安装

2、配置hosts文件(这个也要拷贝给所有slave机,scp /etc/hosts root@slave1:/etc/hosts)
gedit /etc/hosts

添加:

122.205.135.211 master

122.205.135.212 slave1

122.205.135.213 slave2

3、SSH无密码登录(见另一章)
4、Hadoop的安装与配置
(1)下载Hadoop
  官网下载
(2)配置Hadoop
  1>修改hadoop-2.6.5/etc/hadoop/hadoop-env.sh,添加JDK支持:(注意这里必须用绝对路径,不能用${JAVA_HOME})

    export JAVA_HOME=/usr/jdk/jdk1.8.0_121

  2>修改hadoop-2.6.5/etc/hadoop/core-site.xml

  添加:

  <configuration>
  <property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop/hadoop-2.6.5/tmp</value>
  </property>
  <property>
  <name>fs.default.name</name>
  <value>hdfs://Master:9000</value>
  </property>
  </configuration>

  3>修改hadoop-2.6.5/etc/hadoop/hdfs-site.xml

  添加:
  <configuration>
  <property>
  <name>dfs.http.address</name>
  <value>Master:50070</value>
  </property>
  <property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>Master:50090</value>
  </property>
  <property>
  <name>dfs.replication</name>
  <value>2</value>
  </property>
  <property>
  <name>dfs.namenode.name.dir</name>
  <value>/usr/local/hadoop/hadoop-2.6.5/dfs/name</value>
  </property>
  <property>
  <name>dfs.datanode.data.dir</name>
  <value>/usr/local/hadoop/hadoop-2.6.5/dfs/data</value>
  </property>
  </configuration>

  4>修改hadoop-2.6.0/etc/hadoop/mapred-site.xml(原先文件名为mapred-site.xml.templete,将其改为现在文件名)

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

  5>修改hadoop-2.6.5/etc/hadoop/slaves 添加所有datanode的机器名

    slave1
    slave2

  6>将master结点上配置好的hadoop文件夹拷贝到所有的slave结点上

    以slave1为例:命令如下:

    scp -r  ~/hadoop-2.6.5 root@slave1:~(具体目录具体定)

  7>配置master上的profile文件
     gedit /etc/profile 
    添加:
#JAVA_HOME

JAVA_HOME=/usr/local/jdk/jdk1.8.0_121
JRE_HOME=JAVA_HOME/jre
CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin export PATH JAVA_HOME JRE_HOME CLASSPATH #HADOOP_HOME
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.5
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
#choice----
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export YARN_HOME=$HADOOP_HOME
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  8>将配置文件拷贝到所有的slave结点上

    以slave1为例:命令如下:

    scp /etc/profile root@slave1:/etc/profile

5.启动Hadoop

1>格式化HDFS文件系统的namenode

  (这里要进入hadoop-2.6.5目录来格式化):

  cd hadoop-2.6.5  //进入hadoop-2.6.5目录

  bin/hdfs namenode -format  //格式化(特别注意:这个只能格式化一次,否则会出很多问题)

2>启动Hadoop集群
  启动hdrs命令如下:

  sbin/start-dfs.sh //开启进程

  补充,关闭hdfs集群的命令如下:sbin/stop-dfs.sh(每次启动完必须关)

  开启yarn:sbin/start-yarn.sh

    补充:之后开启就直接用sbin/start-all.sh 来代替上面两个开启项,关闭用sbin/stop-all.sh

6.查看是否成功

  通过网页来看是否正常安装与配置,地址如下:http://master:50070/; http://master:8088;

Ubuntu Hadoop环境搭建(Hadoop2.6.5+jdk1.8.0_121)的更多相关文章

  1. ubuntu hadoop环境搭建

    安装Ubuntu系统:这个自行安装 下载jdk:我下的是1.8.0_141d的,下载好后在usr/lib下新建一个jvm的文件夹用来存放Java的文件,下载好的jdk可以在其他地方解压或者jvm里面解 ...

  2. Ubuntu中Hadoop环境搭建

    Ubuntu中Hadoop环境搭建 JDK安装 方法一:通过命令行直接安装(不建议) 有两种java可以安装oracle-java8-installer以及openjdk (1)安装oracle-ja ...

  3. 【转】RHadoop实践系列之一:Hadoop环境搭建

    RHadoop实践系列之一:Hadoop环境搭建 RHadoop实践系列文章,包含了R语言与Hadoop结合进行海量数据分析.Hadoop主要用来存储海量数据,R语言完成MapReduce 算法,用来 ...

  4. 大数据学习之Hadoop环境搭建

    一.Hadoop的优势 1)高可靠性:因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理. 2)高扩展性:在集群间分配任务数据,可方便的 ...

  5. Linux集群搭建与Hadoop环境搭建

    今天是8月19日,距离开学还有15天,假期作业完成还是遥遥无期,看来开学之前的恶补是躲不过了 今天总结一下在Linux环境下安装Hadoop的过程,首先是对Linux环境的配置,设置主机名称,网络设置 ...

  6. 转 史上最详细的Hadoop环境搭建

    GitChat 作者:鸣宇淳 原文:史上最详细的Hadoop环境搭建 关注公众号:GitChat 技术杂谈,一本正经的讲技术 [不要错过文末活动哦] 前言 Hadoop在大数据技术体系中的地位至关重要 ...

  7. Hadoop环境搭建(centos)

    Hadoop环境搭建(centos) 本平台密码83953588abc 配置Java环境 下载JDK(本实验从/cgsrc 文件中复制到指定目录) mkdir /usr/local/java cp / ...

  8. Hadoop环境搭建、启动和管理界面查看

    一.hadoop环境搭建: 1. hadoop 6个核心配置文件的作用:core-site.xml:核心配置文件,主要定义了我们文件访问的格式 hdfs://hadoop-env.sh:主要配置我们的 ...

  9. hadoop环境搭建之关于NAT模式静态IP的设置 ---VMware12+CentOs7

    很久没有更新了,主要是没有时间,今天挤出时间验证了一下,果然还是有些问题的,不过已经解决了,就发上来吧. PS:小豆腐看仔细了哦~ 关于hadoop环境搭建,从单机模式,到伪分布式,再到完全分布式,我 ...

随机推荐

  1. 通过PHP获取文件创建与修改时间

    1.获取文件创建时间示例: 1 2 $ctime=filectime("chinawinxp.txt"); echo "创建时间:".date("Y- ...

  2. 特权级概述(哥子就想知道CPU是如何验证特权级的)GATE+TSS

    [0]README text description from orange's implemention of a os . [1]特权级概述 当当前代码段试图访问一个段或者门时,目标段的DPL将会 ...

  3. PageHelper

    https://pagehelper.github.io/ Mybatis分页插件PageHelper简单使用 SpringBoot之分页PageHelper

  4. EasyPlayerPro Windows播放器本地快照抓拍截图功能实现方法

    背景描述 作为一个播放器,截图功能必不可少; 下面主要记录一下截图功能的实现: 实现流程 将解码后的帧进行格式转换(目标格式为RGB24); 采用独立的线程进行截图处理; 截图可保存为BMP或JPG两 ...

  5. iOS 流布局 UICollectionView使用(使用FlowLayout进行更灵活布局)

    在UICollectionView的布局中,如果每个item的大小都一样那么是十分简单的事情,但是,如果我们想要的每个item大小不一样呢,这个时候,就要对UICollectionViewFlowLa ...

  6. 基于 HTTP 协议的几种实时数据获取技术(转)

    HTTP协议 HTTP协议大家都很熟悉了,开始本文之前,首先简单回顾一下HTTP协议. HTTP协议是建立在TCP协议上的应用层协议,协议的本质是请求----应答: 即对于HTTP协议来说,服务端给一 ...

  7. C#winform的datagridview设置选中行

    this.dataGridView1.CurrentCell = this.dataGridView1[colIndex, rowIndex];this.dataGridView1.BindingCo ...

  8. NodeJs如何全局统一处理异常,实现RestFull风格

    当在controller中处理客户端发来的数据时,我们会去校验数据,当数据错误时,我们会给客户端返回一个信息,如: export function add (req, res, next) { con ...

  9. 用户态文件系统fuse学习【转】

    本文转载自:https://blog.csdn.net/ty_laurel/article/details/51685193 FUSE概述 FUSE(用户态文件系统)是一个实现在用户空间的文件系统框架 ...

  10. hibernate 一对多 级联 保存修改 删除

    一对多,一端设置: <set name="TWorkorderHistories" inverse="true" cascade="all&qu ...