一、hadoop下载

apache所有的project都有自己的域名,可以通过apache官网下的project list去找,也可以直接定位project.apache.org,比如hadoop直接输入网址hadoop.apache.org就可以了

二、环境准备,三台集群机器(centos)

Master 192.168.0.101

Slave1 192.168.0.102

Slave2 192.168.0.103

centos网络设置

首先是虚拟机网络设置,使用net模式,可以保证连上外网

然后是centos的网络设置,注意网卡地址和一些网络单词

最后,修改主机名(防止免密码验证混肴)

vi /etc/sysconfig/netword 和 vi /etc/hosts

修改主机名

三、配置JDK

首先查看服务器是否存在已安装JDK,java -version,看到已装,请将openJDK卸载,安装自己的JDK

vi /etc/profile
export JAVA_HOME=${JAVA_HOME} ${JAVA_HOME} 是你配置jdk的地址,bin的上一层
export PATH=$JAVA_HOME/bin:path

四、克隆服务器

在服务器右键管理,进行克隆

克隆后,修改主机网卡

vi /etc/udev/rules.d/70-presistent-net.rules

将原来的PCI device下面name=“eth0”的网卡删除,将eth1修改为eth0,并记下ATTR(address)

vi /etc/sysconfig/network-script/ifcfg-eth0

修改ip和HWADDR(就是你记住的ATRR)

五、解压hadoop,配置环境变量(以下操作,都在主机)

vi /etc/profile
export HADOOP_HOME=${HADOOP_HOME} 同样这里是你hadoop的解压地址
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH

六、最关键一步,配置hadoop环境(官方文档:http://hadoop.apache.org/docs/r2.7.3/)

${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
export JAVA_HOME=${JAVA_HOME} 这里配置JDK位置
${HADOOP_HOME}/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>Master:9001</value>
<descript>配置主节点名和端口号</descript>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-2.7.3/name</value>
<descript>配置从节点名和端口号</descript>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
<descript>配置副本数</descript>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-2.7.3/data</value>
<descript>配置datanode的数据存储目录</descript>
</property>
${HADOOP_HOME}/etc/hadoop/core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
<descript>这里的值指的是默认的HDFS地址</descript>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
<descript>缓冲区大小:io.file.buffer.size默认是4KB</descript>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.3/tmp</value>
</property>
${HADOOP_HOME}/etc/hadoop/yarn-site.xml
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
<descript>resourcemanager的地址</descript>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
<descript>调度器的端口</descript>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
<descript>resource-tracker端口</descript>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
<descript>resourcemanager管理器端</descript>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
<descript>ResourceManager 的 Web 端口,监控 job 的资源调度</descript>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
${HADOOP_HOME}/etc/hadoop/mapred-site.xml
#hadoop对map-reduce运行框架一共提供了3种实现,在mapred-site.xml中通过"mapreduce.framework.name"这个属性来设置为"classic"、"yarn"或者"local"
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10200</value>
<descript>MapReduce JobHistory Server地址</descript>
</property>
<property>
<name>mapreduce..jobhistory.webapp.address</name>
<value>hadoop1:19888</value>
<descript>MapReduce JobHistory Server Web UI地址</descript>
</property>
${HADOOP_HOME}/etc/hadoop/slave
slave1
slave2

这是个人配置,建议还是自己去官网查看配置,可能会对你配置更进一步

七、免密码登录

ssh-keygen -t rsa  四个回车
ssh-copy-id master 对主机免密码
ssh-copy-id slave1
ssh-copy-id slave2
复制hadoop到从机相应地址
scp -r ${HADOOP} slave1:/${HADOOP}
scp -r ${HADOOP} slave2:/${HADOOP}

八、hadoop启动操作(在master执行)

hdfs namenode -format
start-all.sh

使用jps查看各服务器进程

Master:ResourceManager、jps、NameNode、SecondaryNameNode

Slave:jps、DataNode、NodeManager

九、访问

如果是照着步骤一步一步来的话,应该是可以到这最后一步了,

首先在虚拟机外的宿主机的hosts文件中加入Master地址

master:8088、master:50070 进行访问

centos6 hadoop2.7.3分布式搭建的更多相关文章

  1. hadoop2.7伪分布式搭建

    0.配置主机名 hostnamectl set-hostname spark1 1.上传hadoop-2.7.1.tar.gz文件并解压 tar -xvf hadoop-2.7.1.tar.gz 2. ...

  2. Docker中自动化搭建Hadoop2.6完全分布式集群

    这一节将在<Dockerfile完成Hadoop2.6的伪分布式搭建>的基础上搭建一个完全分布式的Hadoop集群. 1. 搭建集群中需要用到的文件 [root@centos-docker ...

  3. Centos7完全分布式搭建Hadoop2.7.3

    (一)软件准备 1,hadoop-2.7.3.tar.gz(包) 2,三台机器装有cetos7的机子 (二)安装步骤 1,给每台机子配相同的用户 进入root : su root ---------& ...

  4. hadoop2.8 集群 1 (伪分布式搭建)

    简介: 关于完整分布式请参考: hadoop2.8 ha 集群搭建   [七台机器的集群] Hadoop:(hadoop2.8) Hadoop是一个由Apache基金会所开发的分布式系统基础架构.用户 ...

  5. centos7搭建hadoop2.10完全分布式

    本篇介绍在centos7中大家hadoop2.10完全分布式,首先准备4台机器:1台nn(namenode);3台dn(datanode) IP hostname 进程 192.168.30.141 ...

  6. ubuntu + hadoop2.5.2分布式环境配置

    ubuntu + hadoop2.5.2分布式环境配置 我之前有详细写过hadoop-0.20.203.0rc1版本的环境搭建 hadoop学习笔记——环境搭建 http://www.cnblogs. ...

  7. 基于centos6.5 hbase 集群搭建

    注意本章内容是在上一篇文章“基于centos6.5 hadoop 集群搭建”基础上创建的 1.上传hbase安装包 hbase-0.96.2-hadoop2 我的目录存放在/usr/hadoop/hb ...

  8. Hadoop 完全分布式搭建

    搭建环境 https://www.cnblogs.com/YuanWeiBlogger/p/11456623.html 修改主机名------------------- 1./etc/hostname ...

  9. hadoop2集群环境搭建

    在查询了很多资料以后,发现国内外没有一篇关于hadoop2集群环境搭建的详细步骤的文章. 所以,我想把我知道的分享给大家,方便大家交流. 以下是本文的大纲: 1. 在windows7 下面安装虚拟机2 ...

随机推荐

  1. 【51Nod 1363】最小公倍数之和(欧拉函数)

    题面 传送门 题解 拿到式子的第一步就是推倒 \[ \begin{align} \sum_{i=1}^nlcm(n,i) &=\sum_{i=1}^n\frac{in}{\gcd(i,n)}\ ...

  2. 51nod1244 莫比乌斯函数之和(杜教筛)

    题面 传送门 题解 我--我忘记把预处理的块的大小调成\(n^{\frac{2}{3}}\)了--(仰天) 首先\(\mu*1=e\) 然后杜教筛就行了 //minamoto #include< ...

  3. Python之运算符以及基本数据类型的object

    一.运算符 1.算术运算符 % 求余运算 **   幂-返回x的y次幂 //   取整数-返回商的整数部分,例:9//2输出结果是4 2.比较运算符 == 等于 != 不等于 <> 不等于 ...

  4. 使用原生js来操作对象dom的class属性

    之前一直都使用jquery来操作dom,今天想自己用原生写一些插件,却发现给dom增删class的时候,使用slice来截取className特别的麻烦,后来发现,原来原生JS本来就有提供api来对d ...

  5. 安装 zookeeper

    https://www.w3cschool.cn/zookeeper/zookeeper_cli.html ZooKeeper是一种分布式协调服务,用于管理大型主机.在分布式环境中协调和管理服务是一个 ...

  6. VScode中Go的相关插件的安装

    一.安装Go插件失败 使用VScode时,当我们安装完go语言扩展时,新建一个go的源码文件,进行保存时,会提示我们需要安装一些go的扩展插件,可别小看这些插件,这些插件都是非常有用的,比如说自动补全 ...

  7. spring bean name生成规则

    现象: PVService PVServiceImpl ===>名称就是PVServiceImpl, 首字母没有小写 PageViewServiceImpl ==>名称是pageViewS ...

  8. Java升级替换java version "1.5.0"

    首先进行java安装 http://www.cnblogs.com/someone9/p/8670585.html 2. 然后查看版本信息,仍然是1.5.0 [root@OKC java]# java ...

  9. linux 文件 s 权限

    s权限的作用:表示对文件具用可执行权限的用户将使用文件拥有者的权限或文件拥有者所在组的权限在对文件进行执行. s权限的设置:4,用户拥有者的执行权限位, 6,用户组的执行权限位, 2, 两者都设置, ...

  10. my.变身卡

    中级 1620 (4--6级) 高级 8323 (7--9级) 赤炎: 1.老鼠精 135 / 150 2.白骨精 750 3.情丝娘子 264 / 294 4.沙和尚 500 5.九头虫 1835 ...