64bit Centos6.4搭建hadoop-2.5.1

1、分布式环境搭建

  採用4台安装Linux环境的机器来构建一个小规模的分布式集群。

当中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及传输数据。

2、集群机器具体信息

  2.1 hadoop版本号:

2.5.1

  2.2 masterserver

具体信息

机器名称

Hamster

IP

192.168.1.193

USER

hadoop

PASSWORD

****

  2.3 slave1server

具体信息

机器名称

slave1

IP

192.168.1.194

USER

hadoop

PASSWORD

****

  2.4 slave2server

具体信息

机器名称

slave2

IP

192.168.1.194

USER

hadoop

PASSWORD

****

  2.5 slave3server

具体信息

机器名称

slave3

IP

192.168.1.195

USER

hadoop

PASSWORD

****

3、SSH无password验证配置

Hadoop执行过程中须要管理远端Hadoop守护进程,在Hadoop启动以后,NameNode是通过SSH(Secure Shell)来启动和停止各个DataNode上的各种守护进程的。这就必须在节点之间执行指令的时候是不须要输入password的形式,故我们须要配置SSH运用 无password公钥认证的形式,这样NameNode使用SSH无password登录并启动DataName进程,相同原理,DataNode上也能使用SSH无password登录到 NameNode。

  3.1 安装和启动SSH协议

安装ssh和rsync

    yum install openssh.x86_64 openssh-clients.x86_64 安装SSH协议
yum install rsync (rsync是一个远程数据同步工具。可通过LAN/WAN高速同步多台主机间的文件)
service sshd restart 启动服务

  3.2 配置Master无password登录全部Salve

1)这条命是生成其无password密钥对,询问其保存路径时直接回车採用默认路径。生成的密钥对:id_rsa和id_rsa.pub。默认存储在"/home/hadoop/.ssh"文件夹下

    ssh-keygen -t rsa -P ''

2)接着在Master节点上做例如以下配置。把id_rsa.pub追加到授权的key里面去。

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3)改动权限

    chmod -R 700 .ssh
chmod 600 .authorized_keys

4)改动SSH配置文件"/etc/ssh/sshd_config"的下列内容

     RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)
service sshd restart

5)验证localhost能否够无password登录

     ssh localhost

6)配置slave无password登录。把公钥复制全部的Slave机器上

     scp ~/.ssh/id_rsa.pub hadoop@192.168.1.194:~/(将id_rsa.pub拷贝到slave机器上面)
mkdir ~/.ssh(创建.ssh)
chmod 700 ~/.ssh
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 660 ~/.ssh/authorized keys

7) 运行第4-5步骤

4、jdk的安装

配置全部机器jdk

下载jdk,减压到文件夹以下,配置jdk环境

    vi /etc/profile
#set java environment
export JAVA_HOME=/opt/jdk1.7.0_51/
export JRE_HOME=/opt/jdk1.7.0_51/jre
exportCLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
source /etc/profile

5、Hadoop集群安装

  全部的机器上都要安装hadoop,如今就先在Masterserver安装。然后其它server依照步骤反复进行就可以。安装和配置hadoop须要以"root"的身份进行。

  5.1 安装hadoop

下载hadoop-2.5.1.tar.gz

减压成/opt/hadoop

  5.2配置hadoop到环境变量中

    vi /etc/profile
# set hadoop path
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH :$HADOOP_HOME/bin
source /etc/profile

5.3 配置下面7个文件

~/opt/hadoop/etc/hadoop/hadoop-env.sh
~/opt/hadoop/etc/hadoop/yarn-env.sh
~/opt/hadoop/etc/hadoop/slaves
~/opt/hadoop/etc/hadoop/core-site.xml
~/opt/hadoop/etc/hadoop/hdfs-site.xml
~/opt/hadoop/etc/hadoop/mapred-site.xml
~/opt/hadoop/etc/hadoop/yarn-site.xml

以上个别文件默认不存在的,能够复制对应的template文件获得。

配置文件1:hadoop-env.sh

改动JAVA_HOME值(export JAVA_HOME=/opt/jdk1.7.0_51/)

配置文件2:yarn-env.sh

改动JAVA_HOME值(exportJAVA_HOME=/opt/jdk1.7.0_51/)

配置文件3:slaves (这个文件中面保存全部slave节点)

写入下面内容:
slave1
slave2
slave3

配置文件4:core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hmaster:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
</configuration>

配置文件5:hdfs-site.xml

<configuration>
<property>
<name>dfs.nameservices</name>
<value>hadoop-cluster1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hmaster:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///opt/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///opt/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>

配置文件6:mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>hmaster:50030</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hmaster:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hmaster:19888</value>
</property>
</configuration>

配置文件7:yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hmaster:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hmaster:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hmaster:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hmaster:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hmaster:8088</value>
</property>
</configuration>

5.4、拷贝到其它slave

scp -r /opt/hadoop root@slave1:/opt
scp -r /opt/hadoop root@slave2:/opt
scp -r /opt/hadoop root@slave3:/opt

5.5、启动验证

启动hadoop

进入安装文件夹: cd  /opt/hadoop

格式化namenode:./bin/hdfs namenode –format

启动hdfs: ./sbin/start-dfs.sh

使用jps查看,

此时在hmaster上面执行的进程有:namenode secondarynamenode

slave1/2/3上面执行的进程有:datanode

启动yarn: ./sbin/start-yarn.sh

使用jps查看,

此时在hmaster上面执行的进程有:namenode secondarynamenode resourcemanager

slave1/2/3上面执行的进程有:datanode nodemanager

查看集群状态:./bin/hdfs dfsadmin –report

查看文件块组成:  ./bin/hdfsfsck / -files -blocks

查看HDFS:    http://16.187.94.161:50070

查看RM:    http:// 16.187.94.161:8088

64bit Centos6.4搭建hadoop-2.5.1的更多相关文章

  1. Centos6.10搭建Hadoop三节点分布式

    (一)安装JDK 1. 下载JDK,解压到相应的路径 2.  修改 /etc/profile 文件(文本末尾添加),保存 sudo vi /etc/profile # 配置 JAVA_HOME exp ...

  2. 【Hadoop环境搭建】Centos6.8搭建hadoop伪分布模式

    阅读目录 ~/.ssh/authorized_keys 把公钥加到用于认证的公钥文件中,authorized_keys是用于认证的公钥文件 方式2: (未测试,应该可用) 基于空口令创建新的SSH密钥 ...

  3. centos6.5搭建hadoop单节点

    1.添加用户 groupadd  hadoop useradd -d /home/hadoop -m hadoop -g hadoop passwd hadoop    修改密码 付给用户sudo权限 ...

  4. centos6.5搭建hadoop完整教程

    https://blog.csdn.net/hanzl1/article/details/79040380 博客地址http://blog.csdn.net/pucao_cug/article/det ...

  5. 搭建Hadoop集群 (一)

    上面讲了如何搭建Hadoop的Standalone和Pseudo-Distributed Mode(搭建单节点Hadoop应用环境), 现在我们来搭建一个Fully-Distributed Mode的 ...

  6. 64bit Centos6.4编hadoop-2.5.1

    64bit Centos6.4编hadoop-2.5.1   1.说明 a)       因为从apache下载下来的tar.gz包是用32 bit编译的,全部假设用Linux 64作为hadoop的 ...

  7. 『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现

    『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现 1.基本设定和软件版本 主机名 ip 对应角色 mas ...

  8. 虚拟机搭建Hadoop集群

    安装包准备 操作系统:ubuntu-16.04.3-desktop-amd64.iso 软件包:VirtualBox 安装包:hadoop-3.0.0.tar.gz,jdk-8u161-linux-x ...

  9. 基于CentOS与VmwareStation10搭建hadoop环境

    基于CentOS与VmwareStation10搭建hadoop环境     目 录 1. 概述.... 1 1.1. 软件准备.... 1 1.2. 硬件准备.... 1 2. 安装与配置虚拟机.. ...

随机推荐

  1. python 5:str(某一变量)(将其他数字解释为字符串)

    age = messege = "Your's age is " + str(age) #将其他数字更改为字符串 print(messege) 运行结果应该是: Your's ag ...

  2. SQL Server跨库跨服务器访问实现

    我们经常会遇到一个数据库要访问另一个数据库,或者一台服务器要访问另一台服务器里面的数据库. 那么这个如何实现的呢? 相信看完这篇文章你就懂了! 同一台服务器跨库访问实现 1. 首先创建两个数据库Cro ...

  3. Android_传感器光学

    上一篇写了一个小案例方向传感器,与这光学传感器原理大致类似,但其实代码的主要区别得到的类型不一样在这里我一一列举出来: * Sensor.TYPE_ORIENTATION:方向传感器. * Senso ...

  4. oracle排序union和union all区别

    是这样的,表格中有几个属性,比如age吧是之一,age是字符类型的数字,select之间由union连接,此时是无法对前面的select语句进行order by的,也就是无法排序,无法达成我要的按ag ...

  5. 09--c++ 类的继承与派生

    c++ 类的继承与派生   一.基本概念 1.类的继承,是新的类从已有类那里得到已有的特性.或从已有类产生新类的过程就是类的派生.原有的类称为基类或父类,产生的新类称为派生类或子类.   2.派生类的 ...

  6. java源码

    Java泛型中的标记符含义: K - Key(键) V - Value(值) E - Element (在集合中使用,因为集合中存放的是元素) T - Type(Java 类,可做泛型) N - Nu ...

  7. Windows Server 2008 R2 搭建DNS服务器(转)

    Windows Server 2008 R2 搭建DNS服务器将本机IP设为首选DNS服务器的地址在dos 下分别输入 nslookup www.mydns.com 和 nslookup 192.16 ...

  8. 【转载】VMware完全卸载

    出现安装时出现vmwareworkstationxxx.msi failed问题是官方解决方案...真心详细. http://kb.vmware.com/selfservice/microsites/ ...

  9. 【剑指Offer】20、包含min函数的栈

      题目描述:   定义栈的数据结构,请在该类型中实现一个能够得到栈中所含最小元素的min函数(时间复杂度应为O(1)).   解题思路:   使用两个stack,一个为数据栈,另一个为辅助栈.数据栈 ...

  10. Shell 在手分析服务器日志不愁

    转自:https://wujunze.com/server_logs_analysis.jsp 自己的小网站跑在阿里云的ECS上面,偶尔也去分析分析自己网站服务器日志,看看网站的访问量.看看有没有骇客 ...