前序：
首先准备三个虚拟机节点。
 配置hosts文件：每个节点都 如下配置：
vi /etc/hosts

1、 每个结点分别产生公私密钥

  1. ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
            
以上命令是产生公私密钥，产生目录在用户主目录下的.ssh目录中。
Id_dsa.pub为公钥，id_dsa为私钥，紧接着将公钥文件复制成authorized_keys文件，这个步骤是必须的，过程如下
  1. [root@master .ssh]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
 
单机回环ssh免密码登录测试
如果ssh localhost 返回 
 则用yum下载SSH ：
  1. yum -y install openssh-clients
 
以下信息表示操作成功，单点回环SSH登录及注销成功，这将为后续跨子结点SSH远程免密码登录作好准备。
 
2、其他节点也是如此操作即可。
3、让主结点(master)能通过SSH免密码登录两个子结点（slave）
     为了实现这个功能，两个slave结点的公钥文件中必须要包含主结点的公钥信息，这样

当master就可以顺利安全地访问这两个slave结点了。操作过程如下：

  1. [root@node1 ~]# scp root@master:~/.ssh/id_dsa.pub ./master_dsa.pub
  2. The authenticity of host 'master (30.96.76.220)' can't be established.
  3. RSA key fingerprint is ae:8c:7f:00:df:40:b8:ec:20:4b:53:78:98:46:8a:c5.
  4. Are you sure you want to continue connecting (yes/no)? yes
  5. Warning: Permanently added 'master,30.96.76.220' (RSA) to the list of known hosts.
  6. root@master's password:
  7. id_dsa.pub 100% 601 0.6KB/s 00:00
  8. [root@node1 .ssh]# cat master_dsa.pub >> authorized_keys
如上过程显示了node1结点通过scp命令远程登录master结点，并复制master的公钥文件到当前的目录下，这一过程需要密码验证。接着，将master结点的公钥文件追加至authorized_keys文件中，通过这步操作，如果不出问题，master结点就可以通过ssh远程免密码连接node1结点了。在master结点中操作如下：
  1. [root@master .ssh]# ssh node1
  2. The authenticity of host 'node1 (30.96.76.221)' can't be established.
  3. RSA key fingerprint is ae:8c:7f:00:df:40:b8:ec:20:4b:53:78:98:46:8a:c5.
  4. Are you sure you want to continue connecting (yes/no)? yes
  5. Warning: Permanently added 'node1,30.96.76.221' (RSA) to the list of known hosts.
  6. root@node1's password:
  7. Last login: Fri Sep 9 17:42:15 2016 from localhost
  8. [root@node1 ~]# ll
  9. 总用量 24
  10. -rw-------. 1 root root 1144 9月 9 18:11 anaconda-ks.cfg
  11. -rw-r--r--. 1 root root 13231 9月 9 18:10 install.log
  12. -rw-r--r--. 1 root root 3482 9月 9 18:09 install.log.syslog
  13. [root@node1 ~]# pwd
  14. /root
  15. [root@node1 ~]# exit
  16. logout
  17. Connection to node1 closed.
  18. [root@master .ssh]#
表面上看，这两个结点的ssh免密码登录已经配置成功，但是我们还需要对主结点master也要进行上面的同样工作，这一步有点让人困惑，但是这是有原因的，具体原因现在也说不太好，据说是真实物理结点时需要做这项工作，因为jobtracker有可能会分布在其它结点上，jobtracker有不存在master结点上的可能性。
  1. [root@master .ssh]# scp root@master:~/.ssh/id_dsa.pub ./master_dsa.pub
  2. The authenticity of host 'master (30.96.76.220)' can't be established.
  3. RSA key fingerprint is ae:8c:7f:00:df:40:b8:ec:20:4b:53:78:98:46:8a:c5.
  4. Are you sure you want to continue connecting (yes/no)? yes
  5. Warning: Permanently added 'master,30.96.76.220' (RSA) to the list of known hosts.
  6. id_dsa.pub 100% 601 0.6KB/s 00:00
  7. [root@master .ssh]# ssh master
  8. Last login: Fri Sep 9 17:42:39 2016 from localhost
  9. [root@master ~]# hostname
  10. master
  11. [root@master ~]# exit
  12. logout
  13. Connection to master closed.
下载JDK,hadoop安装包,并配置环境变量自行百度。
 
4、配置hadoop 文件：
     4.1、 Core-site.xml
  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  4. <!-- Put site-specific property overrides in this file. -->
  6. <configuration>
  7. <property>
  8. <name>fs.default.name</name>
  9. <value>hdfs://master:9000</value>
  10. <final>true></final>
  11. </property>
  12. <property>
  13. <name>hadoop.tmp.dir</name>
  14. <value>/urs/hadoop/tmp</value>
  15. <description>A base for other temporary directories</description>
  16. </property>
  17. </configuration>
  4.2、Hdfs-site.xml配置如下：
  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  4. <!-- Put site-specific property overrides in this file. -->
  6. <configuration>
  7. <property>
  8. <name>dfs.name.dir</name>
  9. <value>/usr/hadoop-1.2.1/name</value>
  10. <final>true</final>
  11. </property>
  12. <property>
  13. <name>dfs.data.dir</name>
  14. <value>/usr/hadoop-1.2.1/data</value>
  15. <final>true</final>
  16. </property>
  17. <property>
  18. <name>dfs.replication</name>
  19. <value>2</value>
  20. <final>true</final>
  21. </property>
  22. </configuration>
  4.3、mapred-site.xml:
  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  4. <!-- Put site-specific property overrides in this file. -->
  6. <configuration>
  7. <property>
  8. <name>mapred.job.tracker</name>
  9. <value>30.96.76.220:9001</value>
  10. </property>
  11. </configuration>
（注：如果后续访问 http://30.96.76.220:50070/ 失败。请关闭防火墙试一下。具体问题还是查看日志比较清楚。）
   4.4、hadoop-env.sh:
     export JAVA_HOME=/usr/jdk/jdk1.7.0_76
  4.5 、masters和slaves文件
       
       
 
注：复制hoodoop 向 node1,node2.
5、格式化namenode
  1. [root@master ~]# hadoop namenode -format
  2. 16/09/10 17:03:49 INFO namenode.NameNode: STARTUP_MSG:
  3. /************************************************************
  4. STARTUP_MSG: Starting NameNode
  5. STARTUP_MSG: host = master/30.96.76.220
  6. STARTUP_MSG: args = [-format]
  7. STARTUP_MSG: version = 1.2.1
  8. STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
  9. STARTUP_MSG: java = 1.7.0_76
  10. ************************************************************/
  11. 16/09/10 17:03:49 INFO util.GSet: Computing capacity for map BlocksMap
  12. 16/09/10 17:03:49 INFO util.GSet: VM type = 64-bit
  13. 16/09/10 17:03:49 INFO util.GSet: 2.0% max memory = 1013645312
  14. 16/09/10 17:03:49 INFO util.GSet: capacity = 2^21 = 2097152 entries
  15. 16/09/10 17:03:49 INFO util.GSet: recommended=2097152, actual=2097152
  16. 16/09/10 17:03:50 INFO namenode.FSNamesystem: fsOwner=root
  17. 16/09/10 17:03:50 INFO namenode.FSNamesystem: supergroup=supergroup
  18. 16/09/10 17:03:50 INFO namenode.FSNamesystem: isPermissionEnabled=true
  19. 16/09/10 17:03:50 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
  20. 16/09/10 17:03:50 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
  21. 16/09/10 17:03:50 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
  22. 16/09/10 17:03:50 INFO namenode.NameNode: Caching file names occuring more than 10 times
  23. 16/09/10 17:03:50 INFO common.Storage: Image file /usr/hadoop-1.2.1/name/current/fsimage of size 110 bytes saved in 0 seconds.
  24. 16/09/10 17:03:51 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/usr/hadoop-1.2.1/name/current/edits
  25. 16/09/10 17:03:51 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/usr/hadoop-1.2.1/name/current/edits
  26. 16/09/10 17:03:51 INFO common.Storage: Storage directory /usr/hadoop-1.2.1/name has been successfully formatted.
  27. 16/09/10 17:03:51 INFO namenode.NameNode: SHUTDOWN_MSG:
  28. /************************************************************
  29. SHUTDOWN_MSG: Shutting down NameNode at master/30.96.76.220
  30. ************************************************************/
注意：上面只要出现“successfully formatted”就表示成功了。
 6、启动hadoop

有这四项进程表示启动成功。

 
 表示node1.node2 启动成功
7、通过网站查看集群情况
     
   
   
 
 全部成功。周六没有白加班。
 
最后附上原文连接：
 
 

hadopp 环境搭建的更多相关文章

  1. 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)

    引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用 ...

  2. 大数据学习系列之六 ----- Hadoop+Spark环境搭建

    引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合 ...

  3. .NET Core系列 ： 1、.NET Core 环境搭建和命令行CLI入门

    2016年6月27日.NET Core & ASP.NET Core 1.0在Redhat峰会上正式发布,社区里涌现了很多文章,我也计划写个系列文章,原因是.NET Core的入门门槛相当高, ...

  4. Azure Service Fabric 开发环境搭建

    微服务体系结构是一种将服务器应用程序构建为一组小型服务的方法,每个服务都按自己的进程运行,并通过 HTTP 和 WebSocket 等协议相互通信.每个微服务都在特定的界定上下文(每服务)中实现特定的 ...

  5. rnandroid环境搭建

    react-native 环境搭建具体步骤这个大家已经玩烂了,这个主要是记录下来自己做win7系统遇到的坑 1.com.android.ddmlib.installexception 遇到这个问题,在 ...

  6. python开发环境搭建

    虽然网上有很多python开发环境搭建的文章,不过重复造轮子还是要的,记录一下过程,方便自己以后配置,也方便正在学习中的同事配置他们的环境. 1.准备好安装包 1)上python官网下载python运 ...

  7. springMVC初探--环境搭建和第一个HelloWorld简单项目

    注:此篇为学习springMVC时,做的笔记整理. MVC框架要做哪些事情? a,将url映射到java类,或者java类的方法上 b,封装用户提交的数据 c,处理请求->调用相关的业务处理—& ...

  8. 【定有惊喜】android程序员如何做自己的API接口？php与android的良好交互（附环境搭建），让前端数据动起来~

    一.写在前面 web开发有前端和后端之分,其实android还是有前端和后端之分.android开发就相当于手机app的前端,一般都是php+android或者jsp+android开发.androi ...

  9. Nexus（一）环境搭建

    昨天,成功搭建了自己的 Maven 环境(详见:Maven(一)环境搭建),今天就来研究和探讨下 Nexus 的搭建! 使用背景: 安装环境:Windows 10 -64位 JDK版本:1.7 Mav ...

随机推荐

  1. Mysql general_log 日志详解

    开启 general log  将所有到达MySQL Server的SQL语句记录下来. 一般不会开启开功能,因为log的量会非常庞大.但个别情况下可能会临时的开一会儿general log以供排障使 ...

  2. where in 的参数化查询实现

    身为一名小小的程序猿,在日常开发中不可以避免的要和where in和like打交道,在大多数情况下我们传的参数不多简单做下单引号.敏感字符转义之后就直接拼进了SQL,执行查询,搞定.若有一天你不可避免 ...

  3. Struts 简单UI标签

    <!-- 服务器标签 : 最终别解析为html标签--> <s:form action="/user_login" method="post" ...

  4. OpenID简介

    OpenID 是一个以用户为中心的数字身份识别框架,它具有开放.分散性.OpenID 的创建基于这样一个概念:我们可以通过 URI (又叫 URL 或网站地址)来认证一个网站的唯一身份,同理,我们也可 ...

  5. Hibernate5+Spring4整合

    (1) pom.xml <!--Spring Object/Relational Mapping --> <dependency> <groupId>org.spr ...

  6. MYSQL中重命名procedure的一种方法

    最近有用到对存储过程(procedure)重命名的功能,在网上找了一下资料都没有讲到在mysql中是如何实现的,当然可以删掉再重建,但是应该有别的方法,在"mysql"这个数据库( ...

  7. WIN10远程协助无法控制的解决方法

    这个问题比较常见小编整理的解决方法如下: 方法一:用QQ远程协助对方电脑,需要QQ告诉对方右键单击计算机(这台电脑)点管理打开计算机管理界面选择本地用户和组,再选择用户,右侧会出现所有的本地用户,包括 ...

  8. filter_var()函数

    我们使用 payload :?url=javascript://comment%250aalert(1) ,可以执行 alert 函数: 实际上,这里的 // 在JavaScript中表示单行注释,所 ...

  9. python 实现 灰色预测 GM(1,1)模型 灰色系统 预测 灰色预测公式推导

    来源公式推导连接 https://blog.csdn.net/qq_36387683/article/details/88554434 关键词:灰色预测 python 实现 灰色预测 GM(1,1)模 ...

  10. 菜鸟系列Fabric——Fabric 1.2 单机部署(2)

    Fabric 1.2单机部署 https://hyperledger-fabric.readthedocs.io/en/release-1.2/whatis.html 创建目录 sudo mkdir ...