一、Hadoop搭建准备(centOs6.5  且每个系统都要有同一个用户,如:hadoop)

    1、IP的配置

包括Master和Slaves的IP配置,之间能够相互ping通;

 例如:

        192.168.1.2   Master

        192.168.1.3   Slave-1

        192.168.1.4   Slave-2

        192.168.1.5   Slave-3

其中每台机子配置IP的过程如下:

vi   /etc/sysconfig/network                                  //配置hostName

vi   /etc/sysconfig/network-script/ifcfg-eth0       //配置ip

 vi    /etc/hosts                   //配置hosts(所有集群的IP地址和对应的主机名称)

配置完成后,重启network    命令:service
network restart

测试是否能够ping通过

2、配置SSH

 1)首先,查看是否已经安装SSH

rmp -qa | grepopenssh

           rmp -qa |grep rsync

 2)若没有查询到结果,请按以下方式安装

yum -y installopenssh

            yum -y install rsync

3)重新启动服务:service
sshd restart 

        4)然后,配置Master无密码登录其它Slaves(以hadoop用户登录)

)ssh-keygen
–t rsa –P ''    //生成密钥对

         

)cat
~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

)chmod
600 authorized_keys

           

)用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。

RSAAuthentication yes #启用
RSA认证

               PubkeyAuthentication yes #启用公钥私钥配对认证方式

               AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径(和上面生成的文件同)

)设置完之后记得重启SSH服务,才能使刚才设置有效。

servicesshd restart

)使用下面的命令格式进行复制公钥: 
 

scp ~/.ssh/id_rsa.pub hadoop@192.168.1.3:~/

cat ~/id_rsa.pub >>~/.ssh/authorized_keys

                chmod 600~/.ssh/authorized_keys



)用root用户修改"/etc/ssh/sshd_config"

 3、配置Java环境(其它机子雷同)

)下载适合系统版本的Java

)解压到/usr/java 

) vim /etc/profile加入:

 #set java environment

               export JAVA_HOME=/usr/java/jdk1.6.0_31

               export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

               export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

  (4) 测试环境:java -version

二、Hadoop的安装

    1、下载对应版本的Hadoop(安装到的目录/usr/hadoop)

    2、hadoop目录设置权限(用户组和用户都是hadoop)

    

            chown -R hadoop:hadoop  hadoop

    3、设置hadoop 启动环境

          vim /etc/profile

              

               #set hadoop path

             export HADOOP_HOME=/usr/hadoop

             export PATH=$PATH :$HADOOP_HOME/bin

       

        source/etc/profile

    4、配置Hadoop

       (1)vim  /usr/hadoop/conf/hadoop-env.sh

               # set java environment

              exportJAVA_HOME=/usr/java/jdk1.6.0_31

       (2)vim  /usr/hadoop/conf/core-site.xml

                <property>

                      <name>fs.default.name</name>

</value>

             </property>

       (3)vim  /usr/hadoop/conf/hdfs-site.xml

               <property>

                   <name>dfs.replication</name>

</value>

台就会报错)

            </property>

       (4)vim /usr/hadoop/conf/mapred-site.xml

               <property>

                   <name>mapred.job.tracker</name>

</value>

            </property>

       (5)vim  /usr/hadoop/conf/master

               192.168.1.2(本机IP地址,是指当本机down机时,进行冷启动的备份机)

       (6)vim  /usr/hadoop/conf/slaves

                192.168.1.3

192.168.1.4

192.168.1.5

    5、配置到其它Slaves机子

)scp拷贝 

              scp -r /usr/hadoop root@目标Ip:~/usr/

)改变权限

              chown -R hadoop:hadoophadoop

)设置Hadoop运行环境

              vim /etc/profile(见二-3)

三、启动Hadoop集群(使用hadoop用户)

    1、格式化HDFS文件系统

       hadoop namenode -format

    2、启动hadoop

        start-all.sh

        ls /usr/hadoop/logs/       查看日志

、验证hadoop

) jps

        

) hadoop
dfsadmin -report

四、其它问题

    

    1、日志Error:getting localhost name
using 'localhost'

    

       查看是否配置好 /etc/hosts要和Master的配置一样



、日志Error:java.net.NoRouteToHostException:No
route

       查看防火墙是否关闭:service iptables status

       关闭防火墙:service iptables stop

       永远关闭:chkconfig --level 0123456 iptables off

Hadoop集群的安装与配置(centos 6.5)的更多相关文章

  1. 零基础配置Hadoop集群——Ambari安装及配置详解

    1. 准备工作 1.1. 系统环境 主机列表: IP地址 HostName 描述 192.168.610.153 ambari.server Ambari服务器 192.168.10.152  had ...

  2. Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!)

    Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!) 一.JDK的安装 安装位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安装在克隆三台机器的时候可以提前安装 ...

  3. Hadoop集群搭建安装过程(二)(图文详解---尽情点击!!!)

    Hadoop集群搭建安装过程(二)(配置SSH免密登录)(图文详解---尽情点击!!!) 一.配置ssh无密码访问 ®生成公钥密钥对 1.在每个节点上分别执行: ssh-keygen -t rsa(一 ...

  4. Ganglia监控Hadoop集群的安装部署[转]

    Ganglia监控Hadoop集群的安装部署 一. 安装环境 Ubuntu server 12.04 安装gmetad的机器:192.168.52.105 安装gmond的机 器:192.168.52 ...

  5. 沉淀,再出发——在Hadoop集群之上安装hbase

    在Hadoop集群之上安装hbase 一.安装准备 首先我们确保在ubuntu16.04上安装了以下的产品,java1.8及其以上,ssh,hadoop集群,其次,我们需要从hbase的官网上下载并安 ...

  6. Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装

    Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apac ...

  7. Dubbo入门到精通学习笔记(十五):Redis集群的安装(Redis3+CentOS)、Redis集群的高可用测试(含Jedis客户端的使用)、Redis集群的扩展测试

    文章目录 Redis集群的安装(Redis3+CentOS) 参考文档 Redis 集群介绍.特性.规范等(可看提供的参考文档+视频解说) Redis 集群的安装(Redis3.0.3 + CentO ...

  8. Dubbo入门到精通学习笔记(十四):ActiveMQ集群的安装、配置、高可用测试,ActiveMQ高可用+负载均衡集群的安装、配置、高可用测试

    文章目录 ActiveMQ 高可用集群安装.配置.高可用测试( ZooKeeper + LevelDB) ActiveMQ高可用+负载均衡集群的安装.配置.高可用测试 准备 正式开始 ActiveMQ ...

  9. ZooKeeper 集群的安装、配置---Dubbo 注册中心

    ZooKeeper 集群的安装.配置.高可用测试 Dubbo 注册中心集群 Zookeeper-3.4.6 Dubbo 建议使用 Zookeeper 作为服务的注册中心. Zookeeper 集群中只 ...

随机推荐

  1. MySql 数据库定时备份

    1.使用sqldump+任务计划 mysqldump备份成sql文件==============假想环境:MySQL   安装位置:C:\MySQL论坛数据库名称为:bbsMySQL root   密 ...

  2. codeforces 417D. Cunning Gena 状压dp

    题目链接 D. Cunning Gena time limit per test 1 second memory limit per test 256 megabytes input standard ...

  3. MVC-04 视图(3)

    五.Url辅助方法 Url辅助方法与HTML辅助方法很类似,HTML辅助方法用来产生HTML标签,而Url辅助方法则负责用来产生Url网址. @Url.Action("About" ...

  4. XML中SystemID和PublicID的区别

    http://hi.baidu.com/binboot007/item/1533f91d52113d7c7b5f259c http://supportweb.cs.bham.ac.uk/documen ...

  5. iOS开发UI 篇—CAlayer层的属性

    一.position和anchorPoint 1.简单介绍 CALayer有2个非常重要的属性:position和anchorPoint @property CGPoint position; 用来设 ...

  6. 'nmake' 不是内部或外部命令,VCVARS32.BAT路径问题

    'nmake' 不是内部或外部命令,VCVARS32.BAT路径问题 2014-5-24 VC运行不正确基本上都是路径的问题,今天在进行Openssl开发的环境搭建时,需要使用nmake进行源码和库的 ...

  7. Null指针

    C++ Null 指针 C++ 指针 C++ 指针 在变量声明的时候,如果没有确切的地址可以赋值,为指针变量赋一个 NULL 值是一个良好的编程习惯.赋为 NULL 值的指针被称为空指针. NULL ...

  8. 1724: [Usaco2006 Nov]Fence Repair 切割木板( 贪心 )

    倒过来看 , 每次总是选择最短的两块木板合并 , 用heap维护 ------------------------------------------------------------------- ...

  9. Linux命令压缩与解压缩

    zip格式的文件:zip和unzip zip 命令: # zip test.zip test.txt 它会将 test.txt 文件压缩为 test.zip ,当然也可以指定压缩包的目录,例如 /ro ...

  10. 建立dblink,clob

    建立dblink的方法, 如果有个测试库A,要访问生产库里的数据,那么可以直接在测试库A里建立一个dblink,然后数据库A就可以直接访问测试库B的数据了. -- 删除已有的dblink drop d ...