参考文档:http://blog.csdn.net/xiaoxiangzi222/article/details/52757168

https://waylau.com/centos-7-installation-and-configuration/

采用虚拟机搭建;

工具:centos7 ,jdk1.7 ,hadoop2.8;

  1. 安装虚拟机,创建centos7后,注意下手动修改下网络设置;  

1.1 这里主要是通过查看【虚拟机】--》【虚拟网络编辑器】--》查看虚拟机的【网关ip】-->设置虚拟网卡【VMware Network Adapter VMnet8】的协议4 --》设置centos7的有线连接(改成手动的自己给定的ip)--》宿主机ping下虚拟机中的ip,有返回的包表示网络通了

1.2 图解

    OK了,可以进行下一步操作了;

  2.关闭防火墙

    centos7 默认加载的是 firewall

    2.1 查看防火墙

      firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)

    2.2 关闭防火墙

      systemctl stop firewalld.service #停止firewall
      systemctl disable firewalld.service #禁止firewall开机启动

  3. 开启ssh服务;

    3.1 ssh 是否安装 : rpm -qa | grep ssh

    3.2  查看ssh 是否开启: ps -e | grep ssh

    3.3 重启ssh :service sshd restart

     3.4 设置ssh开机自启:chkconfig sshd on

      3.5 本地连接 服务器,将jdk等需要用的软件上传到Linux上,这里本地选用什么软件上传ssh,自选;

  4.卸载centos7自带的jdk,重新安装jdk ;

4.1 查看安装的jdk: rpm -qa|grep jdk

4.2 然后卸载 : yum -y remove java-1.*

   卸载方法2 : rpm -e --nodeps  jdk相关

#rpm -e  --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.i686

#rpm -qa |grep java

#rpm -qa |grep jdk

#rpm -qa |grep gcj

4.3.安装并配置jdk;

在/etc/profile文件中加入: 
  # vi /etc/profile   

export JAVA_HOME=/usr/java/jdk1.7.0_76

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile

5.修改虚拟机的hostname和设置DNS解析;

  5.1 查看 hostname : hostname    
  5.2 修改 : [root@localhost ~]# hostnamectl set-hostname master
           [root@localhost ~]# hostnamectl set-hostname node1
           [root@localhost ~]# hostnamectl set-hostname node2
  因为 hadoop 集群之间通过主机名互相访问,所以必须设置 dns 解析
  5.3 修改hosts指令:在文本最后追加一行
   gedit /etc/hosts
  192.168.49.100    master
  192.168.49.101 node1
  192.168.49.102 node2  5.4 检验各个主机之间能否连通  
  ping mater
  ping node1
  ping node2

6.配置SSH,实现节点间的无密码登录

6.1 ssh localhost

出现以下界面说明安装成功;

  

  6.2 生成密钥Pair

    ssh-keygen -t rsa

输入之后一直选择enter即可。生成的秘钥位于 ~/.ssh文件夹下。可用cd 命令进入查看。

注意该文件夹是以“.”开头的,是隐藏文件

6.3 在master上,导入authorized_keys

    [root@master .ssh]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  6.4 远程无密码登录(把master上的authorized_keys拷贝到其他主机的相应目录下)

#进入master的.ssh目录,执行复制操作

scp authorized_keys root@node1:~/.ssh/

scp authorized_keys root@node2:~/.ssh/

如果不是root用户的话,修改各台主机上authorized_keys文件的权限:
所有机器上,均执行命令:

chmod 600 .ssh/authorized_keys

完成之后,在master上执行下面操作,检查免密码登录是否成功。

未完,等下更新

centos7 搭建hadoop的更多相关文章

  1. 初学Hadoop:利用VMWare+CentOS7搭建Hadoop集群

     一.前言 开始学习数据处理相关的知识了,第一步是搭建一个Hadoop集群.搭建一个分布式集群需要多台电脑,在此我选择采用VMWare+CentOS7搭建一个三台虚拟机组成的Hadoop集群. 注:1 ...

  2. CentOS7搭建 Hadoop + HBase + Zookeeper集群

    摘要: 本文主要介绍搭建Hadoop.HBase.Zookeeper集群环境的搭建 一.基础环境准备 1.下载安装包(均使用当前最新的稳定版本,截止至2017年05月24日) 1)jdk-8u131 ...

  3. centOS7搭建hadoop,zookeeper,hbase

    1.配置ssh免密登录 (本人使用的是centOS7虚拟机) (本人未在root用户下安装,建议使用root用户,不然很麻烦!!) ① 本机无密钥登录 1.进入~/.ssh目录(若无,则执行一次ssh ...

  4. Centos7搭建hadoop完全分布式

    虽然说是完全分布式,但三个节点也都是在一台机器上.拿来练手也只能这样咯,将就下.效果是一样滴.这个我自己都忘了步骤,一起来回顾下吧. 必备知识: Linux基本命令 vim基本命令 准备软件: VMw ...

  5. 搭建Hadoop完全分布式

    Centos7搭建hadoop完全分布式 虽然说是完全分布式,但三个节点也都是在一台机器上.拿来练手也只能这样咯,将就下.效果是一样滴.这个我自己都忘了步骤,一起来回顾下吧. 必备知识: Linux基 ...

  6. CentOS7下Hadoop伪分布式环境搭建

    CentOS7下Hadoop伪分布式环境搭建 前期准备 1.配置hostname(可选,了解) 在CentOS中,有三种定义的主机名:静态的(static),瞬态的(transient),和灵活的(p ...

  7. 大数据Hadoop学习之搭建hadoop平台(2.2)

    关于大数据,一看就懂,一懂就懵. 一.概述 本文介绍如何搭建hadoop分布式集群环境,前面文章已经介绍了如何搭建hadoop单机环境和伪分布式环境,如需要,请参看:大数据Hadoop学习之搭建had ...

  8. Centos7中hadoop配置

    Centos7中hadoop配置 1.下载centos7安装教程: http://jingyan.baidu.com/article/a3aad71aa180e7b1fa009676.html (注意 ...

  9. Linux上搭建Hadoop集群

    本文将为初学者的搭建简单的伪分布式集群,将搭建一台虚拟机,用于学习Hadoop 工具:vm虚拟机,centOS7,jdk-8,Hadoop2.7,xftp,xshell 用户:在虚拟机中创建一个had ...

随机推荐

  1. WPF中在后台实现控件样式

    加入现在有一个Button的样式如下: <Style TargetType="{x:Type Button}" x:Key="MyButton">. ...

  2. 如何解决webpack中css背景图片的绝对地址

    在项目开发中,一般写相对路径是没有问题的,但是在项目比较大的情况下,我的scss文件可能为了方便管理,会放在不同的文件夹下,有的可能又不需要放在文件夹下,比如我的scss文件结构如下: module ...

  3. 人脸识别中的检测(在Opencv中加入了QT)

    #include <opencv2/highgui/highgui.hpp> #include <opencv2/imgproc/imgproc.hpp> #include & ...

  4. LeetCode 岛屿的最大面积

    给定一个包含了一些 0 和 1的非空二维数组 grid , 一个 岛屿 是由四个方向 (水平或垂直) 的 1 (代表土地) 构成的组合.你可以假设二维矩阵的四个边缘都被水包围着. 找到给定的二维数组中 ...

  5. MySQL-简要说明

    分类 安装发展顺序分为: 网状型数据库 层次型数据库 关系型数据库 面向对象数据库 主流:关系型数据库 关系型数据库 事务transaction: 多个操作被当作一个整体对待 • ACID:     ...

  6. Python之路-迭代器 生成器 推导式

    迭代器 可迭代对象 遵守可迭代协议的就是可迭代对象,例如:字符串,list dic tuple set都是可迭代对象 或者说,能被for循环的都是可迭代对象 或者说,具有对象.__iter__方法的都 ...

  7. python爬虫入门四:BeautifulSoup库(转)

    正则表达式可以从html代码中提取我们想要的数据信息,它比较繁琐复杂,编写的时候效率不高,但我们又最好是能够学会使用正则表达式. 我在网络上发现了一篇关于写得很好的教程,如果需要使用正则表达式的话,参 ...

  8. shell中的$(( )) 的用途:主要用在整数的运算$(( a+b*c ))

    $ a=5; b=7; c=2 $ echo $(( a+b*c ))//注意在进行这些运算时必须是双括号 $ echo $(( (a+b)/c )) $ echo $(( (a*b)%c))

  9. c++ heap学习

    heap并不属于STL容器组件,它分为 max heap 和min heap,在缺省情况下,max-heap是优先队列(priority queue)的底层实现机制. 而这个实现机制中的max-hea ...

  10. Java设计模式学习三-----工厂模式

    工厂模式 工厂模式(Factory Pattern)是Java中最常用的设计模式之一.这种类型的设计模式属于创建型模式,它提供了一种创建对象的最佳方式. 在工厂模式中,创建对象时不会对客户端暴露创建逻 ...