不得不说LZ在最开始搭建hadoop的时候,由于VM中的网段配置和本地IP地址没有配置好,

所以一直都在使用 VM的共享文件夹的功能,

以至于集群搭建好之后,只有namenode主机可以实现共享的功能,

所以导入导出文件都是使用scp 命令来实现的,十分的麻烦。

这次搭建hadoop, 如果使用SSH来与集群中的各个节点进行直接通信的话,

会使得 导入导出 安装包,基于hadoop框架编写的程序,在于实体机与VM之间传输变得十分容易。

首先,以namenode为例来介绍一下,如何实现VM 的Linux 与实体机进行SSH通信的。

LZ使用的是学校的校园网络,IP是万年不变的,还与自己校园卡上的名称一一对应,

与LZ在家中使用的宽带连接的动态IP分配有很多的不同之处,所以配置起来也可能会有一定的特殊性。

1.首先要通过VM的,Virtual NetWork Editor来对 VM的网段进行设置一下,

这个工具可以创建多个虚拟的网络适配器,我们在这里面选择已经存在的VMnet0

VMnet0 的各个配置是这样的:

在这里之所以要对VMnet0进行设置,是因为LZ在创建基于VM的Linux的时候,选择的网络适配器

就是VMnet0,选择哪个适配器可以在VM->Settings->Network Adapter 里面查看到。

当然在虚拟机处于 running 状态或是 Suspend 状态的时候只能够查看,

只有在Shutdown的之后,才能够对VM 中的各个配置进行修改操作。

2.打开实体机的 命令提示符 窗口,输入 ifconfig 来查看实体机的IP地址。

LZ 主机IP地址假设为 125.66.66.46

以为想实现通过SSH 可以连接到 hadoop集群中的每一个结点,

所以,最好不要将 namenode的 IP地址设置为与实体机完全一致,

所以最好不要选用Host的方式,以免 每个node 的IP都和主机一致,

到时候通信起来会相当的混乱。

3.网络适配器和VM的网段选择一致以后,下面要对VM中的Linux主机IP地址进行修改了:

要持久的修改 Linux IP ,是要通过 修改文件来实现的:

vi  /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0
IPADDR=125.66.66.66 #IP Address set NETMASK=255.255.255.0 #Mask set NETWORK=125.66.66.66 #可以没有这个,网络地址 BROADCAST=125.66.66.66 # broadcast adderss set 可以不要 GATEWAY=125.66.66.1 #Gateway address BOOTPROTO = static #IP 地址是静态的方式被引导的 ; 而不是被自动分配的

在所有的网络配置完成之后,

都需要重新启动一下网络服务才好

service network restart

关闭防火墙

service iptables stop

为了以防万一,再重新启动一下SSH服务;

顺便再看一下 22 号端口是否开启

cd /etc/init.d/

./sshd restart

netstat -antl | grep 22

然后,可以先分别在 Linux 和 实体机两个 命令台上 分别 ping 一下对方

Ping 通过之后, 可以使用SSH进行联通一下了:

选择 Connect 之后,在输入密码的话,就可以实现登陆到Linux上面了。

然后,我们使用SSH的文件传输功能将,hadoop-0.20 的安装包传入到,Linux的文件夹下面吧,

选择你想要的文件,点击Add,选择好要传入到Linux下面的文件路径即可。

接下来,同样的方式,使得实体机可以与datanode们,可以通过ssh通信之后,

把hadoop-0.20 版本的压缩包 ,通过ssh文件传输功能,传到对应的路径下,

进行解压缩、配置路径、修改配置文档、修改ssh密钥等操作,就可以很快搭建好一个hadoop的集群了。

这些内容在后续的文章中在详细介绍。

其实,最主要的思路就是,将Virtual Network Editor 中的网段 使其中的 某个VMnet*选择为 Bridge 类型的,

并且是自动获取IP,然后在创建虚拟机选择网络适配器的时候,选择先前设置好的VMnet* ,并且也选择Bridge类型的,

使得Linux 中 记录IP地址 的配置文件 中的IPADDR 与主机的IP 在前三个字段保持一致,由于集群的特殊性,不能让实体机与VM的IP一致,或是选用Host 类型的网段选择。

随后,关闭防火墙,重新刷新一下网络、SSH。互相 Ping一下,就可以了。

hadoop-0.20-集群搭建___实体机通过SSH访问基于VM安装的Linux的更多相关文章

  1. hadoop高可用集群搭建小结

    hadoop高可用集群搭建小结1.Zookeeper集群搭建2.格式化Zookeeper集群 (注:在Zookeeper集群建立hadoop-ha,amenode的元数据)3.开启Journalmno ...

  2. Redis 5.0.5集群搭建

    Redis 5.0.5集群搭建 一.概述 Redis3.0版本之后支持Cluster. 1.1.redis cluster的现状 目前redis支持的cluster特性: 1):节点自动发现 2):s ...

  3. Hadoop2.0 HA集群搭建步骤

    上一次搭建的Hadoop是一个伪分布式的,这次我们做一个用于个人的Hadoop集群(希望对大家搭建集群有所帮助): 集群节点分配: Park01 Zookeeper NameNode (active) ...

  4. CDH 6.0.1 集群搭建 「Before install」

    从这一篇文章开始会有三篇文章依次介绍集群搭建 「Before install」 「Process」 「After install」 继上一篇使用 docker 部署单机 CDH 的文章,当我们使用 d ...

  5. java_redis3.0.3集群搭建

    redis3.0版本之后支持Cluster,具体介绍redis集群我就不多说,了解请看redis中文简介. 首先,直接访问redis.io官网,下载redis.tar.gz,现在版本3.0.3,我下面 ...

  6. hadoop伪分布式集群搭建与安装(ubuntu系统)

    1:Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip; 2:使用Xsheel软件远程链接自己的虚拟机,方便操作.输入自己ubuntu操作系统的账号密码之后就链 ...

  7. CDH 6.0.1 集群搭建 「After install」

    集群搭建完成之后其实还有很多配置工作要做,这里我列举一些我去做的一些. 首先是去把 zk 的角色重新分配一下,不知道是不是我在配置的时候遗漏了什么在启动之后就有报警说目前只能检查到一个节点.去将 zk ...

  8. redis3.0.3集群搭建

    redis3.0版本之后支持Cluster,具体介绍redis集群我就不多说,了解请看redis中文简介. 首先,直接访问redis.io官网,下载redis.tar.gz,现在版本3.0.3,我下面 ...

  9. ubuntu18.04 flink-1.9.0 Standalone集群搭建

    集群规划 Master JobManager Standby JobManager Task Manager Zookeeper flink01 √ √ flink02 √ √ flink03 √ √ ...

随机推荐

  1. Keil 程序调试窗口

    上一讲中我们学习了几种常用的程序调试方法,这一讲中将介绍Keil提供各种窗口如输出窗口.观察窗口.存储器窗口.反汇编窗口.串行窗口等的用途,以及这些窗口的使用方法,并通过实例介绍这些窗口在调试中的使用 ...

  2. Windows多桌面切换(CreateDesktop,SwitchDesktop函数)

    unit Unit1; interface uses Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms ...

  3. solrnet - document

      Overview and basic usage Mapping Initialization Create/Update/Delete Querying Faceting Highlightin ...

  4. Linux学习笔记22——线程属性(转)

    本文来自博客园:http://www.cnblogs.com/yc_sunniwell/archive/2010/06/24/1764204.html 一.线程属性线程具有属性,用pthread_at ...

  5. unity3d 制造自己的水体water effect(二)

    前篇:unity3d 制造自己的水体water effect(一) 曲面细分:Unity3d 使用DX11的曲面细分 PBR: 讲求基本算法 Unity3d 基于物理渲染Physically-Base ...

  6. OpenCV 中 IplImage、CvMat、Mat中的type是怎么回事?

    在使用opencv的过程中,无论使用原始的IplImage和CvMat类型,还是用最新C++版本的Mat类型,在创建和使用过程中,经常会遇到CV_8UC1.CV_8UC3.CV_32FC3等声明,我以 ...

  7. A Round Peg in a Ground Hole - POJ 1584 (判断凸多边形&判断点在多边形内&判断圆在多边形内)

    题目大意:首先给一个圆的半径和圆心,然后给一个多边形的所有点(多边形按照顺时针或者逆时针给的),求,这个多边形是否是凸多边形,如果是凸多边形在判断这个圆是否在这个凸多边形内.   分析:判断凸多边形可 ...

  8. Pipe - POJ 1039(线段相交交点)

    题目大意:有一个不反光并且不透光的管道,现在有一束光线从最左端进入,问能达到的最右端是多少,输出x坐标.   分析:刚开始做是直接枚举两个点然后和管道进行相交查询,不过这样做需要考虑的太多,细节不容易 ...

  9. 敏捷开发松结对编程系列:L型代码结构案例StatusFiltersDropdownList(中)

    这是松结对编程的第22篇(专栏目录). 接前文 业务代码 比较长,基本上就是看被注释隔开的三大段,先显示状态群筛选链接,然后是单个状态筛选,然后是显示下拉框的当前选中项,最后显示下拉框. public ...

  10. ng-select ng-options ng-repeat的用法与区别

    最近在用angularJS里的ng-select,ng-options,ng-repeat,发现有两点不太方便: 1.当数据复杂时,循环起来比较麻烦 2.首选项如果不设置,就会为空 整理一下它们的用法 ...