那玩大数据，想做个大数据的从业者，必须了解在生产环境下搭建集群哇？由于hadoop是apache上的开源项目，所以版本有些混乱，听说都在用Cloudera的cdh5来弄？后续研究这个吧，就算这样搭建不适合真实环境，也算是了解hadoop的一些基本东西了。

　　搭建之前要做一些前期的准备,如果买不起服务器那就装虚拟机吧，看了一种用最少的服务器模拟真是环境的搭建方式，需要四台，好吧，整四个虚拟机，事实证明我的坑爹电脑撑得住。

使用vm建立几台虚拟机，首先要知道自己处在什么样的网络环境下，其实直接用nat模式最好，互不受影响。开启nat模式，将自己的虚拟机的网络模式也设置为nat模式。

先配置一个，剩余的在vm中，右键虚拟机，管理中有一个clone，clone四分然后改了网卡配置就ok了。下面这个是我的网卡配置：

TYPE=Ethernet

BOOTPROTO=static

DEFROUTE=yes

PEERDNS=yes

PEERROUTES=yes

IPV4_FAILURE_FATAL=no

#IPV6INIT=yes

#IPV6_AUTOCONF=yes

#IPV6_DEFROUTE=yes

#IPV6_PEERDNS=yes

#IPV6_PEERROUTES=yes

#IPV6_FAILURE_FATAL=no

IPADDR=192.168.75.117

GATEWAY=192.168.75.2

NETMASK=255.255.255.0

DNS1=192.168.75.2

NAME=eno16777736

UUID=a393e22f-4bae-4ed2--f0247eeddddb

DEVICE=eno16777736

ONBOOT=yes

不知道别的怎么样，centos7在etc/resolv.conf配置了dns重启会失效，配置的注释中也说了，在网卡中以DNS1=x.x.x.x DNS2=x.x.x.x的形式配置就可以了，最主要的是网关和DNS都应该设置为NAT中分配的网关地址，不然你会连接不上外网的，据我猜测dns设置为网关地址就是把dns让路由给代理了。（修改dns不需要重启网卡，测试了确实如此~~）

还有最好开机默认启动脚本模式，不然卡哭了就，这个centos7配置的方式，之前修改什么init 3什么的也不行了：

ln -sf /lib/systemd/system/multi-user.target /etc/systemd/system/default.target

四台机器的内存配置要看你的电脑的情况了，给自己的windows留点....

接下该再复习一下ssh免密码登录啦~~~

hadoop分布式集群搭建前期准备（centos7）的更多相关文章

  1. Hadoop分布式集群搭建

    layout: "post" title: "Hadoop分布式集群搭建" date: "2017-08-17 10:23" catalog ...

  2. Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04

    前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很多问题.以下是自己根据搭建Hadoop分布式集群的经验希望给新手一些帮助.当然,建议先把HDFS ...

  3. Hadoop分布式集群搭建_1

    Hadoop是一个开源的分布式系统框架 一.集群准备 1. 三台虚拟机,操作系统Centos7,三台主机名分别为k1,k2,k3,NAT模式 2.节点分布 k1: NameNode DataNode ...

  4. hadoop分布式集群搭建（2.9.1）

    1.环境 操作系统:ubuntu16 jdk:1.8 hadoop:2.9.1 机器:3台,master:192.168.199.88,node1:192.168.199.89,node2:192.1 ...

  5. [过程记录]Centos7 下 Hadoop分布式集群搭建

    过程如下: 配置hosts vim /etc/hosts 格式: ip hostname ip hostname 设置免密登陆 首先:每台主机使用ssh命令连接其余主机 ssh 用户名@主机名 提示是 ...

  6. Centos 7下Hadoop分布式集群搭建

    一.关闭防火墙(直接用root用户) #关闭防火墙 sudo systemctl stop firewalld.service #关闭开机启动 sudo systemctl disable firew ...

  7. 使用Docker在本地搭建Hadoop分布式集群

    学习Hadoop集群环境搭建是Hadoop入门必经之路.搭建分布式集群通常有两个办法: 要么找多台机器来部署(常常找不到机器) 或者在本地开多个虚拟机(开销很大,对宿主机器性能要求高,光是安装多个虚拟 ...

  8. 分布式计算（一）Ubuntu搭建Hadoop分布式集群

    最近准备接触分布式计算,学习分布式计算的技术栈和架构知识.目前的分布式计算方式大致分为两种:离线计算和实时计算.在大数据全家桶中,离线计算的优秀工具当属Hadoop和Spark,而实时计算的杰出代表非 ...

  9. 大数据系列之Hadoop分布式集群部署

    本节目的:搭建Hadoop分布式集群环境 环境准备 LZ用OS X系统 ,安装两台Linux虚拟机,Linux系统用的是CentOS6.5:Master Ip:10.211.55.3 ,Slave ...

随机推荐

  1. 如何安装nginx第三方模块

    nginx文件非常小但是性能非常的高效,这方面完胜apache,nginx文件小的一个原因之一是nginx自带的功能相对较少,好在nginx允许第三方模块,第三方模块使得nginx越发的强大. 在安装 ...

  2. TCP/IP网络编程系列之二（初级）

    套接字类型与协议设置 我们先了解一下创建套接字的那个函数 int socket(int domain,int type,int protocol);成功时返回文件描述符,失败时返回-1.其中,doma ...

  3. js点击按钮触发事件的方法

    <!DOCTYPE html> <html> <body> <h1>My First Web Page</h1> <input id= ...

  4. kafka 常用命令

    Kafka 解压,进入kafka目录下的bin目录 启动zk nohup ./zookeeper-server-start.sh ../config/zookeeper.properties & ...

  5. 【学徒日记】Unity 动画调用事件

    http://note.youdao.com/noteshare?id=a15f965fc57a0b25c87ee09388cf0f4a 具体内容看上面的链接. 1. 在脚本里写一个函数,它的参数只能 ...

  6. canvas之画一条线段

    var canvas=document.getElementById("canvas"); //设置绘图环境 var cxt=canvas.getContext('2d'); // ...

  7. 构建：vue项目配置后端接口服务信息

    背景 vue-cli脚手架生成的webpack标准模板项目 HTTP库使用axios 一.开发环境跨域与API接口服务通信 整体思路: 开发环境API接口请求baseURL为本地http://loca ...

  8. python学习笔记（十一）：网络编程

    一.python操作网络,也就是打开一个网站,或者请求一个http接口,使用urllib模块. urllib模块是一个标准模块,直接import urllib即可,在python3里面只有urllib ...

  9. LCS（最长公共子序列）动规算法正确性证明

    今天在看代码源文件求diff的原理的时候看到了LCS算法.这个算法应该不陌生,动规的经典算法.具体算法做啥了我就不说了,不知道的可以直接看<算法导论>动态规划那一章.既然看到了就想回忆下, ...

  10. GetEnumName 枚举名称 字符串

    System.TypInfo.pas System.TypInfo.hpp http://docwiki.embarcadero.com/Libraries/Tokyo/en/System.TypIn ...