Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。
使用VMW安装四台CentOS-7-x86_64-DVD-1804.iso虚拟机:
计划配置三台centos虚拟机:
master:192.168.0.120
slave1:192.168.0.121
slave2:192.168.0.122
slave3:192.168.0.123
资源分配情况:
每台虚拟机分配:内存2G,CPU核数1个,磁盘20G。
VMW配置及本地IPv4上网配置情况:
安装VMW,并设置其连接方式为桥接方式:


本地网络适配器除了“本地连接”外,其他都禁用:

本地连接的IPV4配置,这里采用的自适应方式:

本地ipconfig如下:

安装CentOS
安装CentOS时,采用上网方式选取“使用桥接网络”:

安装完后,确认是否采用“桥接”方式:


安装完后配置静态ip,dns及测试
1)备份/etc/sysconfig/network-scripts/ifcfg-ens333
cd /etc/sysconfig/network-scripts/
scp ifcfg-ens333 ifcfg-ens333.bak

2)修改vi /etc/sysconfig/network-scripts/ifcfg-ens333
TYPE=Ethernet
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=5cf46320-38f9-424c-b9cc-7e7f8a320c07 #每台服务器的该地址不同,请使用自己的虚拟机的UUID。
DEVICE=ens33
ONBOOT=yes
BOOTPROTO=static
DNS1=8.8.8.8
DNS2=114.114.114.114
IPADDR=192.168.0.120
PREFIX=
GATEWAY=192.168.0.1
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes

注意:图中圈中的配置信息是重点配置信息。
3)配置/etc/sysconfig/network:
# Created by anaconda
NETWORKING=yes
HOSTNAME=master
GATEWAY=192.168.0.1
slave节点,以slave1为例:
# Created by anaconda
NETWORKING=yes
HOSTNAME=slave1
GATEWAY=192.168.0.1
4)配置/etc/resolv.conf
# Generated by NetworkManager
nameserver 8.8.8.8
nameserver 114.114.114.114
注意:该信息也可以不配置,当重启网络后,会自动配置。
5)设置host名称
master(192.168.0.120)执行:
hostnamectl --static set-hostname master
hostnamectl status
slave1(192.168.0.121)执行:
hostnamectl --static set-hostname slave1
hostnamectl status
slave2(192.168.0.122)执行:
hostnamectl --static set-hostname slave2
hostnamectl status
slave3(192.168.0.123)执行:
hostnamectl --static set-hostname slave3
hostnamectl status
6)重启网络,测试:
[root@localhost network-scripts]# service network restart
Restarting network (via systemctl): [ OK ]
[root@localhost network-scripts]#
测试1:是否host名称修改成功
[spark@master ~]$ hostname
master
slave1,slave2,slave3依次验证。
测试2:是否可以连接本地
[root@localhost network-scripts]# ping 192.168.0.1
PING 192.168.0.1 (192.168.0.1) () bytes of data.
bytes from 192.168.0.1: icmp_seq= ttl= time=1.23 ms
bytes from 192.168.0.1: icmp_seq= ttl= time=1.13 ms
bytes from 192.168.0.1: icmp_seq= ttl= time=1.02 ms
测试3:是否可以连接其他虚拟机
[root@localhost network-scripts]# ping 192.168.0.121
PING 192.168.0.121 (192.168.0.121) () bytes of data.
bytes from 192.168.0.121: icmp_seq= ttl= time=0.860 ms
bytes from 192.168.0.121: icmp_seq= ttl= time=0.404 ms
测试4:是否可以上网,是否可以解析域名
[root@localhost network-scripts]# ping www.baidu.com
PING www.baidu.com (61.135.169.125) () bytes of data.
bytes from 61.135.169.125 (61.135.169.125): icmp_seq= ttl= time=2.92 ms
bytes from 61.135.169.125 (61.135.169.125): icmp_seq= ttl= time=4.46 ms
bytes from 61.135.169.125 (61.135.169.125): icmp_seq= ttl= time=3.98 ms
bytes from 61.135.169.125 (61.135.169.125): icmp_seq= ttl= time=2.83 ms
到此,所有服务器按照这么安装验证,经过上边三个测试验证就说明静态ip配置成功。
重启后,发现某一台服务器的不能的ifcfg-ens33配置的ip失效解决方案:《Centos7:Failed to start LSB: Bring up/down networking
》
Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。的更多相关文章
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十四)Structured Streaming:Encoder
一般情况下我们在使用Dataset<Row>进行groupByKey时,你会发现这个方法最后一个参数需要一个encoder,那么这些encoder如何定义呢? 一般数据类型 static ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十一)NIFI1.7.1安装
一.nifi基本配置 1. 修改各节点主机名,修改/etc/hosts文件内容. 192.168.0.120 master 192.168.0.121 slave1 192.168.0.122 sla ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十三)kafka+spark streaming打包好的程序提交时提示虚拟内存不足(Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical memory used; 2.2 GB of 2.1 G)
异常问题:Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical mem ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十二)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。
Centos7出现异常:Failed to start LSB: Bring up/down networking. 按照<Kafka:ZK+Kafka+Spark Streaming集群环境搭 ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十一)定制一个arvo格式文件发送到kafka的topic,通过Structured Streaming读取kafka的数据
将arvo格式数据发送到kafka的topic 第一步:定制avro schema: { "type": "record", "name": ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十)安装hadoop2.9.0搭建HA
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(九)安装kafka_2.11-1.1.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(八)安装zookeeper-3.4.12
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(三)安装spark2.2.1
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二)安装hadoop2.9.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
随机推荐
- Scrum:The Definition of Done —— 作业有没有写完呢?
Scrum:The Definition of Done -- 作业有没有写完呢?_苗得雨_新浪博客 http://blog.sina.com.cn/s/blog_59450ffc0102eiai.h ...
- Java 线程第三版 第四章 Thread Notification 读书笔记
一.等待与通知 public final void wait() throws InterruptedException 等待条件的发生. public final void wait(lo ...
- PGXZ-腾讯全功能分布式关系数据集群
PGXZ-腾讯全功能分布式关系数据集群
- OFbiz--简单介绍
一.简单介绍 OFBiz是一个很著名的电子商务平台,是一个很著名的开源项目,提供了创建基于最新J2EE/XML规范和技术标准,构建大中型企业级.跨平台.跨数据库.跨应用server的多层.分布式电子商 ...
- Embarcadero RAD Studio XE5
英巴卡迪诺 RAD Studio XE是终极应用程序开发套件,能以最快速方式为Windows.Mac OS X. .NET. PHP. Web和移动设备可视化开发数据丰富.界面美观的跨平台应用程序.R ...
- 基于设备树的TQ2440 DMA学习(2)—— 简单的DMA传输
作者 彭东林 pengdonglin137@163.com 平台 TQ2440 Linux-4.9 概述 上一篇博客分析了DMA控制器的寄存器,循序渐进,下面我们直接操作DMA控制器的寄存器实 ...
- ASP.NET Web API中实现版本的几种方式
在ASP.NET Web API中,当我们的API发生改变,就涉及到版本问题了.如何实现API的版本呢? 1.通过路由设置版本 最简单的一种方式是通过路由设置,不同的路由,不同的版本,不同的contr ...
- lodash用法系列(5),链式
Lodash用来操作对象和集合,比Underscore拥有更多的功能和更好的性能. 官网:https://lodash.com/引用:<script src="//cdnjs.clou ...
- 多用StringBuilder,少用字符串拼接
在C#中,在处理字符串拼接的时候,使用StringBuilder的效率会比硬拼接字符串高很多.到底有多高,如下: static void Main(string[] args) { string st ...
- log4j直接输出日志到flume
log4j.properties配置: log4j.rootLogger=INFOlog4j.category.com.besttone=INFO,flumelog4j.appender.flume ...