大数据之Linux服务器集群搭建
之前写过一篇关于Linux服务器系统的安装与网关的配置,那么现在我们要进一步的搭建多台Linux服务器集群。
关于单台服务器的系统搭建配置就不在赘述了,详情见https://www.cnblogs.com/sky9408251/p/12034904.html
那么好,现在我们来开始搭建多台Linux服务器集群。
首先第一步,准备环境,我们需要准备环境有三台硬盘空间大于40G 内存最好在4G或以上内存的电脑。之前说过如果是搭建在不同电脑上,那么我们需要用到的联网模式就是桥接模式,如果你没有那么多电脑,只有一台配置很高的电脑,那么建议你至少预留出120G的硬盘,和给每台机器分配至少4G的内存,为什么呢?有人会问,因为后续的Hadoop集群搭建以及各项辅助软件的部署搭建之后,如果你内存过低,那么运行一些任务调度时,你就知道什么叫做卡。
之前呢我们已经成功搭建出一台Linux服务器了,如果你在同一台电脑搭建三台,那么你就不用说每台服务器去逐步安装系统了,只需要在那台服务器关机的情况下复制那个系统部署生成出来的文件夹即可,重新命名为Hadoop02,Hadoop03。当然名字随你定
好了我们复制完系统文件夹之后呢,怎么去做呢。很简单,打开VMware左上方的文件--->打开-->选择刚刚复制的两个文件夹里的.vmx文件即可添加到你VMware中了。那么接下来就是给你新加的两台虚拟机分配内存即可。然后按照之前介绍的安装Linux服务器的方式修改IP和MAC地址。这里就不在一一截图表示了,不明白的去看看我之前发的文章就行了。
好了修改完IP和MAC地址后,我们配置三台机器的hosts文件让三台机器相互之间有某种不可告人的联系形成集群第一步三角恋。
接下来呢,我们就需要关闭三台服务器的防火墙和Selinux,因为是学习所以彻底关闭也没啥所谓。当然如果去工作中就不要这样做了,老老实实配置防火墙出入端口,我们这样是为了两个字方便,简单粗暴。
关闭防火墙命令很简单,service iptables stop 关闭完防火墙之后我们在坏事做的彻底点儿,彻底让它永不翻身,关闭开机自启。chkconfig iptables off 执行它防火墙就彻底跟你的这台服务器告别了。再次强调工作中在公司千万别这么搞,就算没出事人家知道了都会怀疑你的技术水平以及安全意识。
关闭防火墙了,我们再来关闭selinux,为什么要关闭这个selinux呢,这个selinux是什么东西呢,要说上面的防火墙,只要知道玩电脑的都听过,但是selinux我相信初学者对这个单词肯定是它不认识你你不认识它。
什么是selinux?selinux是Linux系统的安全子系统,我们知道Linux是一个文件系统,所以Linux的权限管理是针对文件的没有说针对进程的,也就是说如果root启动 某个进程,那么这个进程就可以操作任何一个文件。所以就有了selinux,它就是补足Linux对进程的毫无想法的缺陷。说白了就是一个对Linux内的进程权限管理的安全子系统。相信看到这里的大家应该能想到我们为什么要关闭它了。没错不让它碍事。因为我们如果不关闭它,那么我们学习当中,安装部署一些软件工具的时候会涉及到很多进程,如果我们要一个一个去对它们进行权限设置的话,那也未免太过于麻烦与费时,所以我们就一不做二不休直接关了它。
关闭selinux,第一步首先打开selinux的相关配置文件。指令:vim /etc/selinux/config
注释原本的SELINUX=enforcing,添加SELINUX=disabled。这样SELINUX安全子系统就彻底关闭了
接下来我们就让这三台服务器直接的三角恋变的更加亲密一些,让它们之间不分你我,我们在它们之间安装免密登录。为什么要这样做呢?其实大家想想就知道了如果以后在公司中的时候,服务器集群中的节点不止三个是十几个或者更多,那么我要执行一些指令或者安装部署一些东西的时候我还得一台一台的去登录,然后在执行相关操作,那也未免太过于繁杂。现在我们就有一种方法让我们能在其中任何一台机器上能随意登录其他节点的方式,就是SSH免密登录。
SSH免密登录它是基于一种什么原理来达到那种不需要密码就可以直接登录其他子节点的呢?
SSH免密登录的原理主要基于下面的五个步骤:
1. 需要先在 B节点 配置 A节点 的公钥
2. A节点 请求 B节点 要求登录
3. B节点 使用 A节点 的公钥, 加密一段随机文本
4. A节点 使用私钥解密, 并发回给 B节点
5. B节点 验证文本是否正确
相信很多朋友们看完都一脸懵B,那么我们就上图,图文解说相信会更直白些
好了解释完SSH免密登录的原理,那我们就来操作一波。首先在三台机器分别执行下面这台指令
ssh-keygen -t rsa
执行完该命令后,按三个回车,当你看到一串字符The key's randomart image is: 然后加上一个稀奇古怪的杂七杂八的字符拼接出来一个框框,那么你就生成成功了。
然后将三台机器生成的秘钥拷贝到你经常使用的一台机器。执行命令ssh-copy-id hadoop01 我这里是将三个秘钥拷贝到我的第一台机器上。然后复制这台机器的秘钥到其他机器上,执行指令 scp /root/.ssh/authorized_keys hadoop02:/root/.ssh scp /root/.ssh/authorized_keys hadoop03:/root/.ssh到此呢我们三台机器的SSH免密登录就好了,怎么校验我们是不是成功了呢,很简单 直接在你经常使用的那台机器 ssh hadoop02 回车 看到让你输入密码就等于成功了,那有人会问了,这不是还是要输入密码吗?其实不然,当你第一次输入完密码后,你输入exit 退出之后,你在输入刚刚输入的命令,你就会发现诶直接就登录到指定的机器了。这就是SSH免密登录的魅力。它只是第一次需要输入密码而已。
到此我们三台服务器可以说是亲密无间了,集群基本上是搭建好了,接下来呢我们就要做些锦上添花的事情了,比如说三台服务器的时间保持一致。很多人纳闷了难道我搭建的三台服务器时间不是一样的吗。是的不信你输入date指令进行验证,绝大多数人搭建完三台Linux服务器后三台服务器的时间都是不一样的。那么我们怎么样才能让三台服务器的时间保持一致呢,有人会说我去调呗,这个想法倒是没错,但是每次都自己手动去调那么也未免太过于麻烦,怎么样才能让我们三台服务器的时间自己就保持一致呢。有人肯定想到了,对了跟网络的时间保持一致,那么我三台服务器的时间不就一致了。是的,现在我们就来设置三台服务器的时间自动与网络时间同步。
首先第一步安装crontab定时服务组件。指令yum install -y ntp
安装完毕后启动定时同步服务。指令 crontab -e
然后大家会看到小黑窗什么也没有,知道vim编辑的同学肯定知道按i 进行输入配置信息。配置信息为:
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;
按ESC 然后:wq退出保存即可,三台机器都执行上诉操作,那么你三台机器的时间就自动与网络同步了,可能有人会问 这句配置指令是什么意思呢。
从1开始算 分别为minute hour day month week command时间单词就是表示执行间隔填*表示不设置,
第一个星表示分钟,取值为0-59 我们这里填1表示每分钟同步一次
第二个星表示小时,取值为0-23我们这是填*表示不设置,下面同意
第三个星表示天,取值为0-31
第四个星表示月,取值为0-12
第五个星表示星期,取值为0-7
后面的就是定时同步的命令,我们这里的命令是执行/usr/sbin/ntpdate 表示更新时间,后面的网址是阿里云的网络时间地址,所以我们就是定时从阿里云上定时获取网络时间更新到我们的服务器。
好了服务器集群搭建就写到这,这些步骤比较简单,只要不输错指令基本没什么难点。按照步骤一步一步来,很简单的。
大数据之Linux服务器集群搭建的更多相关文章
- 大数据学习——hadoop2.x集群搭建
1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### ...
- Linux服务器集群系统(一)--转
引用地址:http://www.linuxvirtualserver.org/zh/lvs1.html LVS项目介绍 章文嵩 (wensong@linux-vs.org)2002 年 3 月 本文介 ...
- Linux服务器集群系统(一)(转)
add by zhj:虽然是2002年的文章,但读来还是收益良多.在 章文嵩:谈LVS及阿里开源背后的精彩故事 中LVS发起人及主要贡献者谈了LVS的开发过程及阿里开源的一些故事 原文:http:// ...
- Linux服务器集群系统(LVS)
from:http://www.linuxvirtualserver.org/zh/lvs1.html#5 本文介绍了Linux服务器集群系统--LVS(Linux Virtual Server)项目 ...
- 浅析Linux服务器集群系统技术
浅析Linux服务器集群系统技术 目录 前言 常用的服务器集群 集群系统的优势 LVS集群的通用体系结构 为什么使用层次的体系结构 为什么是共享存储 可伸缩Web服务 前言 总结两篇技术文章,努力学习 ...
- Linux服务器集群系统(一)
Reference: http://www.linuxvirtualserver.org/zh/lvs1.html LVS项目介绍 章文嵩 (wensong@linux-vs.org)2002 年 3 ...
- 官方文档-Linux服务器集群系统(一)
转载-Linux服务器集群系统(一) LVS项目介绍 章文嵩 (wensong@linux-vs.org)2002 年 3 月 本文介绍了Linux服务器集群系统--LVS(Linux Virtual ...
- 转载-lvs官方文档-Linux服务器集群系统(二)
Linux服务器集群系统(二) LVS集群的体系结构 章文嵩 (wensong@linux-vs.org) 2002 年 4 月 本文主要介绍了LVS集群的体系结构.先给出LVS集群的通用体系结构,并 ...
- Nginx网络架构实战学习笔记(六):服务器集群搭建、集群性能测试
文章目录 服务器集群搭建 Nginx---->php-fpm之间的优化 302机器 202机器 压力测试 搭建memcached.mysql(数据准备) 今晚就动手-.- 集群性能测试 服务器集 ...
随机推荐
- servlet三大组件
servlet大致可以分为三个:简单servlet.过滤servlet.监听servlet servlet: servlet的创建 创建一个类并实现Servlet接口. 重写service方法. 在服 ...
- [LC]141题 Linked List Cycle (环形链表)(链表)
①中文题目 给定一个链表,判断链表中是否有环. 为了表示给定链表中的环,我们使用整数 pos 来表示链表尾连接到链表中的位置(索引从 0 开始). 如果 pos 是 -1,则在该链表中没有环. 示例 ...
- 理解Spark运行模式(一)(Yarn Client)
Spark运行模式有Local,STANDALONE,YARN,MESOS,KUBERNETES这5种,其中最为常见的是YARN运行模式,它又可分为Client模式和Cluster模式.这里以Spar ...
- 技术人如何利用 github+Jekyll ,搭建一个独立免费的技术博客
上次有人留言说,技术博客是程序员的标配,但据我所知绝大部分技术同学到现在仍然没有自己的技术博客.原因有很多,有的是懒的写,有的是怕写不好,还有的是一直想憋个大招,幻想做到完美再发出来,结果一直胎死腹中 ...
- 附009.Kubernetes永久存储之GlusterFS独立部署
一 前期准备 1.1 基础知识 Heketi提供了一个RESTful管理界面,可以用来管理GlusterFS卷的生命周期.Heketi会动态在集群内选择bricks构建所需的volumes,从而确保数 ...
- linux/CentOS的安装(萌新版)
一.CentOS的下载 1.官网下载网址:https://www.centos.org/ 2.下载具体步骤(2019年9月): 1.浏览器输入官方网址 2.点击网页的橙色按钮进入到下一界面 3.此时会 ...
- GeoServer 发布的图层预览不了
说明: 在用Geoserver发布Postgis发布的图层后,去LayerPreview中预览,但是选openlayers时,没有跳转到预览页面,而是弹出了下载WMS. 解决方案: 用KML方式预览时 ...
- Android官方提供的支持不同屏幕大小的全部方法(转)
转载请注明出处:http://blog.csdn.net/guolin_blog/article/details/8830286 原文地址为:http://developer.android.com/ ...
- 使用lib-flexible.js适配移动端UI设计750px设计图
最近在和设计沟通关于设计图尺寸大小和前端实际页面尺寸大小不一致的情况,我们的UI设计是使用的iPone6的,(iphone6: 375px*667px 实际像素:750px*1334px)如果 ...
- Elasticsearch系列---全面了解Document
概要 本篇主要介绍一下document的知识,对document的元数据和基本的语法进行讲解. document核心元数据 前面入门实战一节有简单介绍过document数据示例,这次我们来详细了解一下 ...