集群概念 计算机集群是一种计算机系统,通过一组松散继承的计算机软件或硬件连接连接起来高度紧密地协作完成计算工作. 集群系统中的单个计算机通常称为节点,通过局域网连接. 集群特点: 1.效率高,通过多态计算机完成同一个工作. 2.高容错,两台或多台机内容.工作过程等完全一样,宕机一台其他机器继续工作. Hadoop集群部署 搭建步骤 1.跟伪分布模式环境相同 更改主机名 设置Hosts 关闭防火墙 安装jdk 设置环境变量 设置SSH密钥登陆 2.安装配置Hadoop namenode配置: 配置…

趁着这几天刚好有点空,就来写一下redis的集群搭建,我跟大家先说明,本文的redis集群因为linux服务器只是阿里云一台服务器,所以集群是redis启动不同端口,但是也能达到集群的要求.其实不同服务器也相当于启动不同端口一样.所以,一起来看看效果吧. 一:下载redis安装包(我的是这个版本:5.0.14) https://redis.io/download 二:在目录 /usr/local 创建文件夹:redis_6379,redis_6380,redis_6381 我这里之所以这么命名,…

内容概要: CentSO_64bit集群搭建, hadoop2.2(64位)编译,安装,配置以及测试步骤 新版亮点: 基于yarn计算框架和高可用性DFS的第一个稳定版本. 注1:官网只提供32位release版本, 若机器为64位,需要手动编译. 注2:目前网上传的2.2版本的安装步骤几乎都有问题,没有一个版本是完全正确的.若不懂新框架内部机制,不要照抄网传的版本. 0. 编译前的准备 虚拟机vmware准备,64bit CentOS准备 节点ip cluster1 172.16.102. 2…

安装环境    jdk1.7 zookeeper-3.4.5(参考 https://www.cnblogs.com/cac2020/p/9426531.html) VM虚拟机redhat6.5-x64:192.168.1.200 192.168.1.201 192.168.1.202 kafka_2.10-0.9.0.1.tgz Xshell4 部署方案zookeeper三个节点 kafka三个节点 安装步骤:[三台机器同样操作 以200为例] 步骤一:解压安装文件kafka_2.10-0.9.…

        服务器集群就是指将很多服务器集中起来一起进行同一种服务,在客户端看来就像是只有一个服务器.集群可以利用多个计算机进行并行计算从而获得很高的计算速度,也可以用多个计算机做备份,从而使得任何一个机器坏了整个系统还是能正常运行. 集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能.可靠性.灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术.集群是一组相互独立的.通过高速网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理…

最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式处理,采用 flume 收集日志,发送到 kafka 队列做缓冲,storm 分布式实时框架进行消费处理,短期数据落地到 hbase.mongo中,长期数据进入 hadoop 中存储. 接下来打算将这其间所遇到的问题.学习到的知识记录整理下,作为备忘,作为分享,带给需要的人. hadoop 简介,也…

第一步:安装spark 将官网下载好的spark-2.0.0-bin-hadoop2.6.tgz上传到/usr/spark目录下.这里需注意的是spark和hadoop有对应版本关系 [root@spark1 spark]# chmod u+x spark-2.0.0-bin-hadoop2.6.tgz [root@spark1 spark]# tar -zxvf spark-2.0.0-bin-hadoop2.6.tgz [root@spark1 spark]# mv spark-2.0.0-…

一.本文目的        演示在一台机器上搭建3主3从的redis集群,通过演示了解redis集群的搭建,使用和注意事项     二.搭建说明        1.同一台机器搭建3主3从的伪集群        2.使用端口7111~7116,集群端口为端口前+1,如果使用端口7111,则其集群通信端口为17111,              redis.config的配置如下: daemonize port pidfile logfile cluster-enabled cluster-conf…

第一步:zookeeper安装 通过WinSCP软件将zookeeper-3.4.8.tar.gz软件传送到/usr/zookeeper/目录下 [root@spark1 zookeeper]# chmod u+x zookeeper-3.4.8.tar.gz #增加执行权限 [root@spark1 zookeeper]# tar -zxvf zookeeper-3.4.8.tar.gz # [root@spark1 zookeeper]# mv zookeeper-3.4.8 zk [roo…

前言 在前面的文章中,已经介绍如何在本地通过Docker Machine 创建虚拟Docker 主机,以及也可以在本地Windows 创建虚拟主机,也是可以使用的.这一节,我们将继续学习 Docker 三剑客之一 : Docker Swarm Docker Swarm Docker Swarm 是Docker 的本地聚集类,它将一组Docker 主机转换为一个虚拟单独的 Docker 主机.Docker Swarm 使用标准的Docker API.所以与Docker 守护进程交互的工具都可以使用…