前言 环境困境: 1.开发人员无法登陆服务器 2.各系统都有日志,日志数据分散难以查找 3.日志数据量大,查询忙,不能实时 环境要求: 1.日志需要标准化   集群流程图:   角色:   软件: 以上软件都可以从官网下载:https://www.elastic.co/downloads或使用我共享网盘下载 ( 链接: https://pan.baidu.com/s/1hsw56tA 密码: w6ey )   部署步骤: 1.ES集群安装配置 2.rsyslog客户端配置 3.Kafka(zoo…

简介 Swarm:docker原生的集群管理工具,将一组docker主机作为一个虚拟的docker主机来管理. 对客户端而言,Swarm集群就像是另一台普通的docker主机. Swarm集群中的每台主机都运行着一个swarm节点代理,每个代理将该主机上的相关Docker守护进程注册到集群中.和节点代理相对应的是Swarm管理者,用于对集群进行管理. 运行Swarm的所有Docker节点必须运行着同一个版本的Docker. 基于zookeeper的Swarm集群搭建 1. 拉取Swarm镜像 d…

Zookeeper简介 Zookeeper是一个高效的分布式协调服务,可以提供配置信息管理.命名.分布式同步.集群管理.数据库切换等服务.它不适合用来存储大量信息,可以用来存储一些配置.发布与订阅等少量信息.Hadoop.Storm.消息中间件.RPC服务框架.分布式数据库同步系统,这些都是Zookeeper的应用场景. Zookeeper集群中节点个数一般为奇数个(>=3),若集群中Master挂掉,剩余节点个数在半数以上时,就可以推举新的主节点,继续对外提供服务. 客户端发起事务请求,事务请…

Zookeeper单机以及集群搭建教程 单机搭建 单机安装以及启动 安装zookeeper的前提是必须有java环境 # 选择目录进行下载安装 cd /app # 下载zk,可以去官方网站下载,自己上传 wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz # 解压zk tar -zxvf zookeeper-3.4.11.tar.gz # 设定软连接 ln -s zooke…

引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了... 整个的集群搭建是在公司的测试服务搭建的,在搭建的时候遇到各种各样的坑,当然也收获颇多.在成功搭建大数据集群之后,零零散散的做了写笔记,然后重新将这些笔记整理了下来.于是就有了本篇博文. 其实我在搭…

原文地址:https://www.cnblogs.com/hanzhi/articles/8794984.html 目录 引言 目录 一环境选择 1集群机器安装图 2配置说明 3下载地址 二集群的相关配置 1主机名更改以及主机和IP做相关映射 更改主机名 做主机和IP的关系映射 2ssh免登录 3防火墙关闭 4时间配置 5快捷键设置可选 6整体环境变量设置 二Hadoop的环境搭建 1JDK配置 2hadoop配置 21 文件准备 22 环境配置 23 修改配置文件 231 修改 core-si…

1.操作相关命令 1.0  安装命令     wget  :下载解压包 tar -xzvf  :解压 1.1  创建节点 create  / node : 创建一个名字为node的 空节点 create / node  data :创建一个名字为node ,包含数据data的节点 . create -e /node  data : 创建一个名字为node ,包含数据data的临时节点 . 1.2 删除节点 delete/path :删除名为/path的znode. 1.3 检查节点 xists/…

前提:已经在master01配置好hadoop:在各个slave节点配置好hadoop和zookeeper: (该文是将zookeeper配置在各slave节点上的,其实也可以配置在各master上,在哪配置就在哪启动zookeeper集群) 此文章基于上一篇文章:linux安装配置zookeeper-3.4.10 首先新增虚拟机master02:一.虚拟机中操作(启动网卡) sh /install/initNetwork.sh ifup eth0 二.基础配置(主机名.IP配置.防火墙及sel…

Zookeeper简介 Zookeeper是一个高效的分布式协调服务,可以提供配置信息管理.命名.分布式同步.集群管理.数据库切换等服务.它不适合用来存储大量信息,可以用来存储一些配置.发布与订阅等少量信息.Hadoop.Storm.消息中间件.RPC服务框架.分布式数据库同步系统,这些都是Zookeeper的应用场景. Zookeeper集群中节点个数一般为奇数个(>=3),若集群中Master挂掉,剩余节点个数在半数以上时,就可以推举新的主节点,继续对外提供服务. 客户端发起事务请求,事务请…

安装环境: jdk1.7 zookeeper-3.4.10.tar.gz VM虚拟机redhat6.5-x64:192.168.1.200  192.168.1.201  192.168.1.202 Xshell4 部署方案: 主机IP 集群通信端口 消息端口 节点目录 192.168.1.200 2888:3888 2181 /usr/local/zookeeper 192.168.1.201 2888:3888 2181 /usr/local/zookeeper 192.168.1.202…