1. 准备 两台虚拟机,IP分别为: 192.168.1.104 192.168.1.105 保证能互相 ping 通 2. 修改虚拟机的 host,分别任 c1.c2 在 192.168.1.105 中,设置其 host 为 c1: hostnamectl --static set-hostname c1 查看: hostnamectl status 在 192.168.1.104 中,设置其 host 为 c2: hostnamectl --static set-hostname c2 查看…

好了,本篇开始部署kafka集群 Zookeeper集群搭建 注:Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群(也可以用kafka自带的ZK,但不推荐) 1.软件环境 (3台服务器) 10.0.20.131 10.0.20.132 10.0.20.133 1.Linux服务器一台.三台.五台.(2*n+1),Zookeeper集群的工作是超过半数才能对外提供服务,3台中超过两台超过半数,允许1台挂掉 ,是否可以用偶数,其实没必要. 如果有四台那么挂掉一台还…

一.安装jdk 1.下载jdk压缩包并移动到/usr/local目录 mv jdk-8u162-linux-x64.tar.gz /usr/local 2.解压 tar -zxvf jdk-8u162-linux-x64.tar.gz 配置JDK环境变量 export JAVA_HOME=/usr/local/jdk1.8.0_162 export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOM…

转自http://www.cnblogs.com/zhenyuyaodidiao/p/6237019.html 一.简介 “A highly-available key value store for shared configuration and service discovery.” Etcd是coreos开发的分布式服务系统,内部采用raft协议作为一致性算法.作为一个高可用的配置共享.服务发现的键值存储系统,Etcd有以下的特点: 1)简单:安装配置简单,而且提供了 HTTP API…

 一.前言 开始学习数据处理相关的知识了,第一步是搭建一个Hadoop集群.搭建一个分布式集群需要多台电脑,在此我选择采用VMWare+CentOS7搭建一个三台虚拟机组成的Hadoop集群. 注:1.本次搭建环境中操作系统的用户名为hadoop,请自行替换/home/hadoop为本机对应路径. 2.本次用到的软件版本为: VMware Workstation 14 Pro 14.1.3 build-9474260 CentOS 7.5.1804 Java 1.8.0_181 Apache H…

centos7与之前的版本都不一样,修改主机名在/ect/hostname 和/ect/hosts 这两个文件控制 首先修改/ect/hostname vi /ect/hostname 打开之后的内容是: localhost.localdomain 把它修改成你想要的名字就可以,比如: niukou.com 保存退出 然后修改/ect/hosts文件 vi /ect/hosts 打开之后的内容是: 127.0.0.1   localhost localhost.localdomain local…

简介 通过 Erlang 的分布式特性(通过 magic cookie 认证节点)进行 RabbitMQ 集群,各 RabbitMQ 服务为对等节点,即每个节点都提供服务给客户端连接,进行消息发送与接收.这些节点通过 RabbitMQ HA 队列(镜像队列)进行消息队列结构复制.本方案中搭建 3 个节点,并且都是磁盘节点(所有节点状态保持一致,节点完全对等),只要有任何一个节点能够工作,RabbitMQ 集群对外就能提供服务. 1. 安装erlang,参考:http://fedoraprojec…

环境准备: ssh shell工具: 远程连接 三个CentOS示例: 部署集群 配置好各个实例之间的网络访问,以及ssh免密登录. 下载&上传: 1.下载 Consul: Download Consul - Consul by HashiCorp 2.上传至虚拟机: ➜ Desktop scp consul_1.1.0_linux_amd64.zip root@192.168.1.11:/opt ➜ Desktop scp consul_1.1.0_linux_amd64.zip root@1…

一.简述 Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统.致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用.有如下特性: 高可靠性 去中心化的多Master和多Worker, 自身支持HA功能, 采用任务队列来避免过载,不会造成机器卡死 简单易用 DAG监控界面,所有流程定义都是可视化,通过拖拽任务定制DAG,通过API方式与第三方系统对接, 一键部署 丰富的使用场景 支持暂停恢复操作. 支持多租户,更好的…

一.手动搭建 1. 准备节点 节点数量至少为 6 个才能保证组成完整高可用的集群 (1) 目录结构 cluster ├── 9001 │   ├── data │   │   ├── appendonly.aof │   │   └── nodes-9001.conf │   ├── redis-9001.conf │   └── redis-9001.log ├── 9002 │   ├── data │   │   ├── appendonly.aof │   │   └── nodes-9…

一.部署环境 操作系统:CentOS Linux release 7.6.1810 (Core) 安装软件: docker:18.06.3-ce kubernetes:v1.15.4 二.部署架构: 部署开始前,先把主机名改成如上图所示. 同时修改/etc/hosts,如下: 三.部署过程 1.安装docker(所有节点) 1.1.卸载可能存在的依赖包 sudo yum remove docker docker-common container-selinux docker-selinux do…

Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计,分析出当前的流行趋势 有些数据,存储数据库浪费,直接存储硬盘效率又低 这些场景都有一个共同点: 数据是由上游模块产生,上游模块,使用上游模块的数据计算.统计.分析,这个时候就可以使用消息系统,尤其是分布式消息系统! 2.Kafka的定义 What is Kafka:它是一个分布…

前提 安装Kafka前需要先安装zookeeper集群,集体安装方法请参照我的另一篇文档 Storm安装 下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.1.0/apache-storm-1.1.0.tar.gz 解压 tar -zxvf apache-storm-1.1.0.tar.gz 移动文件夹 mv apache-storm-1.1.0 /usr/local/hadoop/ vim stor…

一.服务器规划 主机名 主机IP 磁盘配比 角色 node1 public-ip:10.0.0.130cluster-ip:192.168.2.130 sda,sdb,sdcsda是系统盘,另外两块数据盘 ceph-deploy,monitor,mgr,osd node2 public-ip:10.0.0.131cluster-ip:192.168.2.131 sda,sdb,sdcsda是系统盘,另外两块数据盘 monitor,mgr,osd node3 public-ip:10.0.0.13…

准备三个节点,系统版本为CentOS7.3. 11.0.10.18 es01 11.0.10.19 es02 11.0.10.20 es03 1.安装java环境 # yum install -y java java-1.8.0-openjdk-devel # vim /etc/profile.d/java.sh export JAVA_HOME=/usr # source /etc/profile.d/java.sh 2.下载程序包 # wget https://download.elasti…

准备三个节点,系统版本为CentOS7.3 11.0.8.15 master 11.0.8.16 slave01 11.0.8.17 slave02 1.安装redis # yum install -y redis 2.修改redis的配置文件 # vim /etc/redis.conf #bind 127.0.0.1 protected-mode no daemonize yes appendonly yes slaveof 11.0.8.15 6379 #从节点需要开启这条指令 3.启动re…

1.复制4个Tomcat到solr-cloud目录下 [root@localhost software]# cp -r apache-tomcat-9.0.24 /usr/local/solr-cloud/tomcat01 [root@localhost software]# cp -r apache-tomcat-9.0.24 /usr/local/solr-cloud/tomcat02 [root@localhost software]# cp -r apache-tomcat-9.0.24…

简介 Swarm:docker原生的集群管理工具,将一组docker主机作为一个虚拟的docker主机来管理. 对客户端而言,Swarm集群就像是另一台普通的docker主机. Swarm集群中的每台主机都运行着一个swarm节点代理,每个代理将该主机上的相关Docker守护进程注册到集群中.和节点代理相对应的是Swarm管理者,用于对集群进行管理. 运行Swarm的所有Docker节点必须运行着同一个版本的Docker. 基于zookeeper的Swarm集群搭建 1. 拉取Swarm镜像 d…

[Y_H]实践原创 三台虚拟机:1台centOS , 2台ubuntu.   网上有用docker-machine创建虚拟机做的例子.   这里直接用VMware创建这三台虚拟机,然后用xshell连接三台虚拟机.作为理解之后的例子实践.   坑: 1.利用镜像swarm,搭建swarm集群,创立了连接,但是节点不能识别,报错较多,且不易解决. 2.在建立好manager管理节点后,其他机器在执行docker swarm join命令时会报错: Error response from daemo…

docker + swarm 集群 导读 Swarm是Docker公司在2014年12月初新发布的容器管理工具.和Swarm一起发布的Docker管理工具还有Machine以及Compose.Swarm是一套较为简单的工具,用以管理Docker集群,使得Docker集群暴露给用户时相当于一个虚拟的整体.Swarm使用标准的Docker API接口作为其前端访问入口. token方式 以虚拟机方式搭建集群练练手 安装swarm docker run --rm swarm create 6a2d60…

目录 [TOC] 1.基本概念 ​ 既然是对Docker的容器进行监控,我们就不自己单独搭建cAdvisor.InfluxDB.Grarana了,本文中这三个实例,主要以Docker容器方式运行. 本文中的案例会有四台机器,他们的Host和IP地址如下,四台机器的集群搭建可以参考<Centos7的安装.Docker1.12.3的安装,以及Docker Swarm集群的简单实例> c1 -> 10.0.0.31 c2 -> 10.0.0.32 c3 -> 10.0.0.33 c…

学习Docker很久了,今天分享一下Docker的swarm集群的搭建过程很简单 首先第一步是 每台机器上面都要安装docker 本人使用的是centos7操作系统,使用3太虚拟机,3太虚拟机必须网络互通(废话) docker早在1.12版本就已经支持原生的swarm集群搭建了不用再用第三方etcd 等注册发现插件 首先第一步创建集群 docker swarm init 默认的集群地址是本机,当然也可以指定地址通过 --listen-addr 参数指定 执行完上面的命令之后显示了证明创建管理节点…

目录 [TOC] 1.环境准备 ​ 本文中的案例会有四台机器,他们的Host和IP地址如下 c1 -> 10.0.0.31 c2 -> 10.0.0.32 c3 -> 10.0.0.33 c4 -> 10.0.0.34 ​ 四台机器的host以c1为例: [root@c1 ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 #::1 local…

从零开始搭建Docker Swarm集群 检查节点Docker配置 1. 打开Docker配置文件(示例是centos 7)vim /etc/sysconfig/docker2. 添加-H tcp://0.0.0.0:2375到OPTIONSOPTIONS='-g /cutome-path/docker -H tcp://0.0.0.0:2375'3. CentOS6.6 需要另外添加-H unix:///var/run/docker.sockOPTIONS='-g /mnt/docker -H…

创建swarm集群: 实验环境:盗图 swarm-manager是manager node,swarm-worker1和swarm-worker2是worker node. 所有节点的docker版本均不低于v1.12,安装docker参考:http://www.cnblogs.com/lkun/p/7655495.html 操作系统:centos7 1.warm-manager上执行如下命令创建swarm: docker swarm init --advertise-addr 192.168.…

Etcd简要介绍 Etcd是Kubernetes集群中的一个十分重要的组件,用于保存集群所有的网络配置和对象的状态信息 Etcd构建自身高可用集群主要有三种形式: ①静态发现: 预先已知 Etcd 集群中有哪些节点,在启动时直接指定好Etcd的各个node节点地址 ②Etcd动态发现:通过已有的Etcd集群作为数据交互点,然后在扩展新的集群时实现通过已有集群进行服务发现的机制 ③DNS动态发现:通过DNS查询方式获取其他节点地址信息 这篇文章主要介绍第一种方式.后期如果还有时间和精力研究的话,我…

问题描述: 在Centos7中,通过yum安装ruby的版本是2.0.0,但是如果有些应用需要高版本的ruby环境,比如2.2,2.3,2.4... 那就有点麻烦了,譬如:我准备使用redis官方给的工具:redis-trib.rb 这个工具构建redis集群的时候,报错了: “redis requires Ruby version >= 2.2.2” 解决方法(已经尝试,没有问题) 1,首先系统需要安装redis,毕竟是搭建redis集群,如果没有安装redis,请先执行(如果安装了,请略过此…

前言 Swarm 在 Docker 1.12 版本之前属于一个独立的项目,在 Docker 1.12 版本发布之后,该项目合并到了 Docker 中,成为 Docker 的一个子命令,docker swarm是创建服务器集群的工具,只需要几条命令就可以创建一个服务器集群.它内置一些服务器集群需要的工具,比如说:服务查找,网络,负载均衡等等 一.环境 centos 7.3 Docker version 1.12.6 ip 角色 192.168.6.130 manager 192.168.6.131…

1.环境准备 ​ 本文中的案例会有四台机器,他们的Host和IP地址如下 c1 -> 10.0.0.31 c2 -> 10.0.0.32 c3 -> 10.0.0.33 c4 -> 10.0.0.34 ​ 四台机器的host以c1为例: [root@c1 ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 #::1 localhost loca…

一.规划 1.swarm01作为manager节点,swarm02和swarm03作为worker节点. # cat /etc/hosts 127.0.0.1   localhost 192.168.139.175  swarm01  192.168.139.176  swarm02  192.168.139.177  swarm03 2.配置SSH免密登陆 # ssh-keygen -t rsa -P '' # ssh-copy-id -i .ssh/id_rsa.pub root@192.1…