写在前面 抽空来更新一下大数据的玩意儿了,起初架构选型的时候有考虑Hadoop那一套做数仓,但是Hadoop要求的服务器数量有点高,集群至少6台或以上,所以选择了Clickhouse(后面简称CH).CH做集群的话,3台服务器起步就可以的,当然,不是硬性,取决于你的zookeeper做不做集群,其次CH性能更强大,对于量不是非常巨大的场景来说,单机已经足够应对OLAP多种场景了. 进入正题,相关环境: IP 服务器名 操作系统 服务 备注 172.192.13.10 server01 Ubunt

docker安装hadoop集群?图啥呢?不图啥,就是图好玩.本篇博客主要是来教大家如何搭建一个docker的hadoop集群.不要问 为什么我要做这么无聊的事情,答案你也许知道,因为没有女票....... 好了,不多说这些没有必要的东西了,首先,我们来安装docker. 一.docker的安装 sudo yum install -y docker-io sudo wget https://get.docker.com/builds/Linux/x86_64/docker-latest -O /

Docker 安装Consul集群 使用windows 环境,Docker desktop community 构建consul集群. 1.docker 容器网络 docker安装后,默认会创建三种网络类型,bridge.host和none,可通过如下命令查看: sudo docker network ls NETWORK ID NAME DRIVER SCOPE 32c1b52444f2 bridge bridge local 6a2d84a36162 host host local cff3

基于docker安装pxc集群 一.PXC 集群的安装 PXC集群比较特殊,需要安装在 linux 或 Docker 之上.这里使用 Docker进行安装! Docker的镜像仓库中包含了 PXC数据库的官方镜像, 地址:https://hub.docker.com/r/percona/percona-xtradb-cluster/ 如下图所示: 一,镜像的安装 安装镜像的两种方式: docker pull percona/percona-xtradb-cluster docker load <

网上有很多教程可以参考,但是遇到坑了...... 最后参考这个教程成功了.https://www.cnblogs.com/hbbbs/articles/10028771.html 安装docker 参考 阿里云安全组规则添加7000-7005和17000-17005二条(tcp.0.0.0.0/0). 1.拉取redis镜像 docker pull redisdocker images 创建自定义网络 docker network create redis-net 2.在 /usr/local/

  前言 现在mysql自建集群方案有多种,keepalived.MHA.PXC.MYSQL主备等,但是目前根据自身情况和条件,选择使用pxc的放来进行搭建,最大的好处就是,多主多备,即主从一体,没有同步延时问题,方便易用. 搭建环境   环境 centos7 pxc版本镜像:最新版,目前为8.0+   主机ip 部署 swarm 10.100.3.91 pxc1 manager 10.100.3.92 pxc2 worker 10.100.3.93 pxc3 worker 10.100.3.9

资源准备:jdk1.8及hadoop2.7.3 链接:https://pan.baidu.com/s/1x8t1t2iY46jKkvNUBHZlGQ 提取码:g1gm 复制这段内容后打开百度网盘手机App,操作更方便哦 1.下载Ubuntu镜像 docker pull ubuntu:14.04 2.运行Ubuntu安装环境 #启动ubuntu容器 docker run -ti ubuntu 3.ubuntu安装基础环境 安装ssh.vim等常用工具 4.ubuntu安装jdk环境 linux系统

Centos7系统Docker安装 目录 Centos7系统Docker安装 目录 Centos7系统Docker安装 1.下载mysql镜像 2.创建Master实例并启动 参数说明 3.创建Slave实例并启动 4.添加master主从复制部分配置 5.添加Slave主从复制部分配置 6.为master授权用户来他的同步数据 1.下载mysql镜像 docker search mysql docker pull mysql:5.7 docker images 2.创建Master实例并启动

docker-compose.yml: version: '3' services: zookeeper-A: image: zookeeper:3.4.11 ports: - "12181:2181" - "2888" - "3888" container_name: zookeeper-A restart: always volumes: - ./zoo1/data:/data - ./zoo1/datalog:/datalog enviro

刚开始,关于RabbitMQ集群的搭建,我找到了这篇文章:Docker 安装 RabbitMQ 集群 从而找到了第三方的RabbitMQ集群容器 rabbitmq-server 但是这个容器只有3.6.10版本,连3.6.14版本都没有,看样子已经很久没更新推送了. 而RabbitMQ刚发布3.7.0版本,但还没来得及在Docker Hub推送3.7.0版本的容器. 于是萌生自己构建一个基于3.7.0版本的Docker容器的想法. Fork了bijukunjummen/docker-rabbit

一.安装docker 环境:准备3台centos7系统,都安装上docker环境,具体安装步骤和流程如下 参考: https://docs.docker.com/install/linux/docker-ce/centos/ https://yeasy.gitbooks.io/docker_practice/content/install/ 1.1 centos7配置yum源 > cd /etc/yum.repos.d/ > mkdir repo_bak > mv *.repo repo

ActiveMQ拓展连接 此例简单介绍基于Docker的activemq安装与集群搭建 一 :安装 1.获取activemq镜像 docker pull webcenter/activemq 2.启动容器 docker run --name activemq -p 61616:61616 -e ACTIVEMQ_ADMIN_LOGIN=admin -e ACTIVEMQ_ADMIN_PASSWORD=123 --restart=always -d activemq:latest 二 :集群搭建

Docker部署Hadoop集群 2016-09-27 杜亦舒 前几天写了文章"Hadoop 集群搭建"之后,一个朋友留言说希望介绍下如何使用Docker部署,这个建议很好,Docker不仅在生产环境威力巨大,对于我们在自己电脑中搭建学习实验环境更是非常便利 搭建一个集群环境时需要多台服务器,对于我们个人,这通常是个门槛,需要使用虚拟机,安装操作系统,然后运行起来多个虚机 安装操作系统是个不太轻松的任务,并且运行多个虚机对个人电脑性能也有一定要求,这些门槛影响了很多小伙伴的实践积极性

简介: Docker:是一个开源的应用容器引擎,可以为应用创建一个轻量级的.可移植的.自给自足的容器. Kubernetes:由Google开源的Docker容器集群管理系统,为容器化的应用提供资源调度.部署运行.服务发现.扩容缩容等功能. Etcd:由CoreOS开发并维护的一个高可用的键值存储系统,主要用于共享配置和服务发现. Flannel:Flannel是 CoreOS 团队针对 Kubernetes 设计的一个覆盖网络(Overlay Network)工具,其目的在于帮助每一个使用 K

http://blog.sina.com.cn/s/blog_8ea8e9d50102wwik.html Docker部署Elasticsearch集群 参考文档: https://hub.docker.com/r/library/elasticsearch/ https://hub.tenxcloud.com/repos/tenxcloud/elasticsearch https://hub.alauda.cn/repos/library/elasticsearch       环境: Cen

本文的测试环境为CentOS 7.3,Kubernetes集群为1.11.2,安装步骤参见kubeadm安装kubernetes V1.11.1 集群 日志对于我们管理Kubernetes集群及其上的应用具有非常重要的作用,特别是在出现故障或者Bug的时候.如果你能回答下面几个问题,那么可以不用再看本文了,如果不能回答,本文可能正好适合你. Docker都会产生哪些日志? Docker产生的日志都放在哪里? Docker的日志的分割.清理策略默认为什么? 如何配置Docker日志的分割.清理策略

kubernetes 1.5 的安装和集群环境部署 文章转载自:http://www.cnblogs.com/tynia/p/k8s-cluster.html 简介: Docker:是一个开源的应用容器引擎,可以为应用创建一个轻量级的.可移植的.自给自足的容器. Kubernetes:由Google开源的Docker容器集群管理系统,为容器化的应用提供资源调度.部署运行.服务发现.扩容缩容等功能. Etcd:由CoreOS开发并维护的一个高可用的键值存储系统,主要用于共享配置和服务发现. Fla

Docker学习 Docker学习-VMware Workstation 本地多台虚拟机互通,主机网络互通搭建 Docker学习-Docker搭建Consul集群 Docker学习-简单的私有DockerHub搭建 Docker学习-Spring Boot on Docker Docker学习-Kubernetes - 集群部署 简介 kubernetes,简称K8s,是用8代替8个字符“ubernete”而成的缩写.是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的

一.安装方式介绍 1.yum 安装 目前CentOS官方已经把Kubernetes源放入到自己的默认 extras 仓库里面,使用 yum 安装,好处是简单,坏处也很明显,需要官方更新 yum 源才能获得最新版本的软件,而所有软件的依赖又不能自己指定,尤其是你的操作系统版本如果低的话,使用 yum 源安装的 Kubernetes 的版本也会受到限制,通常会低于官方很多版本,我安装的时候目前官方版本为1.12,而 yum 源中的版本为1.5.2. 2.二进制安装 使用二进制文件安装,好处是可以安装

一.Swarm简介 Swarm是Docker的一个编排工具,参考官网:https://docs.docker.com/engine/swarm/ Swarm 模式简介 要在Swarm模式下运行docker,需要先安装docker,参考安装教程 当前版本的docker包含了swarm模式,用于管理docker集群.可以使用命令行来创建swarm集群,部署应用,管理swarm的行为. 如果你使用低于1.12.0版本的docker,可以使用独立模式的是swarm,但是建议使用最新版本 特性 与dock

k8s的安装有多种方式,如yum安装,kubeadm安装,二进制安装等.本文是入门系列,只是为了快速了解k8s的原理和工作过程,对k8s有一个快速的了解,这里直接采用yum安装 的1.5.2为案例进行安装演示.平台 :CentOS Linux release 7.5.1804 (Core)master: 10.1.14.11node1:  10.1.14.15node2:  10.1.14.16基本是一个最简单的k8s,没有考虑任何耦合拆分以及高可用.把这个最简单的学会了,就可以进行架构高层次的