用pc构建DIY计算集群

-----------------------------------------------------------------用pc构建DIY计算集群目录/构建计算集群|-- /0前言|-- /1理论----|-- /1.1并行计算----|-- /1.2历史----|-- /1.3MPI消息传递接口*----|-- /1.4并行算法*|-- /2结构----|-- /2.1节点*----|-- /2.2网络拓扑----|-- /2.3存储----|-- /2.4分类|-- /3操作系统和软…

Linux企业集群用商用硬件和免费软件构建高可用集群PDF

Linux企业集群:用商用硬件和免费软件构建高可用集群目录: 译者序致谢前言绪论第一部分集群资源第1章启动服务第2章处理数据包第3章编译内容第二部分高可用性第4章使用rsync和SSH同步服务器第5章使用Systmlmager克隆系统第6章 Heartbeat及其理论介绍第7章 Heartbeat示范配置第8章 Heartbeat资源及维护第9章 Stonith和ipfial第三部分集群理论与实践第10章如何构建Linux企业集群第11章 Linux虚…

阿里云构建Kafka单机集群环境

简介在一台ECS阿里云服务器上构建Kafa单个集群环境需要如下的几个步骤: 服务器环境 JDK的安装 ZooKeeper的安装 Kafka的安装 1. 服务器环境 CPU: 1核内存: 2048 MB (I/O优化) 1Mbps 操作系统 ubuntu14.04 64位感觉服务器性能还是很好的,当然不是给阿里打广告,汗. 随便向kafka里面发了点数据,性能图如下所示: 2. 安装JDK 想要跑Java程序,就必须安装JDK.JDK版本,本人用的是JDK1.7. 基本操作如下: 从JDK…

Apache httpd和JBoss构建高可用集群环境

1. 前言集群是指把不同的服务器集中在一起,组成一个服务器集合,这个集合给客户端提供一个虚拟的平台,使客户端在不知道服务器集合结构的情况下对这一服务器集合进行部署应用.获取服务等操作.集群是企业应用的主要特点,它可以提供: 高扩展性:可以根据自己业务需求添加任意多的服务器到集群: 高可用性:使用透明的负载均衡和容错机制,对客户端隐藏集群内部的错误. 下图为一传统企业应用集群模式: 图中各个步骤描述如下: 1. 客户端浏览器发送请求 2. 负载均衡器转发请求到节点1 3. 节点1处理业务时…

Docker笔记三：基于LVS DR模式构建WEB服务集群

安装ipvsadm 1. 先在宿主机上安装并以root来启动ipvsadm,每次要在容器中运行ipvs都需要先在宿主机上启动ipvs.如果直接进行2步操作将报出如下错误: Can't initialize ipvs: Protocol not availableAre you sure that IP Virtual Server is built in the kernel or as module? 2. 实例化一个ipvs容器: dockerfile: FROM ubuntu MAINTA…

Docker构建redis cluster集群

准备工作安装gcc ruby 解压编译redis Redis 是 c 语言开发的.安装 redis 需要 c 语言的编译环境.如果没有 gcc 需要在线安装. yum install gcc-c++ 使用yum命令安装 ruby (我们需要使用ruby脚本来实现集群搭建) yum install ruby yum install rubygems 下载安装包 [root@docker01 ~]# mkdir zy_redis_cluster [root@docker01 ~]# cd zy_r…

用Docker构建分布式Redis集群

[编者的话]本文介绍了如何使用Docker搭建Redis集群,很多读者都在问Docker能带来哪些实质性的好处,我想本文就是一个很好的例子.不使用Docker你也可以搭建Redis集群,那使用Docker后会有怎么样的优势了?我想可以用两个词总结:快速和复用. 海量技术文章:http://tieba.yunxunmi.com/ 云搜 http://so.yunxunmi.com/ 让搜索更简单采用html5完全支持手机和PC 我们经常会遇到这样一个问题:当我们想进行一个完整的测试的时候,往往缺…

SpringCloud学习笔记（四）：Eureka服务注册与发现、构建步骤、集群配置、Eureka与Zookeeper的比较

简介 Netflix在设计Eureka时遵守的就是AP原则拓展: 在分布式数据库中的CAP原理 CAP原则又称CAP定理,指的是在一个分布式系统中,Consistency(一致性). Availability(可用性).Partition tolerance(分区容错性),三者不可兼得,最多只能同时满足两个,因为分布式不可能在一台机器上,所以目前所有的分布式必须拥有Partition tolerance,只能是CP或者AP. 如果在双十一当天,淘宝应该选择AP还是CP? 只能是AP 因为一致性…

Hadoop加zookeeper构建高可靠集群

事前准备 1.更改Linux主机名,每个人都有配置 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop-server1 2.改动IP /etc/sysconfig/network-scripts/ifcfg-eth0 3.改动主机名和IP的映射关系 vim /etc/hosts 192.168.146.181 hadoop-server1 192.168.146.182 hadoop-server2 192.168.146.183…

基于 Haproxy 构建负载均衡集群

1.HAPROXY简介 HAProxy提供高可用性.负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费.快速并且可靠的一种负载均衡解决方案.HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理.HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接.并且它的运行模式使得它可以很简单安全的整合进您当前的架构中,同时可以保护你的web服务器不被暴露到网络上. 官网:http://www.haproxy.com 2.HAProxy的特点是:1…

lvs+keepalive构建高可用集群

大纲一.前言二.Keepalived 详解三.环境准备四.LVS+Keepalived 实现高可用的前端负载均衡器一.前言 Keepalived使用的vrrp协议方式,虚拟路由冗余协议 (Virtual Router Redundancy Protocol,简称VRRP):Heartbeat或Corosync是基于主机或网络服务的高可用方式:简单的说就是,Keepalived的目的是模拟路由器的高可用,Heartbeat或Corosync的目的是实现Service的高可用…

Rancher2.0构建kubernetes(K8S)集群

一.环境准备 1.准备至少3台CentOS7版本的虚拟机 # IP地址主机名称 192.168.1.160 rancher 192.168.1.161 master 192.168.1.162 node1 192.168.1.163 node2 192.168.1.164 node3 2.每台虚拟机上需要做的配置 1.安装Docker $ yum install -y docker 2.设置hostname $ hostnamectl --static set-hostname rancher…

Docker应用系列（一）| 构建Redis哨兵集群

本示例基于Centos 7,在阿里云的三台机器上部署redis集群,假设目前使用的账号为release,拥有sudo权限. 由于Docker官方镜像下载较慢,可以开启阿里云的Docker镜像下载加速器,可参考此文进行配置. 假设三台主机的ip分别为: 主机一:192.168.0.1 主机二:192.168.0.2 主机三:192.168.0.3 三台主机的安装步骤相似,以主机一为例: 1. 安装docker服务: sudo yum install -y docker 2. 启动docker服务:…

solr安装-tomcat+solrCloud构建稳健solr集群

solrCloud的搭建可以有两种方式:使用solr内嵌的jetty来搭建:使用外部web容器tomcat来搭建.对于使用jett来搭建参考solr官方的手册照着做肯定ok,下面我主要讲的是如何使用tomcat来搭建solrCloud. 废话不多说,开始我们的工作! 1.搭建tomcat单机版solr 见我的上一篇博文solr安装-tomcat单机版 2.安装配置zookeeper 具体下载,安装,配置不详细说了,很简单.只列出我的关键配置项,如下: clientPort=4181 server…

Haproxy 构建负载均衡集群

最全ElasticSearch6.5白金版本从构建ELK、集群搭建到和Mybatis结合操作详细讲解

1.安装ElasticSearch6.5.1 解压相关的ElasticSearch6.5.1的tar包到目录下,如果我们需要使用JDBC来连接的话是需要到白金版以上的,以下为将基础版破解为白金版的方法. 本人已将破解包放项目的file分支,拉取相应分支即可获得,项目file分支地址如下: 欢迎start: https://github.com/fengcharly/elasticSearch-sql/tree/file 关于破解: 由于我们的包替换了相应的class文件,所以直接解压即可,然后把…

构建高可用集群Keepalived+Haproxy负载均衡

重点概念vrrp_script中节点权重改变算法vrrp_script 里的script返回值为0时认为检测成功,其它值都会当成检测失败:weight 为正时,脚本检测成功时此weight会加到priority上,检测失败时不加:主失败:主 priority < 从 priority + weight 时会切换.主成功:主 priority + weight > 从 priority + weight 时,主依然为主weight 为负时,脚本检测成功时此weight不影响priority,检测…

Corosync+Pacemaker+crmsh构建Web高可用集群

一.概述: 1.1 AIS和OpenAIS简介 AIS应用接口规范,是用来定义应用程序接口(API)的开放性规范的集合,这些应用程序作为中间件为应用服务提供一种开放.高移植性的程序接口.是在实现高可用应用过程中是亟需的.服务可用性论坛(SA Forum)是一个开放性论坛,它开发并发布这些免费规范.使用AIS规范的应用程序接口(API),可以减少应用程序的复杂性和缩短应用程序的开发时间,这些规范的主要目的就是为了提高中间组件可移植性和应用程序的高可用性. OpenAIS是基于SA Forum 标准…

【拆分版】Docker-compose构建Zookeeper集群管理Kafka集群

写在前边在搭建Logstash多节点之前,想到就算先搭好Logstash启动会因为日志无法连接到Kafka Brokers而无限重试,所以这里先构建下Zookeeper集群管理的Kafka集群. 众所周知,Zookeeper是一个高效的分布式协调中间件,可以提供配置信息管理.命名.分布式同步(分布式锁).集群管理.数据库切换等服务.这里主要用它的集群管理功能,它可以确保在网络状态不一致,选出一致的Master节点.它是Apache下的一个Java项目,隶属于Hadroop系统,正如其名"动物管…

超强教程！在树莓派上构建多节点K8S集群！

在很长一段时间里,我对于在树莓派上搭建Kubernetes集群极为感兴趣.在网络上找到一些教程并且跟着实操,我已经能够将Kubernetes安装在树莓派上,并在三个Pi集群中工作.然而,在master节点上对于RAM和CPU的要求已经超过了我的树莓派所能提供的,因此在执行Kubernetes任务时性能并不优异.这也使得就地升级Kubernetes成为不可能. 所以,我看到业界应用最为广泛的Kubernetes管理平台创建者Rancher Labs推出轻量级Kubernetes发行版K3s时,十分…

构建Zookeeper集群（zkcluster） ~一篇文章玩转zk集群^.^

概念 Zookeeper集群是由一个leader(负责人)主机和多个follower(追随者)或observer(观察者)主机组成. 构建一个Zookeeper集群需要有一个leader和一个folloer或observer,共两台主机组成,建议最少三台,当一台leader故障时,集群还可以选举出新的leader,保证集群正常工作. leader负责接受写请求并通知follower/observer同步数据. 所有客户端的写请求都会转发到leader(就算是客户端连接的是follower/obs…

边缘计算k8s集群SuperEdge初体验

前言手上一直都有一堆的学生主机,各种各样渠道途径拿来的机器. 一直管理里面都比较蛋疼,甚至也不太记得住它们在哪是什么IP,管理起来很是头疼. 有阵子空闲的时候想折腾了一下边缘计算集群方案. 希望能把它们管理起来,做一个通用的计算方案. 问过dalao,给我推荐k3s. K3s | 轻量级Kubernetes | 物联网及边缘计算K8S解决方案 | Rancher www.rancher.cn 道理上是挺好的,不过.... 看到Rancher是又惊又喜啊. 17年在http://ruff.i…

在Docker中部署GreatSQL并构建MGR集群

GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源. 为了方面社区用户体验GreatSQL,我们同时还提供Docker镜像,本文详细介绍如何在Docker中部署GreatSQL,并且构建一个MGR集群. 本文涉及的运行环境如下: [root@greatsql]# cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core) [root@greatsql]# uname -a Linux GreatSQL 3.10…