前言: nodejs提供了cluster集群(支持端口共享的多进程),cluster基于child_process,process二次封装,方便我们使用该功能实现单机nodejs的web集群. 1.cluster的处理机制 都知道单线程的nodejs遇到cpu密集型操作会很容易出现CPU满载,服务阻塞的问题:通过类似nginx的master-worker多进程负载处理方式进一步压榨硬件性能,提升nodejs单机服务处理性能. m a s t e r(主进程,分发请求) |           |…
问题来源 海口-老男人 17:42:43 就是我要运行一个nodejs服务,先发布为deployment,然后创建service,让集群外可以访问 旧报纸 17:43:35 也就是 你的需求为 一个app 用delployment 发布 然后service 然后 代理 对吧 解决方案: 部署traefik 发布deployment pod 创建service traefik 代理service 外部访问 环境 docker 19.03.5 kubernetes 1.17.2 traefik部署…
Redis总结(五)缓存雪崩和缓存穿透等问题   前面讲过一些redis 缓存的使用和数据持久化.感兴趣的朋友可以看看之前的文章,http://www.cnblogs.com/zhangweizhong/category/771056.html .今天总结总结缓存使用过程中遇到的一些常见的问题.比如缓存雪崩,缓存穿透,缓存预热等等. 缓存雪崩 缓存雪崩是由于原有缓存失效(过期),新缓存未到期间.所有请求都去查询数据库,而对数据库CPU和内存造成巨大压力,严重的会造成数据库宕机.从而形成一系列连锁…
一.   MySQL InnoDB Cluster 介绍MySQL的高可用架构无论是社区还是官方,一直在技术上进行探索,这么多年提出了多种解决方案,比如MMM, MHA, NDB Cluster, Galera Cluster, InnoDB Cluster, 腾讯的PhxSQL, MySQL Fabric., aliSQL.MySQL官方在2017年4月推出了一套完整的.高可用的Mysql解决方案 - MySQL InnoDB Cluster, 即一组MySQL服务器可以配置为一个MySQL集…
这里的etcd集群复用我们测试的3个节点,3个node都要安装并启动,注意修改配置文件 1.TLS认证文件分发:etcd集群认证用,除了本机有,分发到其他node节点 scp ca.pem kubernetes-key.pem kubernetes.pem root@10.10.90.106:/etc/kubernetes/ssl scp ca.pem kubernetes-key.pem kubernetes.pem root@10.10.90.107:/etc/kubernetes/ssl…
目录 一.Redis Cluster简单介绍 二.背景 三.环境准备 3.1 主机环境 3.2 主机规划 四.部署Redis 4.1 安装Redis软件 4.2 编辑Redis配置文件 4.3 启动Redis服务 五.构建Redis Cluster集群 5.1 Redis主从复制原理 5.2 部署集群节点 5.3 创建Redis Cluster集群 5.4 集群管理 六.实现Python链接Redis Cluster集群 6.1 搭建python开发环境 6.2 安装Redis-py驱动程序 6…
wsl2 ubuntu20.04 上使用 kubeadm 创建一个单主集群 官方文档使用 kubeadm 创建一个单主集群 环境初始化 建议尽可能初始化环境,命令wsl --unregister Ubuntu-20.04可重新安装,相当于重装系统.安装或重置过程中,打开这个 wsl2 窗口,提示如下: Installing, this may take a few minutes... 适用于 Linux 的 Windows 子系统实例已终止. Please create a default U…
springCloud系列教程包含如下内容: springCloud系列教程01:Eureka 注册中心集群搭建 springCloud系列教程02:ConfigServer 配置中心server搭建 springCloud系列教程03:ConfigClient 配置中心client搭建 springCloud系列教程04:配置信息动态刷新 /bus/refresh springCloud系列教程05:@FeignClient微服务间接口调用及权限验证 springCloud系列教程06:zuu…
摘要: 在前一篇博客中,我介绍了使用Vagrant快速创建虚拟机,但是所创建的只是单个虚拟机.这篇博客将介绍使用Vagrant创建多节点虚拟机集群,可以作为Hadoop,Spark以及Storm等分布式系统的运行环境. 作者: KiwenLau 日期: 2016-07-03 本文所有操作是在MacBook上进行的,Windows上的操作大部分一致,但是可能会有一些小问题. 一. 集群创建 1. 安装VirtualBox 2. 安装Vagrant 3. 下载Box vagrant box add…
连接池集群 连接池集群可以提供多个主机连接 创建连接池集群 //创建连接池集群 var poolCluster = mysql.createPoolCluster(); //添加配置 config是一个连接池配置 poolCluster.add(config);//使用自动名称添加配置 poolCluster.add('MASTER',masterConfig);//添加命名配置 poolCluster.add('SLAVE1',slave1config); poolCluster.add('S…
引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了... 整个的集群搭建是在公司的测试服务搭建的,在搭建的时候遇到各种各样的坑,当然也收获颇多.在成功搭建大数据集群之后,零零散散的做了写笔记,然后重新将这些笔记整理了下来.于是就有了本篇博文. 其实我在搭…
1. Hadoop集群介绍 Hadoop集群部署,就是以Cluster mode方式进行部署. Hadoop的节点构成如下: HDFS daemon:  NameNode, SecondaryNameNode, DataNode YARN damones: ResourceManager, NodeManager, WebAppProxy MapReduce Job History Server 2. 集群部署 本次测试的分布式环境为:Master 1台 (test166),Slave 1台(t…
0 专辑概述 etcd 是云原生架构中重要的基础组件,由 CNCF 孵化托管.etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现,还可以作为 key-value 存储的中间件. <彻底搞懂 etcd 系列文章>将会从 etcd 的基本功能实践.API 接口.实现原理.源码分析,以及实现中的踩坑经验等几方面具体展开介绍 etcd.预计会有 20 篇左右的文章,笔者将会每周持续更新,欢迎关注. 1 etcd 集群部署 在生产环境中,为了整个集群的高可用,etcd 正常都会…
前面讲过一些RabbitMQ的安装和用法,也说了说RabbitMQ在一般的业务场景下如何使用.不知道的可以看我前面的博客,http://www.cnblogs.com/zhangweizhong/category/855479.html 本来一直想写一个介绍RabbitMQ高可用的集群的文章.不过,后来发现园子里,有个已经RabbitMQ大牛写了,关于高可用集群的文章了.特别巧合的是,还是以前公司的同事.所以,这里就不啰嗦.直接引用过来吧.原文地址:http://www.cnblogs.com/…
第一部分:创建集群 在Openstack部署Kubernetes集群运行Nginx容器的步骤,其中包括: 利用Murano部署Kubernetes集群 配置Openstack的安全性使Kubernetes集群可以在Openstack使用 下载并配置kubernetes客户端 创建Kubernetes应用程序 在Kubernetes上运行应用程序 现在让我们开始: 利用Murano创建Kubernetes集群 第一步是创建kubernetes集群.有几种方法都可以做到这一点,但是最简单的方式是通过…
之前介绍了redis cluster的结构及高可用集群部署过程,今天这里简单说下redis集群的迁移.由于之前的redis cluster集群环境部署的服务器性能有限,需要迁移到高配置的服务器上.考虑到是线上生产环境,决定在线迁移,迁移过程,不中断服务.操作过程如下: 一.机器环境 1 2 3 4 5 6 7 8 9 10 11 12 13 迁移前机器环境 ----------------------------------------------------------------------…
kubadm创建k8s集群 1:服务器信息以及节点介绍 主机名 ip 备注 k8s-master 192.168.0.104 master etcd keepalived k8s-client1 192.168.0.99 master etcd keepalived k8s-client2 192.168.0.114 node 虚拟IP:192.168.0.105 2.版本说明 docker 17.03.2-ce kubelet-1.10.0-0.x86_64 kubernetes-cni-0.…
1.为什么要用redis-cluster a.并发要求 redis官方声称可以达到10万每秒,但是如果业务需要每秒100万条呢?b.数据量太大 一台服务器的内存正常是16-256G,如果业务需要500G内存怎么办? 2.搭建redis-cluster 针对上述问题,redis-cluster集群就提供了很好的解决方案. (1).先准备环境,开启多个redis实例 [root@localhost redis_conf]# ls redis-.conf redis-.conf redis-.conf…
(1)dubbo负载均衡策略 1)random loadbalance 默认情况下,dubbo是random load balance随机调用实现负载均衡,可以对provider不同实例设置不同的权重,会按照权重来负载均衡,权重越大分配流量越高,一般就用这个默认的就可以了. 2)roundrobin loadbalance 还有roundrobin loadbalance,这个的话默认就是均匀地将流量打到各个机器上去,但是如果各个机器的性能不一样,容易导致性能差的机器负载过高.所以此时需要调整权…
(1)dubbo负载均衡策略 1)random loadbalance 默认情况下,dubbo是random load balance随机调用实现负载均衡,可以对provider不同实例设置不同的权重,会按照权重来负载均衡,权重越大分配流量越高,一般就用这个默认的就可以了. 2)roundrobin loadbalance 还有roundrobin loadbalance,这个的话默认就是均匀地将流量打到各个机器上去,但是如果各个机器的性能不一样,容易导致性能差的机器负载过高.所以此时需要调整权…
自己尝试安装SQL Server集群和配置AlwaysOn可用性组,服务器系统是Windows Server 2012 R2,SQL Server是2014企业版,我的环境是一台服务器,然后用Hyper创建了两台虚拟机也是Windows Server 2012 R2, 参照这个文章进行配置 https://www.linuxidc.com/Linux/2017-11/148394.htm ,这个文章里很详细的用图文介绍怎样一步一步的去安装和配置. 配置的步骤大致是: 1.配置一个域控服务器,我是…
集群信息 集群版本:1.13.1 3个控制平面,2个worker节点 k8s-001:10.0.3.4 k8s-002:10.0.3.5 k8s-003:10.0.3.6 k8s-004:10.0.3.7 k8s-005:10.0.3.8 vip::10.0.3.9 场景 出于某些原因删除了k8s-001节点,现在需要将k8s-001节点重新作为控制平面加入集群,在加入集群过程中出错 解决 解决kubeadm加入集群时etcd健康检查失败的问题 一般直接重新加入集群的话会出现下面的问题 [kub…
我们需要做以下工作: (1)安装VMware,运行CentOs系统,一个做master,一个做node. (2)安装K8s. (3)安装docker和部分镜像会需要访问外网,所以你需要做些网络方面的准备工作,大家可以去某宝找一下,或者在网络上找别人下好的也可以. 一.安装VMware 官网地址:https://my.vmware.com/zh/web/vmware/downloads  (网上有很多自带破解的下载,大家也可以找一下) 我这里下载的是VM15(安装和新建虚拟机的步骤就跳过了,我也是…
项目架构 Ego-search-web 服务的消费者,ego-rpc 服务提供者 建立 ego-search-web 项目 继承:ego 依赖:ego-common   ego-rpc-service pom.xml: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="…
ZooKeeper安装模式主要有3种: 单机版(Standalone模式)模式:仅有一个ZooKeeper服务 伪集群模式:单机多个ZooKeeper服务 集群模式:多机多ZooKeeper服务 1 单机版(Standalone模式)安装 ZooKeeper官网下载地址:http://zookeeper.apache.org/releases.html#download 如图所示进行操作: 注意一点,如果不想当小白鼠,请务必下稳定版(stable release),非稳定版安装时可能出各种未知的…
pom.xml代码: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <…
一.单机redis配置 1. 配置redis连接池 <bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig"> <!-- 控制一个pool可分配多少个jedis实例 --> <property name="maxTotal" value="${redis.maxTotal}"/> <!-- 控制一个po…
连接池集群选项 canRetry : 如果true ,连接池集群会在连接失败时尝试连接 默认true removeNodeErrorCount : 如果连接失败,节点的errCount增加.当errorCount大于removeNodeErrorCount,则这个节点 默认为5 restoreNodeTimeout : 超时时间 当时间为零 移除改连接并不在使用 默认为0 defaultSelector : 默认选择方式 默认为RR RR :轮转使用 RANDOM : 随机选择 ORDER :…
{ "vmtemplate": { "NAME": "bbbb", "MEMORY": "512", "CPU": "1", "DESCRIPTION": "aaaa", "DISK": [ { "IMAGE": "ubuntu-001-iso-image", &quo…
一.在pom.xml中增加redis需要的jar包 <!--spring redis相关jar包--> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.9.0</version> </dependency> <dependency> <groupId>…