个推基于Consul的配置管理

作者:个推应用平台基础架构高级研发工程师阿飞在微服务架构体系中,由于微服务众多,服务之间又有互相调用关系,因此,一个通用的分布式配置管理是必不可少的.一般来说,配置管理需要解决配置集中管理.在系统运行期间可实现动态配置.配置修改后支持自动刷新等问题. 在大多数微服务体系中,都会有一个名为配置文件的功能模块来提供统一的分布式配置管理.构建配置中心,统一对应用中各个微服务进行管理,对微服务体系的意义重大. Consul为什么适合做配置管理 Consul作为轻量级的分布式K/V存储系统,搭建方便,…

QCon技术干货：个推基于Docker和Kubernetes的微服务实践

2016年伊始,Docker无比兴盛,如今Kubernetes万人瞩目.在这个无比需要创新与速度的时代,由容器.微服务.DevOps构成的云原生席卷整个IT界.在近期举办的QCon全球软件开发大会上,个推应用平台基础架构高级研发工程师王志豪,基于他在基础架构方面多年的经验,分享了<个推基于Docker和Kubernetes的微服务实践>. 个推应用平台基础架构高级研发工程师王志豪一.微服务化微服务架构微服务是将单一的应用程序拆分成多个微小的服务,各个小服务之间松耦合,高内聚,每个…

基于Consul的数据库高可用架构

几个月没有更新博客了,已经长草了,特意来除草.本次主要分享如何利用consul来实现redis以及mysql的高可用.以前的公司mysql是单机单实例,高可用MHA加vip就能搞定,新公司mysql是单机多实例,那么显然这个方案不适用,后来也实现了故障切换调用dns api来修改域名记录,但是还是没有利用consul来实现高可用方便,后面会说明优势.redis单机多实例最正常不过了,那么redis单机多实例高可用也不太好做,当然也可以利用sentinel来实现,当failover以后调用脚本调用…

基于Consul的数据库高可用架构【转】

Spring Cloud 基于Consul 实现配置服务

Spring Cloud体系中提供了Config组件来进行配置服务管理.而Consul除了提供服务注册与发现功能外,同时也提供配置管理功能.本位将介绍如何结合Spring Cloud + Consul实现配置管理. 本文中使用的工程及环境参考上篇文章<Spring Cloud 基于Consul 实现服务注册与发现> 添加配置依赖在leon-consumer项目中添加配置依赖 <dependency> <groupId>org.springframework.cloud…

一个基于Consul的.NET Leader选举类库

前段时间有传言说Consul将不能在我国继续使用,后被查明是因法律问题Vault企业版产品不能在国内销售.Valut和Consul都是HashiCorp公司的产品,并且都推出了开源版本,继续使用开源版本都是没有问题的,虚惊一场.Consul是一款优秀的服务发现和配置管理产品,基于其提供的Session机制,可以很方便的实现Leader选举功能.这篇文章将介绍我编写的一个基于Consul的.NET Leader选举类库. 基于Consul的Leader选举原理 1.参加选举的程序可以在Consul…

简单RPC框架-基于Consul的服务注册与发现

*:first-child { margin-top: 0 !important; } body>*:last-child { margin-bottom: 0 !important; } /* BLOCKS =============================================================================*/ p, blockquote, ul, ol, dl, table, pre { margin: 15px 0; } /* HEAD…

基于consul高可用

1.介绍consul Consul 是一个支持多数据中心分布式高可用的服务发现和配置共享的服务软件,由 HashiCorp 公司用 Go 语言开发, 基于 Mozilla Public License 2.0 的协议进行开源. Consul 支持健康检查,并允许 HTTP 和 DNS 协议调用 API 存储键值对.命令行超级好用的虚拟机管理软件 vgrant 也是 HashiCorp 公司开发的产品.一致性协议采用 Raft 算法,用来保证服务的高可用. 使用 GOSSIP 协议管理成员和广播消…

基于 Consul 实现 MagicOnion(GRpc) 服务注册与发现

0.简介 0.1 什么是 Consul Consul是HashiCorp公司推出的开源工具,用于实现分布式系统的服务发现与配置. 这里所谓的服务,不仅仅包括常用的 Api 这些服务,也包括软件开发过程当中所需要的诸如 Rpc.Redis.Mysql 等需要调用的资源. 简而言之 Consul 就是根据 Key/Value 存储了一套所有服务的 IP/Port 集合,当你 Grpc 客户端需要请求某种服务的时候,具体的 IP 与端口不需要你自己来进行指定,而是通过与 Consul Agent 通信…

服务注册发现consul之四：分布式锁之四：基于Consul的KV存储和分布式信号量实现分布式锁

一.基于key/value实现我们在构建分布式系统的时候,经常需要控制对共享资源的互斥访问.这个时候我们就涉及到分布式锁(也称为全局锁)的实现,基于目前的各种工具,我们已经有了大量的实现方式,比如:基于Redis的实现.基于Zookeeper的实现.本文将介绍一种基于Consul 的Key/Value存储来实现分布式锁以及信号量的方法. 分布式锁实现基于Consul的分布式锁主要利用Key/Value存储API中的acquire和release操作来实现.acquire和release操作是…

个推基于 Apache Pulsar 的优先级队列方案

作者:个推平台研发工程师祥子一.业务背景在个推的推送场景中,消息队列在整个系统中占有非常重要的位置.当 APP 有推送需求的时候, 会向个推发送一条推送命令,接到推送需求后,我们会把APP要求推送消息的用户放入下发队列中,进行消息下发:当同时有多个APP进行消息下发时,难免会出现资源竞争的情况, 因此就产生了优先级队列的需求,在下发资源固定的情况下, 高优先级的用户需要有更多的下发资源.二.基于 Kafka 的优先级队列方案针对以上场景,个推基于 Kafka 设计了第一版的优先级队列方案.K…

032：基于Consul和MGR的MySQL高可用架构

目录一.Consul 1.Consul简介 2.准备环境 3.Consul 安装 4.Consul配置文件 5.Consul 服务检查脚本 6.Consul启动二.MGR搭建 1.MGR配置 2.MGR查看三 .Consul测试 1.MGR(多主模式)+ Consul模式 1.1 .Consul UI界面 1.2.Consul 检查DNS解析 1.3.切换测试 2.MGR(单主模式)+ Consul模式 + PorxySQL 2.1.PorxySQL配置 2.2 .查看页面 2.3.检查D…

基于Consul+Upsync+Nginx实现动态负载均衡

基于Consul+Upsync+Nginx实现动态负载均衡 1.Consul环境搭建下载consul_0.7.5_linux_amd64.zip到/usr/local/src目录 cd /usr/local/src wget https://releases.hashicorp.com/consul/0.7.5/consul_0.7.5_linux_amd64.zip 解压consul_0.7.5_linux_amd64.zip 需要先确认是否安装了unzip,如果没有安装先安装zip unz…

.NET Core 3.0之创建基于Consul的Configuration扩展组件

写在前面经过前面三篇关于.NET Core Configuration的文章之后,本篇文章主要讨论如何扩展一个Configuration组件出来.如果前面三篇文章没有看到,可以点击如下地址访问 .NET Core 3.0之深入源码理解Configuration(一) .NET Core 3.0之深入源码理解Configuration(二) .NET Core 3.0之深入源码理解Configuration(三) 了解了Configuration的源码后,再去扩展一个组件就会比较简单,接下来我们…

Prometheus基于consul自动发现监控对象 https://www.iloxp.com/archive/11/

Prometheus 监控目标为什么要自动发现频繁对Prometheus配置文件进行修改,无疑给运维人员带来很大的负担,还有可能直接变成一个“配置小王子”,即使是配置小王子也会存在人为失误的情况. Prometheus支持的多种服务发现机制 Prometheus数据源的配置主要分为静态配置和动态发现, 常用的为以下几类: static_configs: 静态服务发现 file_sd_configs: 文件服务发现 dns_sd_configs: DNS 服务发现 kubernetes_sd…

个推基于 Zipkin 的分布式链路追踪实践

作者:个推应用平台基础架构高级研发工程师阿飞 01业务背景随着微服务架构的流行,系统变得越来越复杂,单体的系统被拆成很多个模块,各个模块通过轻量级的通信协议进行通讯,相互协作,共同实现系统功能. 单体架构时,一个请求的调用链路很清晰,一般由负载均衡器将用户请求转发到后端服务,由后端服务进行业务处理,需要的数据从外部的存储中获取,处理完请求后,再经由负载均衡器返回给用户. 而在微服务架构中,一个请求往往需要多个模块共同协作处理,不同模块可能还依赖于不同的外部存储,各个模块的实现…

【架构篇】ASP.NET Core 基于 Consul 动态配置热更新

背景通常,.Net 应用程序中的配置存储在配置文件中,例如 App.config.Web.config 或 appsettings.json.从 ASP.Net Core 开始,出现了一个新的可扩展配置框架,它允许将配置存储在配置文件之外,并从命令行.环境变量等等中检索它们. 在传统项目中,修改配置文件,需要登录生产环境进行修改,当项目多的时候,不便于维护和管理. 因此我们通过Consul在线实时配置,则达到了只更改配置不重启服务即可实时响应的目的.实现思路基于Consul的Key/value…

spring cloud:搭建基于consul的服务提供者集群(spring cloud hoxton sr8 / spring boot 2.3.4)

一,搭建基于consul的服务提供者集群 1,consul集群,共3个实例: 2, 服务提供者集群:共2个实例: 3,服务消费者:一个实例即可 4,consul集群的搭建,请参考: https://www.cnblogs.com/architectforest/p/13735545.html 5,演示例子实现生产环境中需要的高可用: consul server集群和服务提供者集群说明:刘宏缔的架构森林是一个专注架构的博客,地址:https://www.cnblogs.com/architect…

一个故事，一段代码告诉你如何使用不同语言（Golang&C#）提供相同的能力基于Consul做服务注册与发现

目录引言什么是微服务传统服务微服务什么是服务注册与服务发现为什么要使用不同的语言提供相同的服务能力服务协调器服务注册 Golang C#(.NetCore3.1) 服务发现通过HttpClient发现服务,并访问注销一个coffee-service实例再访问引言趁着最近休息写一篇关于微服务架构中特别重要一环服务注册与发现示例来互相探讨学习. 什么是微服务传统服务举个栗子: 传统服务就类似于你们家附近的商店,这个商店可以提供你基本日常所需.你可以在里面买牙膏.零食.饮料…

.NET Core微服务之基于Consul实现服务治理

Tip: 此篇已加入.NET Core微服务基础系列文章索引一.Consul基础介绍 Consul是HashiCorp公司推出的开源工具,用于实现分布式系统的服务发现与配置.与其他分布式服务注册与发现的方案,比如 Airbnb的SmartStack等相比,Consul的方案更“一站式”,内置了服务注册与发现框架.分布一致性协议实现.健康检查.Key/Value存储.多数据中心方案,不再需要依赖其他工具(比如ZooKeeper等),使用起来也较为简单. Consul用Golang实现,因此具…

.NET Core微服务之基于Consul实现服务治理（续）

Tip: 此篇已加入.NET Core微服务基础系列文章索引上一篇发布之后,很多人点赞和评论,不胜惶恐,这一篇把上一篇没有弄到的东西补一下,也算是给各位前来询问的朋友的一些回复吧. 一.Consul服务注册之配置文件方式 1.1 重温Consul实验集群这里我们有三个Consul Server节点,一个Consul Client节点,在Client节点上跑了两个ClientService实例,分别占用8810和8820端口.至于基于Ocelot的API网关服务,还没有实现,留到以后跟各位分享…

【Nginx】基于Consul+Upsync+Nginx实现动态负载均衡

一.Http动态负载均衡什么是动态负载均衡动态负载均衡实现方案常用服务器注册与发现框架二.Consul快速入门 Consul环境搭建三.nginx-upsync-module nginx-upsync-module简介 nginx-upsync-module安装及配置整个流程一.Http动态负载均衡什么是动态负载均衡传统的负载均衡,如果Upstream参数发生变化,每次都需要重新加载nginx.conf文件, 因此扩展性不是很高,所以我们可以采用动态负载均衡,实现Upstream…

15、基于consul+consul-template+registrator+nginx实现自动服务发现

一.架构图二.组件介绍 1.Registrator Registrator:一个由Go语言编写的,针对docker使用的,通过检查本机容器进程在线或者停止运行状态,去注册服务的工具.所以我们要做的实验,所有的工具都是在docker上运行的,就是因为registrator是通过检查docker容器的状态来判断服务状态的,这样就和我们的代码实现完全解耦了,对上层透明化,无感知.它有如下特点通过docker socket直接监听容器event,根据容器启动/停止等event来注册/注销服务每个容器…

基于 Consul 的 Docker Swarm 服务发现

Docker 是一种新型的虚拟化技术,它的目标在于实现轻量级操作系统的虚拟化.相比传统的虚拟化方案,Docker 虚拟化技术有一些很明显的优势:启动容器的速度明显快于传统虚拟化技术,同时创建一台虚拟机占用的资源也要远远小于传统的虚拟技术.Swarm 是 Docker 集群化的技术,而 Swarm 集群化 Docker 离不开服务发现.Consul 能够解决 Swarm 的服务发现问题.本文将介绍 Swarm 如何使用 Consul 作为服务发现. Docker Swarm 服务发现 Docker…

.NET Core微服务之路：基于Consul最少集群实现服务的注册与发现（二）

重温Consul最少化集群的搭建 …

基于consul构建golang系统分布式服务发现机制

原文地址-石匠的Blog: http://www.bugclosed.com/post/5 在分布式架构中,服务治理是一个重要的问题.在没有服务治理的分布式集群中,各个服务之间通过手工或者配置的方式进行服务关系管理,遇到服务关系变化或者增加服务的时候,人肉配置极其麻烦且容易出错. 之前在一个C/C++项目中,采用ZooKeeper进行服务治理,可以很好的维护服务之间的关系,但是使用起来较为麻烦.现在越来越多新的项目采用consul进行服务治理,各方面的评价都优于ZooKeeper,经过几天的研究…

consul Consul vs. ZooKeeper, doozerd, etcd

小结 1.Consul 功能更丰富: 2. 暴露http接口避免暴露系统复杂性 The Consul clients expose a simple HTTP interface and avoid exposing the complexity of the system to clients in the same way as ZooKeeper. 3.健康检查health checking的不同实现: Consul vs. Other Software - Consul by Hashi…