白瑜庆：知乎基于Kubernetes的kafka平台的设计和实现

【白瑜庆：知乎基于Kubernetes的kafka平台的设计和实现】的更多相关文章

白瑜庆：知乎基于Kubernetes的kafka平台的设计和实现

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文首发在云+社区,未经许可,不得转载. 自我介绍我是知乎的技术中台工程师,现在是负责知乎的存储相关组件.我的分享主要基于三个,一个是简单介绍一下Kafka在知乎是的应用,另外一个是为什么做基于Kubernetes的Kafka平台,还有我们如何去实现了基于Kubernetes平台 Kafka在知乎的应用 Kafka一个是非常优秀的,消息或者是数据流的组件,在知乎承载了日志,数据收集,消息队列的服务日志,显而易见就包括业务,包括运行的D…

《基于Kubernetes舵手集群的设计与实现》

前言 <基于Kubernetes舵手集群的设计与实现>是我的毕业设计项目.本系统采用Kubernetes容器编排.基于Jenkins\Gitlab的CICD技术.EFK日志收集.Prometheus监控告警.Ceph后端存储和Harbor镜像管理,设计并实现了具有"源码一键部署"."日志实时收集"."监控告警展示"."数据存储分析"和"镜像管理维护"五大模块的舵手集群系统. 拓扑图总体架构图…

基于Kubernetes在AWS上部署Kafka时遇到的一些问题

作者:Jack47 转载请保留作者和原文出处欢迎关注我的微信公众账号程序员杰克,两边的文章会同步,也可以添加我的RSS订阅源. 交代一下背景:我们的后台系统是一套使用Kafka消息队列的数据处理管线:Kafka->Logstash->Elasticsearch.这些组件都跑在Docker的容器环境里,我们是基于Kubernetes来编排整个后端的数据处理管线上的容器.Kafka需要暴露在外网里,接收Kafka Producer(filebeat, collectd)发过来的消息.本文是记录基…

[系统集成] 基于Kubernetes 部署 jenkins 并动态分配资源

基于kubernetes 部署 jenkins master 比较简单,难点是为 jenkins 动态分配资源.基于kubernetes 为 jenkins 动态分配资源需要实现下述功能: 资源分配:jenkins 根据任务属性自动创建临时 docker 容器,并作为 slave 节点加入 jenkins 集群,实现资源的分配: 资源释放:任务执行结束后,jenkins 自动删除相关节点,并销毁相关 docker 容器,实现资源的释放: 整个资源分配和资源释放过程对用户来说是透明的,用户只需要创…

基于Kubernetes的WAF集群介绍

Kubernetes是Google开源的容器集群管理系统.它构建Docker技术之上,为容器化的应用提供资源调度.部署运行.服务发现.扩容缩容等整一套功能,可看作是基于容器技术的PaaS平台. 本文旨在介绍上元信安的WAF架构,我们实现一整套基于Kubernetes的WAF集群架构.实现了高可靠性.弹性扩容.灰度升级等功能. 整个集群由以下三个部分组成: l SLB负载均衡,可以云端的负载均衡器(比如阿里云的SLB),也可以是硬件或软件的4层负载均衡.由负载均衡把HTTP请求分发到不同的No…

基于Kubernetes 构建.NET Core 的技术体系

很多公司技术支持岗位的工作,如配置域名,部署环境,修改复位配置,服务重启,扩容缩容,梳理和完善监控,根据开发的需要查找日志等工作,需要和开发进行大量的沟通,如什么是外网域名,什么是内网域名.A name.C name,防火墙规则该如何设定,操作系统等基础环境需要什么依赖.因为很多研发不了解运维的术语和知识点,导致沟通困难,效率很低.而且这样的需求还很多,把运维压的喘不过气,占用了几乎所有的时间,但是开发的需求可能还是迟迟不能满足. 这样的公司可能遇到了以下问题: 系统架构过于陈旧,性能.可靠性无…

腾讯基于Kubernetes的企业级容器云平台GaiaStack (转)

GaiaStack介绍 GaiaStack是腾讯基于Kubernetes打造的容器私有云平台.这里有几个关键词: 腾讯:GaiaStack可服务腾讯内部所有BG的业务: Kubernetes:GaiaStack的技术实现主要是依托于Kubernetes和容器: 私有云:GaiaStack通过腾讯云向外部企业输出解决方案,并成功在金融.游戏.政务.互联网等各行业落地. GaiaStack的产品功能主要分为下面两个部分,分别是集群管理员的集群管理功能,以及集群用户的应用全生命周期管理的功能. 集群管…