Cloud Bursting解决方案,Serverless容器降本增效极致体验
本文分享自华为云社区《DTSE Tech Talk | 第42期:Cloud Bursting解决方案,Serverless容器降本增效极致体验》,作者:华为云社区精选。
线下IDC自建K8s集群容量无法满足业务峰值诉求?IDC基础设施扩容流程慢,一次性投入大,管理维护成本高?在《云原生Bursting,如何助力企业降本增效》的主题直播中,华为云云原生 DTSE 技术布道师刘雨青,聚焦华为云Serverless容器服务CCI提供的云原生Cloud Bursting解决方案,结合典型场景案例及实操演示,帮助企业和用户快速构建降本增效方案。
什么是Cloud Bursting
Cloud Bursting(云爆发)是一种在本地基础设施到达峰值容量时使用云计算资源的配置方法。当企业内部数据中心的计算资源不足时,他们会将额外的工作负载突增到外部第三方云服务。Cloud Bursting是一种方便而经济高效的方式,可为具有不同需求模式和周期性需求峰值的工作负载提供支持。
通过Cloud Bursting,云消费者可以执行以下操作:
- 高效使用本地资源
- 减少对本地基础设施的进一步投资
- 享受公有云带来的规模和灵活性
- 避免因业务激增而导致业务关键型应用程序服务中断
Cloud Bursting在云原生场景下新实现
Gartner预测,2025年,基于云原生平台的数字化业务比例将达到95%。云原生技术持续发展且市场占比不断提高, Serverless容器成为云原生2.0时代企业上云新的选择。
Serverless即通过容器来运行一个应用,且基于Serverless架构,我们无需为基础设施维护做管理,当前Serverless容器的采用规模也在逐渐增高,使用公有云Serverless容器服务可以有效降低运维成本和减少资源浪费。
华为云Serverless容器服务CCI ( Cloud Container Instance)是基于Serverless架构的容器服务。它具有极致弹性、随取随用、安全隔离、大规模多元算力、低成本等一系列特点。CCI服务是作为云原生Cloud Bursting场景下的资源提供者。云原生Bursting解决方案主要有三种接入方式——客户IDC接入、华为云容器集群接入、Console/API接入。
客户IDC接入
客户IDC场景下,即用户在自己的线下IDC中,拥有自建的K8s集群或者已使用类似华为云CCE 敏捷版服务,它托管了一套K8s集群,通过安装CCI提供的弹性套件,将自己的IDC业务弹性到云上的CCI。
华为云容器集群接入
用户通过华为云提供的CCE/ CCE Turbo,可以一键式创建K8s集群,但用户还需要自行管理Node节点。安装弹性套件后,用户可以将CCE内的高峰业务,弹性到CCI,做一个灵活的配合——用户可以将常用业务运行在集群上,高峰场景业务将它弹性到CCI。
Console/API接入
正常的接口调用,用户通过Console/API接入,进行业务下发。这种场景比较使用一些当前内部未使用K8s服务的企业,但内部具备自有的调度平台,虚机和容器同时使用,这种状态下,我们建议其可以采用这种方式。
云原生Bursting关键能力解析
云原生Bursting重要插件Virtual Kubelet
Virtual Kubelet是基于社区Virtual Kubelet开源项目开发的插件,作为一种虚拟的Kubelet用来连接Kubernetes集群和其他平台的API,主要场景是将K8s集群内业务弹性扩展到Serverless容器平台(如CCI等)。
社区VK基础能力:
- 管理VK-Node的生命周期
- 管理调度到VK-Node Pod的生命周期
- 提供节点级API(Pod Exec、Logs等)
CCI增强型VK扩展能力:
- Pod间网络互通、Service互通
- 支持挂载存储
- 智能校验、智能调度、智能屏蔽弹性资源池
- 云上日志、监控打通
- 环境一致性优化(DNS解析、Hostname、同步Event等)
- 大规模、可靠性增强
灵活的的调度控制策略
提供容器组(Pod)级别弹性控制能力
工作负载中添加virtual-kubelet.io/burst-to-cci标签,进行弹性控制,支持如下配置能力:
- auto:根据用户集群内调度器实际打分结果自动决定是否弹性至CCI,其中在TaintToleration算法上会优先选择调度到CCE节点
- localPrefer:集群资源不足时,将Pod部署到CCI
- enforce:强制调度至CCI
- off:不调度至CCI
使用Scheduler Profile对象管理弹性数量和缩容优先级
容器镜像线下线上统一管理
提供统一的镜像管理能力,简化Bursting过程镜像管理。
- 默认对接华为云SWR仓库,支持SWR企业仓库
- 提供工具一键式同步存量镜像到华为云SWR / SWR企业仓库
- 提供工具支持新增镜像的增量、定时同步华为云
- 支持直接访问自建harbor、云厂商企业仓库
- 支持通过镜像快照能力提升容器镜像下载性能,单镜像5s内下载
- Bursting弹性套件支持弹性过程中地址替换,业务配置零改造
基于Bursting套件,定义正则表达,替换pod yaml中镜像地址到华为云SWR。弹性过程业务无感,无需处理配置差异
自动匹配华为云仓库认证凭据,无需业务适配
全局的一致体验
提供全局业务统一入口
- Pod、ConfigMap、Service和Secret等资源统一从原K8s集群下发
- Pod依赖项增量同步,避免全量同步造成的带宽压力
- 支持K8s集群容器实例与弹性至CCI实例通过Service灵活互访
提供统一运维管理
- CCI Pod提供普罗标准监控接口,支持对接客户普罗监控平台
- CCI Pod内置fluent-bit插件,支持上传业务日志至kafka
- Virtual Kubelet根据用户Pod变化上报event等信息回传用户集群
云原生Bursting客户案例
基于Serverless容器打造Cloud Bursting灵活上云新体验
Q公司是全球最大的中文在线旅行网站,为消费者提供机票、酒店、会场、度假产品的实时搜索,并提供旅游产品团购以及其他旅游信息服务,为旅游行业合作伙伴提供在线技术、移动技术解决方案。
客户核心诉求:
受前期疫情等影响,客户减少IDC的硬件资源投资,改用云上资源,以降本增效。客户业务已经容器化,并在线下IDC中使用Kubernetes进行容器编排,希望减少或避免应用改造。
方案价值:
打通IDC和华为云容器CCI,实现IDC资源在公有云上弹性伸缩,云上资源按需使用,按秒计费,成本节省30+%。云上实例秒级弹性扩缩容,构筑基础设施层支撑上层业务流量变化的动态响应能力和稳定性。通过华为云提供的Virtual Kubelet组件完成从IDC的K8S集群到云上Serverless容器对接,无需客户二次开发,云上/IDC体验一致。
基于云原生Bursting打造开放、高效的云原生大数据平台
Z公司拥有2.3亿职场人用户,累计合作企业数达616万家。依托强大的数据实力,颠覆传统招聘模式,建设开放职岗生态系统,重塑人力资源市场招聘服务标准。凭借大数据和AI技术打造开放的人力资本生态,让人才和机会更精准高效的建立连接,为生态内的合作伙伴创造更多价值。
客户核心诉求 :
- 春招秋招及日常活动,算力流量上浮几倍,无法提前预测,需实时弹性。
- 未来计划与业务应用、算法业务等统一资源池和技术栈,混合部署;Yarn调度无法按部门按业务统计费用,预算申请与资源分配难。
- 原有大数据集群CPU、内存及硬盘等资源使用率低,但资源仍不足,节点弹性颗粒度大,资源浪费严重。
方案价值:
- 降本增效:改造后资源按需使用,CCE Turbo少量节点部署控制面,所有业务均弹性CCI,较之前的成本减低20%。利用云上高性能弹性资源,报表任务执行周期缩短一半,实时计算性能提高数倍。
- 统一平台:将Flink on K8s实践和经验拓展到Spark领域,构建出高效低成本云原生大数据平台,为更多人才和机会提供更高效连接,为企业提供更高价值的数据服务。
- 极致弹性助力头部社交公司轻松应对突发流量洪峰
W公司是互联网行业的重点和标杆,日活2.55亿、月活5.93亿,突发业务峰值流量高(如各种明星事件、春晚等),需要借助公有云实现快速弹性扩容能力。
客户核心诉求:
- IDC资源不足,应对突发事件难以支撑流量洪峰;
- 流量预警后,弹性伸缩效率低下,未及时扩容导致业务中断后难以快速恢复,直到流量洪峰退去;
- 远高于日常流量需求,高规格部署,资源成本造成巨大浪费。
方案价值:
日峰伸缩,每日业务高峰触发扩容,按需申请资源,按需计费,节省资源成本30%+;热点事件平稳运行,规模虚机+容器实例扩容运行业务,30秒扩容2.4万核,帮助W公司应对50+次热点事件突发流量。
更多华为云Serverless容器服务CCI以及量身定制Cloud Bursting解决方案,欢迎访问华为云官网:
- 产品页:https://www.huaweicloud.com/product/cci.html
- 帮助中心:https://support.huaweicloud.com/cci/index.html
Cloud Bursting解决方案,Serverless容器降本增效极致体验的更多相关文章
- kubernetes 降本增效标准指南| 容器化计算资源利用率现象剖析
作者:詹雪娇,腾讯云容器产品经理,目前主要负责腾讯云集群运维中心的产品工作. 张鹏,腾讯云容器产品工程师,拥有多年云原生项目开发落地经验.目前主要负责腾讯云TKE集群和运维中心开发工作. 引言 降本增 ...
- kubernetes 降本增效标准指南|ProphetPilot:容器智能成本管理引擎
作者 田奇,腾讯云高级工程师,专注大规模离在线混部,弹性伸缩,云原生成本优化,熟悉Kubernetes,关注云原生大数据.AI. 王孝威,腾讯云容器产品经理,热衷于为客户提供高效的 Kubernete ...
- 降本超30%,智聆口语通过 TKE 注册节点实现 IDC GPU 节点降本增效实践
背景介绍 腾讯云智聆口语评测(Smart Oral Evaluation,SOE)是腾讯云推出的中英文语音评测产品,支持从儿童到成人全年龄覆盖的语音评测,提供单词.句子.段落.自由说等多种评测模式,从 ...
- kubernetes 降本增效标准指南|理解弹性,应用弹性
弹性伸缩在云计算领域的简述 弹性伸缩又称自动伸缩,是云计算场景下一种常见的方法,弹性伸缩可以根据服务器上的负载.按一定的规则.进行弹性的扩缩容服务器. 弹性伸缩在不同场景下的含义: 对于服务运行在自建 ...
- kubernetes 降本增效标准指南| 资源利用率提升工具大全
背景 公有云的发展为业务的稳定性.可拓展性.便利性带来了极大帮助.这种用租代替买.并且提供完善的技术支持和保障的服务,理应为业务带来降本增效的效果.但实际上业务上云并不意味着成本一定较少,还需适配云上 ...
- 宙斯盾 DDoS 防护系统“降本增效”的云原生实践
作者 tomdu,腾讯云高级工程师,主要负责宙斯盾安全防护系统管控中心架构设计和后台开发工作. 导语 宙斯盾 DDoS 防护系统作为公司级网络安全产品,为各类业务提供专业可靠的 DDoS/CC 攻击防 ...
- 阿里云宣布 Serverless 容器服务 弹性容器实例 ECI 正式商业化
摘要: 阿里云宣布弹性容器实例 ECI(Elastic Container Instance)正式商业化,ECI 是阿里云践行普惠的云计算理念,将 Serverless 和 Container 技术结 ...
- 降本增效利器!趣头条Spark Remote Shuffle Service最佳实践
王振华,趣头条大数据总监,趣头条大数据负责人 曹佳清,趣头条大数据离线团队高级研发工程师,曾就职于饿了么大数据INF团队负责存储层和计算层组件研发,目前负责趣头条大数据计算层组件Spark的建设 范振 ...
- 英特尔内存革新助平安云 Redis 云服务降本增效
英特尔内存革新助平安云 Redis 云服务降本增效 英特尔 傲腾 数据中心级持久内存的引入,为平安云的降本增效开启了一条新的道路.通过对平安云 Redis 数据库产品的支持,用户能享受到性能优异且价格 ...
- 京东云开发者|ElasticSearch降本增效常见的方法
Elasticsearch在db_ranking 的排名又(双叒叕)上升了一位,如图1-1所示;由此可见es在存储领域已经蔚然成风且占有非常重要的地位. 随着Elasticsearch越来越受欢迎,企 ...
随机推荐
- 大数据实战手册-开发篇之spark实战案例:实时日志分析
2.6 spark实战案例:实时日志分析 2.6.1 交互流程图 2.6.2 客户端监听器(java) @SuppressWarnings("static-access") pri ...
- ClickHouse数据表迁移实战之-remote方式
1 引言 ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS).我们内部很多的报表.数据看板都基于它进行开发.今天为大家带来remote方式的ClickHouse数据表迁 ...
- Microsoft Azure中用户注册、应用注册、授权
背景 利用Microsoft Azure中令牌授予流读取登录用户信息(UserInfo),实现应用的单点登录: 1. 用户注册 此处用户注册,可以理解为一个管理员级别的用户注册: 点击注册:Azure ...
- charAt和substring方法的使用
charAt和substring方法的使用 一.charAt的相关应用 1.charAt方法 charAt截取单个字符,参数index范围从0开始,length-1截止. 2.语法 public ch ...
- 【项目学习】ERC-4337 抽象账户项目审计过程中需要注意的安全问题
抽象账户是什么 抽象账户(也有叫合约钱包)是 EIP-4337 提案提出的一个标准.简单来说就是通过智能合约来实现一个"账户(account)",在合约中自行实现签名验证的逻辑.这 ...
- ZEGO自研RTC+直播系统架构,如何支撑一场高质量直播
近年来得益于网络基础设施的进步,实时音视频(Real-Time Communication,以下简称 RTC)和直播(采用 CDN 进行内容分发)在各行业迅速落地,在疫情的催化下更是推动传统的教育.会 ...
- Hexo博客Next6.0版本主题配置(背景图片加载、侧边栏社交小图标设置、设置网站图标)
随机背景图片加载 原理 自动更换背景是修改添加背景的css样式实现 图片来源 https://source.unsplash.com/ 修改背景样式 修改themes\next\source\css\ ...
- 【EF Core】主从实体关系与常见实体关系的区别
上次老周扯了有关主.从实体的话题,本篇咱们再挖一下,主.从实体之间建立的关系,跟咱们常用的一对一.一对多这些关系之间有什么不同. 先看看咱们从学习数据库开始就特熟悉的常用关系--多对多.一对一.一对多 ...
- 你知道.NET的字符串在内存中是如何存储的吗?
毫无疑问,字符串是我们使用频率最高的类型.但是如果我问大家一个问题:"一个字符串对象在内存中如何表示的?",我相信绝大部分人回答不上来.我们今天就来讨论这个问题. 一.字符串对象的 ...
- DataGridView 控件分页
在使用Winform开发桌面应用时,工具箱预先提供了丰富的基础控件,利用这些基础控件可以开展各类项目的开发.但是或多或少都会出现既有控件无法满足功能需求的情况,或者在开发类似项目时,我们希望将具有相同 ...