蛟分承影,雁落忘归 —— 袋鼠云一站式全自动化运维管家 ChengYing(承影)正式开源
原文地址:
交流蛟分承影,雁落忘归——袋鼠云一站式全自动化运维管家ChengYing(承影)正式开源
技术交流:30537511(钉钉群)
我们兴奋的向大家宣布一个好消息
DTstackCon新成员
袋鼠云一站式全自动化全生命周期运维管家
ChengYing(承影)
正式开源
项目地址
Github开源地址:
https://github.com/DTStack/chengying
Gitee开源地址:
https://gitee.com/dtstack_dev_0/chengying
官方文档:
https://dtstack.github.io/chengying-web/
这是继ChunJun(纯钧)、Taier(太阿)后,袋鼠云数栈大数据名剑家族开源的第三支名剑,是袋鼠云开源项目史上又一里程碑事件,代表着数栈开源技术团队对于开源的决心与努力。
一、蛟 分 承 影
ChengYing(承影)——承袭于袋鼠云开源项目名剑家族的概念,取自十大名剑之承影剑。
ChengYing logo
承影铸于商朝,其出炉时两道剑光飞出,犹如蛟龙,有“蛟分承影,雁落忘归”之言,故名承影。承影为商天子佩剑,后由春秋时卫国藏剑名家孔周收藏,相传其有影无形,为气随机而动,代表着如影随形时刻守护的意义,正如ChengYing作为袋鼠云数栈的运维管家,提供大数据产品的一站式部署、运维、监控服务,为客户提供安全稳定的产品部署与监控。
二、缘 启 承 影
ChengYing脱胎于袋鼠云数栈自主研发的一站式运维管家EasyManager,在ChengYing正式开源之前,开源技术团队于去年先开源了一款为远程统一管理主机端Agent生命周期而设计的系统——EasyAgent,作为EasyManager的关键组件,可以实现数栈服务的安装、升级、卸载、启停和配置管理。
在EasyAgent开源后,受到了社区同学的广泛支持,与此同时社区对于EasyManager开源的呼声越发高昂,秉持着袋鼠技术人“源于开源,回馈开源”的一贯初心,数栈开源技术团队经过决定将EasyManager也就是ChengYing开源,而EasyAgent作为ChengYing Agent 重新与大家见面。
经过不懈的努力,曾经的设想终于在今天实现。ChengYing(承影)作为一站式全自动化全生命周期运维管家,提供大数据产品的一站式部署、运维、监控服务,其可实现产品部署、产品升级、版本回滚、扩缩节点、日志诊断、集群监控、实时告警等功能,致力于最大化节省运维成本,降低线上故障率与运维难度,为客户提供安全稳定的产品部署与监控。
三、形 自 承 影
ChengYing的logo设计沿袭十大名剑的概念,结合项目本身特性,以字母“Y”为设计主元素,融合进剑的锋利与尖锐进行设计,利用坚固的三角形去体现产品“稳定”的特性,而倒三角又体现着产品“支撑”的特性,而选择比较暗的蓝色也体现着我们“幕后”的特点。
LOGO主体以字母“Y”与六边形的几何图形组成,有完整、有组合、有分布、传达出本项目核心观念是一个全自动化生命周期的运维管家,其功能具有多样性与稳定性。
四、锋 出 承 影
ChengYing作为一站式全自动化全生命周期的运维管家,具备以下六大特性:
1►自动化部署
ChengYing通过规范化的步骤和参数约定制作出产品安装包,发布包中的Schema文件中配置了安装包中所有的服务,包含各服务的配置参数、健康检查参数,服务之间的依赖关系等。产品部署时可根据Schema中的相关配置实现一键全自动化部署。
2►界面化集群运维
Hadoop集群、大数据平台在日常运维中涉及到的节点扩容缩容、组件停止启动、服务滚动重启、服务参数修改、版本升级与回滚等多种运维操作,通过逻辑化、流程化的产品界面展现,方便运维人员操作和监控,提高运维效率。
3►仪表盘集群监控
通过集成开源的prometheus和grafana,实现对集群、服务、节点的核心参数监控,并通过灵活形象的仪表盘进行数据展现。包含CPU占用率,RAM使用率、磁盘空间、I/O读写速率等核心参数进行监控,实时掌握集群、服务、节点的运行状态,降低运维故障率。同时,支持用户自建仪表盘及监控项,实现自定义监控项。
4►实时告警
支持实时监控集群中各组件服务的运行指标,如CPU、内存、磁盘、读写IO等,并支持短信、钉钉、邮件告警通道配置,集成多种第三方消息插件。当集群服务出现异常时,可触发告警条件,系统将及时通知接收人。
5►强拓展性
通过自研的ChengYing Agent Server抽象出七大REST接口,安装、启动、停止、更新、配置修改、卸载、执行等与上层应用进行交互,可使agent类别和功能可轻松无限扩展。
6►安全稳定
数据安全、产品安全是大数据产品需要重点考虑的问题。ChengYing在产品设计中过滤掉rm、drop等命令行,防止对数据库的误操作,通过更加安全的方式执行相关命令。同时提供服务的滚动重启、产品的断电重启,解决运维时服务不停止运行的场景并节省运维时间。
►ChengYing操作页面
四、承 影 迭 代
ChengYing是一个用于大数据产品的一站式部署、运维、监控的标准产品,可以用于企业快速搭建企业内部的大数据平台,基于现有版本已经实现的功能,未来ChengYing将会计划:
1)服务编排:支持基于主机角色与服务类型自动编排,减少人工操作成本;
2)部署方式:支持自定义部署产品包流水线顺序;
3)安全认证:支持集群开启Kerberos认证,票据生成与下载;
4)监控告警:支持基于PromQL的自定义告警设置,丰富告警类型;
5)对接外部:支持对接外部LDAP连接;
6)操作系统:支持ubuntu系统主机接入。
六、雁 落 忘 归
今天我们开源了ChengYing,我们知道开源不是结束,而恰恰是开始。从2018年我们开源了第一个项目开始,4年间我们先后开源了ChunJun(原FlinkX)、FlinkStreamSQL、jlogstash、EasyAgent、Doraemon、Molecule、Taier等项目,这段时间里我们不断探索技术上的突破,将最新的技术成果与大家共享,也从许多社区同学中获得颇多助益,在互助共享的氛围中与大家一同成长。
未来,我们将持续秉持“源于开源 回馈开源”的初心,继续推出ChengYing后续版本,同时我们欢迎更多的公司和个人参与到开发者队伍中来,让ChengYing社区更加健壮、健康的发展,让更多人享受开源带来的技术红利!
蛟分承影,雁落忘归 —— 袋鼠云一站式全自动化运维管家 ChengYing(承影)正式开源的更多相关文章
- 袋鼠云研发手记 | 数栈·开源:Github上400+Star的硬核分布式同步工具FlinkX
作为一家创新驱动的科技公司,袋鼠云每年研发投入达数千万,公司80%员工都是技术人员,袋鼠云产品家族包括企业级一站式数据中台PaaS数栈.交互式数据可视化大屏开发平台Easy[V]等产品也在迅速迭代.在 ...
- 袋鼠云研发手记 | 袋鼠云EasyManager的TypeScript重构纪要
作为一家创新驱动的科技公司,袋鼠云每年研发投入达数千万,公司80%员工都是技术人员,袋鼠云产品家族包括企业级一站式数据中台PaaS数栈.交互式数据可视化大屏开发平台Easy[V]等产品也在迅速迭代.在 ...
- 袋鼠云旗下新公司云掣科技启航,深耕云MSP业务助推企业数字化转型
1983年3月15日,国际消费者联盟组织将3月15日确立为国际消费者权益日. 2019年3月15日,袋鼠云举办三周年年会. 一生二,二生三,三生万物.植树节后,万物生长. 年会现场,袋鼠云宣布成立新公 ...
- 袋鼠云研发手记 | 开源·数栈-扩展FlinkSQL实现流与维表的join
作为一家创新驱动的科技公司,袋鼠云每年研发投入达数千万,公司80%员工都是技术人员,袋鼠云产品家族包括企业级一站式数据中台PaaS数栈.交互式数据可视化大屏开发平台Easy[V]等产品也在迅速迭代.在 ...
- 华夏基金X袋鼠云:基金业数字化转型,为什么说用户才是解题答案?
"精准营销是以客户为中心,运用各种可利用的方式,在恰当的时间,以恰当的价格,通过恰当的渠道,向恰当的顾客提供恰当的产品." 这是学者许瑾在科特勒精准营销理论的基础上,从实践的角度对 ...
- .Net下极限生产力之efcore分表分库全自动化迁移CodeFirst
.Net下极限生产力之分表分库全自动化Migrations Code-First ## 介绍 本文ShardinfCore版本x.6.x.x+ 本期主角: - [`ShardingCore`](htt ...
- 袋鼠云出品!数栈UI 5.0全新体验升级,设计背后的故事
我们是袋鼠云数栈 UED 团队,致力于打造优秀的一站式数据中台产品.我们始终保持工匠精神,探索前端道路,为社区积累并传播经验价值. 前言 数栈作为云原⽣⼀站式⼤数据开发平台,从2016年发布第⼀个版本 ...
- 数据库分库分表容量划分建议参考阿里云DRDS原则
做分库分表的时候 一直想知道分库分表容量的最优规则有什么好的建议,以下是参考阿里云 DRDS 分库分表的规则,还是有一定的参考意义 .
- mysql运维------分库分表
1. 介绍 问题分析: 随着互联网以及移动互联网的发展,应用系统的数据量也是成指数式增长,若采用单数据库进行数据存储,存在以下性能瓶颈: IO瓶颈:热点数据太多,数据库缓存不足,产生大量磁盘IO,效率 ...
- linux运维面试前,先来检查这些基础知识忘了没?
知乎上有这样一个问题:一个新手面试 Linux 运维工作至少需要知道哪些知识?其中有一个答案对这一话题的解读非常深入,今天特别分享给大家. 一.什么是大型网站运维? 首先明确一下,全文所讲的”运维“是 ...
随机推荐
- HashMap-线程不安全的原因
前言 HashMap线程安全的问题,在各大面试中都会被问到,属于常考热点题目.虽然大部分读者都了解它不是线程安全的,但是再深入一些,问它为什么不是线程安全的,仔细说说原理,用图画出一种非线程安全的情况 ...
- MySQL-redo log 和 binlog
redo log部分 为什么需要redo log? 简单的说,如果每次更新数据库的操作,都去更新磁盘的话,开销是很大的.通过引入redo log日志,其中记录了每次更新的操作明细,在系统不繁忙的时候, ...
- 【uniapp】文本控件多余文字省略号代替
多余文字使用省略号效果 代码 .l-dd-content{ width: 100%; color: #8b8b8b; display: -webkit-box; /** 对象作为伸缩盒子模型显示 ** ...
- Python的日志
Python的日志,看上去啰啰嗦嗦的.请大神写了个通俗易懂简单方便通用的日志: import logging # 配置日志记录级别和输出方式 logging.basicConfig(level=log ...
- 学习Kotlin语法(三)
简介 在上一节,我们对Kotlin中面向对象编程(OOP)的相关知识有了大致的了解,本章节我们将去进一步了解函数.lambada表达式.内联函数.操作符重载.作用域函数. 目录 函数 函数的使用 参数 ...
- nodejs环境准备
这是为了针对nodejs使用来进行的环境准备,分出windows和ubuntu两种情况: Windows 环境 安装 Node.js 下载安装包:访问下面nodejs官网: 选择适合 Windows ...
- 利用 APEX 打造 Oracle 23ai 智能开发平台
Oracle 23ai 有很多新功能,但用户痛点是不会用. 因此计划开发一个适合小白的图形化界面Oracle 23ai智能开发平台,过程中也能学习APEX的玩法. 本篇先拿Oracle数据库向量操作相 ...
- ESP32+Arduino入门(一):开发环境搭建
前言 作为一名硬件小白,在动手组装了一下小智AI之后,感觉还挺有意思的,也想开始学习ESP32了. ESP32介绍 ESP32 是乐鑫科技(Espressif Systems)推出的一款高性能.低功耗 ...
- 将Particle转成UGUI
在unity官方论坛看到的一个解决方案,可以将Particle直接转换成CanvasRenderer元素显示.新建一个UIParticleSystem.cs脚本,将以下代码复制进去: using Un ...
- jmeter从文档CSV内读取参数且文件路径为相对路径
如下图,"全站链接扫描"脚本的参数化文件存储在同一目录的参数化文件夹内 预计实现读取该文件使用相对路径(非绝对路径,避免脚本在另一台电脑存在别的目录下能正常读取参数文件) 如读取& ...