三分钟带你了解一站式大数据平台运维管家ChengYing产品包制作
课件获取:关注公众号 “数栈研习社”,后台私信 “ChengYing” 获得直播课件
视频回放:点击这里
ChengYing 开源项目地址:github 丨gitee 喜欢我们的项目给我们点个__ STAR!STAR!!STAR!!!(重要的事情说三遍)__
技术交流钉钉 qun:30537511
产品包的构成
01 产品包制作前置条件
在制作产品包之前,我们首先要完成以下3个步骤:
ChengYing已部署完成,ChengYing的部署内容可以参考【ChengYing安装原理】。
组件原料准备完成(组件原料主要是指已经编译完成的二进制包)。
当以上两个步骤完成之后,我们就可以开始产品包的制作。
02 产品包构成
产品包主要由schema.yml及各服务目录组成。Schema主要主要描述产品的组成,是一个编排文件,服务目录类似于工作目录,也有可能是静态组件,我们以下面两个产品包介绍为例:
● 基础服务包
上层应用所依赖的服务、例如mysql、zookeeper等服务,其目录结构如下:

● Java应用包
Java应用层产品包、包含的组件,前端,后端,sql组件、其目录结构如下:

Schema解析&产品包制作
接下来我们来重点了解下Schema相关的内容。
01 Schema解析
Schema.yml是整个产品包的核心文件,其内容主要描述了产品包里所有组件信息以及配置变量。
产品所属父级名称(parent_product_name)
产品名称(product_name)
产品版本(product_version)
服务名(service)


配置文件(application.properties)

schem语法参考:
https://dtstack.github.io/chengying-web/docs/chengyingDocs/introduction/schema
02 部署流程
部署流程在上述的Schema解析中都有体现,主要是以下流程:
● 安装(install)
从ChengYing服务端下载组件,并执行post_deploy.sh脚本,成功则进行下一步。
● 启动(running)
执行Schema文件中所定义的启动脚本,执行失败,脚本返回“1”则表示run failed ,反之则表示启动成功。
● 健康检查(healthy-check)
定时执行健康检查脚本(health.sh)。
案例分享
接下来为大家分享两个ChengYing产品包制作的案例
01 Base包制作
以Base产品包为例,其中主要包含zookeeper,mysql,mysql_slaves等组件。
1.官网下载二进制安装包
2.脚本编写(启动脚本,监控脚本,部署脚本)
3.提取参数,编写Schema
4.使用Mero工具制作产品包
产品包地址:
curl http://172.0.0.1:8864/api/v2/product/upload -F 'package=@DTBase_2.1.19.tar'
注意:IP为ChengYying所在服务的节点ip,产品包则是执行mero命令后所生成的文件
02 Taier产品包制作
Taier属于Java应用,前后端分离部署的架构模式。
1.下载前端代码,进行编译获取编译后的js文件
2.下载后端代码,进行编译后获取编译后jar包
3.按模块划分目录
4.提取参数,编写schema
5.使用mero工具制作产品包
产品包地址:
curl http://172.0.0.1:8864/api/v2/product/upload -F 'package=@Taier_4.2.1_rel.tar'
注意:IP为ChengYying所在服务的节点ip,产品包则是执行mero命令后所生成的文件
03 附录
● 关于Base产品包
Mysql二进制包:
https://downloads.mysql.com/archives/community/
Zookeeper二进制包下载:
https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/
● 关于Taier产品包
Taier源码下载:https://github.com/DTStack/Taier
前端编译命令:npm run build
后端编译命令:mvn clean package -DskipTests -T 1C -pl taier-data-develop,taier-common,taier-worker/taier plugins -am –amd
● Mero下载地址
https://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/mero
袋鼠云开源框架钉钉技术交流qun(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:https://github.com/DTStack/Taier
三分钟带你了解一站式大数据平台运维管家ChengYing产品包制作的更多相关文章
- GreenPlum 大数据平台--运维(三)
一,操作命令 01,启动gpstart 参数说明 COMMAND NAME: gpstart Starts a Greenplum Database system. ***************** ...
- GreenPlum 大数据平台--运维(二)
.如何获取查询运行时和已用时间. 例子: Select tstart, tfinish, (tfinish-tstart) as total_time, trim(query_text) from q ...
- GreenPlum 大数据平台--运维(一)
.最后分析或真空或创建表或等... Select * from pg_stat_operations where schemaname='SCHEMA NAME ' and actionname in ...
- IT职业技能图谱:架构师、H5、DBA、移动、大数据、运维...
转载 作者:StuQ 文章收藏自微信:InfoQ 时隔近5个月,StuQ的小伙伴们再次出品了IT职业技能图谱更新版.这回除更新之前版本外,还添加了架构师.HTML 5.DBA等新的职业技能图谱.正 ...
- Hadoop大数据学习视频教程 大数据hadoop运维之hadoop快速入门视频课程
Hadoop是一个能够对大量数据进行分布式处理的软件框架. Hadoop 以一种可靠.高效.可伸缩的方式进行数据处理适用人群有一定Java基础的学生或工作者课程简介 Hadoop是一个能够对大量数据进 ...
- Train-Alypay-Cloud:蚂蚁大数据平台培训开课通知(第三次)
ylbtech-Train-Alypay-Cloud:蚂蚁大数据平台培训开课通知(第三次) 1.返回顶部 1. 您好! 很高兴通知您,您已经成功报名将于蚂蚁金服计划在2018年2月28日- 2018年 ...
- Train-Alypay-Cloud:蚂蚁大数据平台培训开课通知(第三次)- 培训笔记3(机器学习平台)
ylbtech-Train-Alypay-Cloud:蚂蚁大数据平台培训开课通知(第三次)- 培训笔记3(机器学习平台) 机器学习平台 一站式可视化机器学习 https://pai.cloud.ali ...
- 三:基于Storm的实时处理大数据的平台架构设计
一:元数据管理器==>元数据管理器是系统平台的“大脑”,在任务调度中有着重要的作用[1]什么是元数据?--->中介数据,用于描述数据属性的数据.--->具体类型:描述数据结构,数据的 ...
- 奇点云数据中台技术汇(一) | DataSimba——企业级一站式大数据智能服务平台
在这个“数据即资产”的时代,大数据技术和体量都有了前所未有的进步,若企业能有效使用数据,让数据赚钱,这必将成为企业数字化转型升级的有力武器. 奇点云自研的一站式大数据智能服务平台——DataSimba ...
- 时间序列大数据平台建设(Time Series Data,简称TSD)
来源:https://blog.csdn.net/bluishglc/article/details/79277455 引言在大数据的生态系统里,时间序列数据(Time Series Data,简称T ...
随机推荐
- webpack3使用additionalData和prependData都不管用
10.css相关配置 utils.js sass: generateLoaders('sass', { indentedSyntax: true, implementation: require('n ...
- 【VMware VCF】启动和关闭 VMware Cloud Foundation 环境的正确顺序。
为了避免出现数据丢失以及保证 SDDC 组件的正常运行,启动和关闭 VMware Cloud Foundation 环境中的组件应该遵循特定的顺序.比如,在关闭管理工作负载域之前,应该先关闭 VI 工 ...
- 【SpringCloud】zuul路由网关
zuul路由网关 概述描述 路由基本配置 路由访问映射规则 查看路由信息 过滤器 太老旧了,就不做了解了
- 学习unigui【27】像pg的jsonb一样编辑json。
var I: Integer; CurrentObject: TJSONObject; FieldName: string; Pair: TJSONPair;function CreateJS ...
- 搭建Zookeeper、Kafka集群
搭建Zookeeper.Kafka集群 Zookeeper.Kafka集群系统环境配置 配置IP ssh root@192.168.1.190 "rm -rf /etc/machine-id ...
- 🎀CSDN-自定义公众号卡片
简介 在CSDN新增自定义模块,创建自己的公众号卡片用于展示. 效果展示 公众号卡片 动态效果 鼠标移入前为公众号指引页 鼠标移入后显示公众号二维码 切换动画为动态反转 首页效果 前提 CSDN需开通 ...
- 🎀windows-剪切板
简介 Windows 剪贴板是一个临时存储区域,它允许用户在不同应用程序之间复制和粘贴文本.图像和其他类型的数据.从 Windows 10 开始,微软引入了一个改进的剪贴板功能,称为剪贴板历史记录,它 ...
- fiddler的composer设计器
1.过程:点击composer,把要修改请求体的会话拖到composer空白处,composer出现请求方式,url,请求报文,请求体 2.在请求体中修改请求内容(比如删除号码),然后点击excute ...
- 基于 OT-JSON 与 Immer 设计低代码/富文本场景的状态管理方案
在复杂应用中,例如低代码.富文本编辑器的场景下,数据结构的设计就显得非常重要,这种情况下的状态管理并非是redux.mobx等通用解决方案,而是需要针对具体场景进行定制化设计,那么在这里我们来尝试基于 ...
- SkyWalking服务监控简单配置【Windows版本】
SkyWalking是什么 skywalking是一个可观测性分析平台和应用性能管理系统专为微服务.云原生架构和基于容器(Docker.K8s.Mesos)架构而设计. 下载 官网:https://s ...