众所周知,「用户体验」除了在UI上的高互动性、操作便捷性之外,更关键的是系统的性能体验。而性能的决定参数是系统吞吐量和响应速度。在 PC 机时代我们往往通过提升系统的硬件来强行拉高系统响应水平,但硬件不可能永无止境地扩展,早在 2005 年,芯片大厂因特尔 CEO 就提出仅依靠硬件垂直提升系统性能的时代早已经过去,「分布式」成为当前效率改革的主流。

「分布式系统」是指在单台服务器无法承受访问和数据处理压力的情况下,引申出的将应用系统进行服务拆解,利用更多服务器完成共同任务以处理巨量数据。故而分布式应用在面对高并发、大数据量的处理要求时往往比中心化服务表现的更加优秀,同时自身的高可扩展性支持水平和弹性伸缩,使应用系统在面对尖峰流量时也得心应手。

CloudQuery 作为企业数据库管控平台,除内部人员频繁的访问请求外,平台自身服务也有很大的资源需求。例如审计服务,在流式处理数据的同时还需要实时输出维度分析报表、预警风险信息等。而 1.4.0 版本新增的 DTS 服务则需要以更高的速度来处理用户数据导入、导出等操作。针对以上情景,我们采用了分布式部署方案,将高资源、高消耗、高计算的服务进行独立部署,在提高性能和响应速度的同时不影响主体标准服务的请求处理。

同时,安装方式由原来「一刀切」式的安装调整为「模块化」安装。所谓「模块化安装」就是封装细节、服务拆解,彼此互不影响,每个模块实现各自特定功能,极大降低了服务耦合度,以最少的模块和零部件快速满足个性化安装需求。

「模块化安装」方式已调整至 CloudQuery v1.4.1,以页面化的方式选择安装模块,下载解压安装包成功后使用命令行授权脚本执行权限。

chmod +x install  //授权安装

授权成功后,执行命令启动预安装服务:

./install

预安装服务启动成功后会返回预安装页面地址,将该地址复制至浏览器即可进入「模块化安装」界面进行自定义配置安装,自定义配置主要包含四块:基础模块、可选模块、可选数据源和系统配置。

首先基础模块包括了用户、查询、任务中心、通知、web、以及平台持久层数据存储服务,可针对当前 CloudQuery 所有基础镜像进行自定义端口配置(如下图)。

对于「可选模块」,用户可根据自身场景进行选择,内容包括:审计、任务中心和终端。

完成「可选模块」后可选择所需数据源类型。

所有功能性配置完成后可进行「系统配置」,包括安装路径以及日志上限。

以上全部配置项配置完毕后即进入自动安装过程,进度框中可实时查看当前安装进度,过程中遇到问题可及时定位并解决。

此次安装方式升级后,CloudQuery 会在现有的标准服务上继续迭代。完善自身平台功能,不断推出更多数据相关模块,助力企业内部数据操作更加便捷化、自动化,使开发、运维人员效率提速。

BTW,8月31日,我们将进行 CloudQuery v1.4.2 答疑直播,为大家讲解演示近两个版本更新的核心功能,包括 OpenAPI、模块化安装、数据导入、新增数据源 PolarDB 等。同时,就近期社区同学提出较多的问题进行公开答疑,并排布迭代计划。

「模块化安装」,定义你自己的CloudQuery的更多相关文章

  1. Windows 10 如何使用「系统还原」功能备份系统状态和配置

    https://www.sysgeek.cn/windows-10-system-restore/ 在 Windows 10 系统中,「系统还原」功能旨在创建配置快照,并在检测到系统更改时将其工作状态 ...

  2. 拇指玩」制作的「谷歌安装器」app

    作者:匿名用户链接:https://www.zhihu.com/question/57468448/answer/153000587来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请 ...

  3. 「下载神器」aria2 懒人安装教程 [Windows]

    是一款开源.轻量级的多协议命令行下载工具,支持 HTTP/HTTPS.FTP.SFTP.BitTorrent 和 Metalink 协议,拥有众多第三方支持插件,被誉为「下一代下载工具」和「下载神器」 ...

  4. 重学 Java 设计模式:实战代理模式「模拟mybatis-spring中定义DAO接口,使用代理类方式操作数据库原理实现场景」

    作者:小傅哥 博客:https://bugstack.cn 沉淀.分享.成长,让自己和他人都能有所收获! 一.前言 难以跨越的瓶颈期,把你拿捏滴死死的! 编程开发学习过程中遇到的瓶颈期,往往是由于看不 ...

  5. 「C语言」Windows+EclipseCDT下的C语言开发环境准备

    之前写过一篇 「C语言」在Windows平台搭建C语言开发环境的多种方式 ,讨论了如何在Windows下用DEV C++.EclipseCDT.VisualStudio.Sublime Test.Cl ...

  6. 基于 Node.js 的轻量「持续集成」工具 CIZE

    CIZE 是什么? CIZE 是一个「持续集成」工具,希望能让开发人员更快捷的搭建一个完整.可靠.便捷的 CI 服务. 甚至可以像 Gulp 或 Grunt 一样,仅仅通过一个 cizefile.js ...

  7. 【微信小程序】开发实战 之 「配置项」与「逻辑层」

    微信小程序作为微信生态重要的一环,在实际生活.工作.商业中的应用越来越广泛.想学习微信小程序开发的朋友也越来越多,本文将在小程序框架的基础上就微信小程序项目开发所必需的基础知识及语法特点进行了详细总结 ...

  8. 声网教育aPaaS 产品灵动课堂:「低代码」开发,15分钟极速上线

    1 月 20 日,声网Agora 在官网正式发布教育行业首款 aPaaS 产品灵动课堂,帮助教育机构和开发者最快 15 分钟上线自有品牌.全功能的在线互动教学平台,节省 90% 开发时间.目前,声网面 ...

  9. 前端构建工具之gulp(一)「图片压缩」

    前端构建工具之gulp(一)「图片压缩」 已经很久没有写过博客了,现下终于事情少了,开始写博吧 今天网站要做一些优化:图片压缩,资源合并等 以前一直使用百度的FIS工具,但是FIS还没有提供图片压缩的 ...

  10. 「zigbee - 1」工欲善其事必先利其器 - IAR for 8051 IDE customization

    最近在实验室做一些 Zigbee 相关的事情,然而一直没在博客上记录啥东西,也不像原来在公司有动力在 Confluence wiki 上扯东扯西.直到前些阵子,跑到 feibit 论坛上(国内较大的一 ...

随机推荐

  1. Excel 拼接为 SQL 并打包 exe

    关于 Excel 拼接 sql 这个操作, 我已经整过好几篇了, 当然在工作中也是蛮常用的, 今天主要是来写个终篇, 彻底结束它, 然后将代码进行打包为 exe 这样的桌面小软件, 除了自己用, 也可 ...

  2. codeup之字符串比较

    Description 比较两个字符串s1和s2的大小,如果s1>s2,则输出一个正数:若s1=s2,则输出0:若s1<s2,则输出一个负数. 要求:不用strcpy函数:两个字符串用ge ...

  3. X86C++反汇编01.IDA和提取签名

    https://bpsend.net/thread-415-1-1.html 用VC6.0新建一个控制台工程 编译成 debug 和 Release 2个版本 应ida分别查看2种版本的程序 高版本i ...

  4. WindowsPE文件格式入门04.导入表

    https://bpsend.net/thread-307-1-1.html PE 内部保存了导入的dll 和 api信息,这些信息保存到一个表里面.称为导入表, 导入表就是 记住一个可执行文件导入了 ...

  5. JumpServer介绍及v4版本单机部署

    概述 JumpServer官网:https://www.jumpserver.org/ JumpServer官网文档:https://docs.jumpserver.org/zh/v4/ GitHub ...

  6. RabbitMQ的连接方式

    一.帐号密码连接 直接设置各个属性值,其中许多属性有其默认值,例如 connection = pika.BlockingConnection(pika.ConnectionParameters(vir ...

  7. Git回滚命令reset|回退代码到某次commit

    摘要:使用Git回退命令reset回退代码到某次commit.   需求背景: 需要回滚提交的代码的场景常常是如下三个: 提交代码到错误Git分支: 提交的代码不需要上线了,而同一分支有需要上线的代码 ...

  8. ArkUI-X应用工程结构说明

    简介 本文档配套ArkUI-X,将OpenHarmony ArkUI开发框架扩展到不同的OS平台,比如Android和iOS平台,让开发者基于ArkUI,可复用大部分的应用代码(UI以及主要应用逻辑) ...

  9. 学习spring cloud记录11-Feign初体验

    前言 Feign英语单词,主要用作为动词,用作动词译为"装作;假装,伪装;捏造(借口.理由等);创造或虚构,假装;装作;作假;佯作" Feign是一个声明式的http客户端,起作用 ...

  10. VBA使用Outlook自动发送邮件

    ↓↓↓欢迎关注我的公众号,在这里有数据相关技术经验的优质原创文章↓↓↓ 基础版本–能自动发送就是成功 利用VBA使用Outlook自动发送邮件,代码及注释如下: Sub send_mail() Dim ...