摘要:openGemini是华为云面向物联网和运维监控场景开源的一款云原生分布式时序数据库,兼容InfluxDB API,具有高性能、高并发、高扩展等特点。

openGemini是华为云面向物联网和运维监控场景开源的一款云原生分布式时序数据库,兼容InfluxDB API,具有高性能、高并发、高扩展等特点。openGemini已在华为云内部广泛使用,如SRE基础设施运维监控系统、IoT物联平台等。其云服务GaussDB(for Influx)已服务超过100家来自物联网、车联网、智能制造等行业客户。

openGemini v0.2.0版本正式上线!

openGemini v0.2.0版本与之前版本特性功能保持兼容,并新增了5大特性,欢迎体验使用 v0.2.0版本!

https://github.com/openGemini/openGemini/releases/tag/v0.2.0

5大特性全面了解

支持Linux ARM64架构服务器适配

openGemini可在鲲鹏服务器或者其他ARM64架构的物联网设备上运行,单机性能相比InfluxDB提升了2-5倍,海量数据场景下openGemini性能更是大幅提升。

支持Docker容器化部署

openGemini提供了dockerfile和相关脚本,支持在KubeEdge 和 K8s平台部署集群。由于容器重新拉起后,IP地址随之变化,openGemini新增域名功能,确保集群节点在容器重启后依然可以保持连通。

应用部署文档见:https://github.com/openGemini/openGemini/tree/main/docker

openGemini自有客户端工具ts-cli

ts-cli兼容Influx用法,支持openGemini数据写入和查询的全部语句,还提供了openGemini常用命令的语法提示和查询时延回显功能,与Influx相比,目前暂不支持auth、数据导入导出等功能。
下载社区二进制安装包,解压后,ts-cli在usr/bin目录下,与其他组件二进制一起。如果通过源码编译方式,源码成功编译后,在ts-cli在build目录中。

新增AI时序数据分析算子castor

openGemini提供一套基于AI的数据分析引擎,该引擎支持独立节点部署,用于对castor算子提供异常检测能力。目前castor算子能检测的异常场景包括:

  • 数据突增突降异常,比如用于网络流量和服务器负载的波动异常分析
  • 数据超过阈值异常,比如用于油井下有毒气体、可燃气体浓度的告警
  • 数据持续增长或持续下降,比如用于建筑内部或数据中心的温度监测告警

详细介绍见:http://www.opengemini.org/docs Data Analysis

提供高性能数据分析Python库openGemini-castor

openGemini-castor是一个数据分析Python库,包含了多种基于AI的数据异常检测算法,为castor算子提供具体的分析算法支持。openGemini-castor库具备如下特性:

  • 高性能分析:支持每秒万级指标(时间线)实时、并发检测。
  • 流式检测:多种异常检测器都对流式异常检测做了相应的支持。完成流式数据的实时检测,只需缓存少量数据且每次不必输入大量历史数据,从而可以有效地缓解计算压力。
  • 告警抑制:针对不同场景,可以组合使用多种告警抑制器,以抑制误报和重复告警。
  • 严重程度分级:根据多种异常出现情况,按严重程度对异常进行分类。辅助开发者对故障严重程度的判断。
  • 灵活的算法编排:可通过配置参数灵活地制定检测流程。其中,异常检测器、告警抑制器和严重程度分级器都可以根据不同的需求进行配置。

访问https://github.com/openGemini/openGemini-castor,了解更多详情

v0.1.0提供了哪些能力?

openGemini v0.1.0虽然为初始版本,但在高性能、高安全、工具链、企业级特性、可扩展性、功能等五个方面已具备生产环境可使用的完整能力。

高性能

openGemini采用了MPP大规模并行处理分层架构,针对物联网、运维监控等领域海量数据管理和分析诉求,对计算引擎和存储引擎做了大量的优化设计,取得了明显效果。

  • 支持亿级指标管理
  • 每秒千万级指标数据并发写入
  • 查询万级指标数据毫秒级响应

相比开源的单机版InfluxDB,openGemini单机版写入性能提升5倍,复杂查询响应时间缩短60倍。

高安全

openGemini支持数据传输加密和用户密码鉴权,支持用户弱密码校验和审计日志。此外,openGemini集群的各组件之间通信采用了HTTPS双向认证(Mutual TLS),确保每一个链接都是可信的。

企业级特性

openGemini在v0.1.0版本中提供了如下企业级特性:

  • 采用列式数据存储,不同数据类型对应不同的数据压缩算法,相比传统关系型数据库,存储数据量可缩减10-20倍,可支持PB级指标数据的长期高效存储。相比HBase,存储空间节省90%以上
  • 支持数据保留策略,数据过期后自动删除
  • 支持写前日志(WAL),确保设备掉电后数据不丢失
  • 提供集群横向扩展能力,支持大并发数据访问
  • 结合时序数据特点,数据分热、温、冷多级存储,进一步提升了查询性能;
  • 提供了开源监控工具ts-monitor,可采集260余种内核和服务器关键监控指标,更好的观察系统的运行状况,快速定位和解决问题。

功能

openGemini提供丰富的分析算子(COUNT、SUM、MAX、MIN、LAST、MEAN等)60+种、统计分析算子(PERCENTILE分位数、HISTOGRAM直方图);支持TAG;支持嵌套查询。完全兼容InfluxDB内置函数功能。

可扩展性

openGemini集群由ts-sql、ts-store、ts-meta组成,ts-sql和ts-store可根据业务复杂进行灵活扩展,可支持100+节点的集群规模。

工具链

openGemini兼容InfluxDB API,因此InfluxDB支持1.x版本的工具链可以直接与openGemini对接。openGemini生态图谱如下图所示:

结束

感谢openGemini社区所有贡献者

物联网、运维监控就选openGemini,openGemini社区邀您一起,共创新、赢未来!

点击关注,第一时间了解华为云新鲜技术~

openGemini v0.2.0版本正式发布:5大特性全面增强的更多相关文章

  1. 分布式边缘容器项目 SuperEdge v0.7.0 版本来袭!

    作者 SuperEdge 开发者团队,腾讯云容器中心TKE Edge团队 摘要 SuperEdge是基于原生Kubernetes的分布式边缘云容器管理系统,由腾讯云牵头,联合英特尔.VMware威睿. ...

  2. Volcano 社区 v1.7.0 版本正式发布 | 云原生批量计算

    摘要:北京时间2023年1月9日,Volcano社区v1.7.0版本正式发布. 本文分享自华为云社区<Volcano 社区 v1.7.0 版本正式发布 | 云原生批量计算>,作者:华为云云 ...

  3. Kurator v0.3.0版本发布

    摘要:2023年4月8日,Kurator正式发布v0.3.0版本. 本文分享自华为云社区<华为云 Kurator v0.3.0 版本发布!集群舰队助力分布式云统一管理>,作者:云容器大未来 ...

  4. Volcano社区v1.6.0版本正式发布

    摘要:Volcano社区v1.6.0版本正式发布.此次版本增加了弹性作业管理.基于真实负载的动态调度. 基于真实负载的重调度.Volcano Job插件--MPI等多个新特性. 本文分享自华为云社区& ...

  5. 微信小程序商城开源项目,Weixin-App-Shop 1.0 版本正式发布!!!

    微信小程序商城开源项目,Weixin-App-Shop 1.0 版本正式发布 Weixin-App-Shop 是捷微团队开发的微信小程序商城开源项目,涵盖了微信商城的全部功能,能够快速发布简单易用的小 ...

  6. Vue CLI4.0版本正式发布了!一起来看看有哪些新的变化吧

    Vue CLI4.0版本正式发布 这个主要的版本更新主要关注底层工具的必要版本更新.更好的默认设置和其他长期维护所需的微调. 我们希望为大多数用户提供平稳的迁移体验. Vue CLI v4提供了对Ni ...

  7. 官宣!ElasticJob 3.0.0 版本正式发布

    ElasticJob 是面向互联网生态和海量任务的分布式调度解决方案,由两个相互独立的子项目 ElasticJob-Lite 和 ElasticJob-Cloud 组成.它通过弹性调度.资源管控.以及 ...

  8. GraphScope v0.12.0 版本发布

    GraphScope 每月进行常规版本的迭代与发布,GraphScope v0.12.0 全新版本在四月如期而至.v0.12.0 为交互式图查询 GAIA 引入全新的 IR 层以及新增 Giraph ...

  9. 小程序官网CMS开源项目出炉,Weixin-App-CMS 1.0 版本正式发布

    Weixin-App-CMS 是捷微团队开发的微信小程序CMS开源项目,涵盖了微网站的基本功能,能够快速发布简单易用的小程序网站.采用工具“微信web开发”上传小程序,即可快速体验发布体验小程序网站. ...

  10. 关于MUI v0.18.0版本 Table组件里的复选框不能选的解决方案

    前段时间在用MUI的时候,Table组件出现复选框不能选的bug(描述: 点击复选框,点击事件会触发,复选框勾选状态无变化). 解决方法: 用CheckBox组件代替Table组件自带的复选框. 解决 ...

随机推荐

  1. 使用 Kubernetes 简化平台工程

    平台工程在现代应用程序开发和部署中发挥的作用至关重要.随着软件应用程序变得越来越复杂和分散,对稳健且可扩展的基础设施的需求变得越来越重要.这就是平台工程的作用所在,它是支持整个软件开发生命周期的支柱. ...

  2. windows开发环境备份,再也不怕重装系统了

    每次重装系统后,都要重新安装软件,配置环境变量,极为繁琐.故作环境环境变量备份,常用软件恢复记录,前提是你的软件要安装在非系统盘,D/E盘等 软件安装在非系统盘 开发软件安装在非系统盘,建好目录.重装 ...

  3. 天上掉 Pizza

    实在不知道错哪了... 对着 std 检查了好几遍了QAQ 题解见注释(不过估计题解也是错的,不然为什么写错啊QAQ #include<bits/stdc++.h> using names ...

  4. vscode 切换分支时报错:The following untracked working tree files would be overwritten .....

    执行命令:git clean -d -fx   表示删除 一些 没有 git add 的 文件: git clean 参数 -n 显示将要删除的文件和目录: -x -----删除忽略文件已经对git来 ...

  5. DDD技术方案落地实践

    1. 引言 从接触领域驱动设计的初学阶段,到实现一个旧系统改造到DDD模型,再到按DDD规范落地的3个的项目.对于领域驱动模型设计研发,从开始的各种疑惑到吸收各种先进的理念,目前在技术实施这一块已经基 ...

  6. Android 锁屏时的生命周期

    锁定屏幕前,应用被打开:onCreate->onStart->onResume 此时按下电源键,锁定屏幕:onPause->onStop 解锁屏幕,重新回到应用:onRestart- ...

  7. HTTP 和 HTTPS 之间除了安全性区别外,还有哪些区别

    HTTP 和 HTTPS 是两种常见的网络协议,它们都是用于在浏览器和服务器之间传输数据的.但是,它们之间也有一些重要的区别,这些区别涉及到数据的安全性.传输性能.使用成本和搜索排名等方面.本文将从以 ...

  8. C/S结构用户界面设计

    C/S结构用户界面设计 [实验编号] 10003809547j  图形用户界面设计 [实验学时] 8学时 [实验环境] l 所需硬件环境为微机: l 所需软件环境为Microsoft Visual S ...

  9. ThreadPoolExecutor线程池内部处理浅析

    我们知道如果程序中并发的线程数量很多,并且每个线程都是执行一个时间很短的任务就结束时,会因为频繁创建线程而大大降低系统的效率,因此出现了线程池的使用方式,它可以提前创建好线程来执行任务.本文主要通过j ...

  10. Bert-vits2新版本V2.1英文模型本地训练以及中英文混合推理(mix)

    中英文混合输出是文本转语音(TTS)项目中很常见的需求场景,尤其在技术文章或者技术视频领域里,其中文文本中一定会夹杂着海量的英文单词,我们当然不希望AI口播只会念中文,Bert-vits2老版本(2. ...