概述 最近,Amazon新推出了完全托管的时间序列数据库Timestream,可见,各大厂商对未来时间序列数据库的重视与日俱增.阿里云TSDB是阿里巴巴集团数据库事业部研发的一款高性能分布式时序时空数据库,在即将过去的2018年,我们对TSDB进行了多次的系统架构改进,引入了倒排索引.无限时间线支持.时序数据高压缩比算法.内存缓存.数据预处理.分布式并行聚合.GPU加速等多项核心技术,并且引入了新的计算引擎层和分布式SQL层,使得引擎核心能力有了质的提升,也基本上统一了集团内部的监控存储业务.2…

本文选自云栖大会下一代云数据库分析专场讲师自修的演讲——<TSDB云边一体化时序时空数据库技术揭秘> 自修 —— 阿里云智能数据库产品事业部高级专家 认识TSDB 第一代时序时空数据处理工具 虽然通用关系数据库可以存储时序数据,但是由于缺乏针对时间的特殊优化,比如按时间间隔存储和检索数据等等,因此在处理这些数据时效率相对不高. 第一代时序数据典型来源于监控领域,直接基于平板文件的简单存储工具成为这类数据的首先存储方式. 以RRDTool,Wishper为代表,通常这类系统处理的数据模型比较单一…

本文选自云栖大会下一代云数据库分析专场讲师自修的演讲——<TSDB云边一体化时序时空数据库技术揭秘> 自修 —— 阿里云智能数据库产品事业部高级专家       认识TSDB 第一代时序时空数据处理工具 虽然通用关系数据库可以存储时序数据,但是由于缺乏针对时间的特殊优化,比如按时间间隔存储和检索数据等等,因此在处理这些数据时效率相对不高. 第一代时序数据典型来源于监控领域,直接基于平板文件的简单存储工具成为这类数据的首先存储方式. 以RRDTool,Wishper为代表,通常这类系统处理的数据…

时序时空数据库(Time Series & Spatial Temporal Database,简称 TSDB)是一种高性能.低成本.稳定可靠的在线时序时空数据库服务,提供高效读写.高压缩比存储.时序数据插值及聚合计算等服务,广泛应用于物联网(IoT)设备监控系统.企业能源管理系统(EMS).生产安全监控系统和电力检测系统等行业场景:除此以外,还提供时空场景的查询和分析的能力. TSDB 具备秒级写入百万级时序数据的性能,提供高压缩比低成本存储.预降采样.插值.多维聚合计算.可视化查询结果等功能…

摘要: 当学术大家遇到技术大拿,会碰撞出怎样的火花?为进一步加深产学研学术交流,阿里云将于ICDE 2019大会期间(4月9日)举办以“云时代的数据库”为主题的技术专场(Workshop) 作为全球数据库领域三大顶级学术会议之一,ICDE 2019(第35届数据工程国际学术会议)即将于4月8日-11日在中国澳门召开.ICDE是美国电子与电气工程师协会(IEEE)所主办的最高级别数据库会议,深受数据库及相关领域的学者欢迎. 阿里云已集结豪华参会阵容,由阿里巴巴集团副总裁.达摩院数据库首席科学家.阿…

云数据库 InfluxDB® 版介绍 阿里云数据库 InfluxDB® 版已于近日正式启动商业化 . 云数据库 InfluxDB® 是基于当前最流行的开源数据库 InfluxDB 提供的在线数据库服务,相比较开源具有免运维,稳定可靠,可弹性伸缩的优势,广泛应用于互联网基础资源监控,容器监控,业务运营监控分析,物联网设备远程实时监控,工业安全生产监控,生产质量评估和故障回溯.提供时序数据自动化采集,压缩存储,类SQL查询,多维聚合计算和数据可视化分析能力.点击关注,InfluxDB 商业化活动 时…

摘要: 作为DTCC的老朋友和全球领先的云计算厂商,阿里云数据库团队受邀参加本次技术盛会,不仅将派出重量级嘉宾阵容,还会为广大数据库业内人士和行业用户奉上8场精彩议题.下面小编就为大家提前梳理了8大亮点,并附上阿里云议题全集,精彩一网打尽. 2019年5月8日-5月10日,由国内知名IT技术社区主办的数据库技术交流盛会——DTCC 2019将在北京新云南皇冠假日大酒店召开.数据风云,十年变迁,DTCC见证并铭记了国内数据库技术的关键成长历程.作为DTCC的老朋友和全球领先的云计算厂商,阿里云数据…

摘要: 作为DTCC的老朋友和全球领先的云计算厂商,阿里云数据库团队受邀参加本次技术盛会,不仅将派出重量级嘉宾阵容,还会为广大数据库业内人士和行业用户奉上8场精彩议题.下面小编就为大家提前梳理了8大亮点,并附上阿里云议题全集,精彩一网打尽. 2019年5月8日-5月10日,由国内知名IT技术社区主办的数据库技术交流盛会——DTCC 2019将在北京新云南皇冠假日大酒店召开.数据风云,十年变迁,DTCC见证并铭记了国内数据库技术的关键成长历程.作为DTCC的老朋友和全球领先的云计算厂商,阿里云数据…

在日前的DTCC 2019(第十届中国数据库技术大会)上,阿里云自研云原生数据库POLARDB获选2019中国数据库——“年度最佳创新产品”. POLARDB是阿里云在2018年正式商业化的云原生数据库,采用存储计算分离.软硬一体化设计.通过高速的RDMA网络提供共享存储的架构,快速实现弹性缩扩容,单个实例可扩展到1000核计算能力,同时可横向扩展到100TB存储空间,满足大规模业务场景的需求. 在100TB的数据容量上,POLARDB可提供优于传统商业数据库的性价比. 阿里云RDS & NoS…

一.八年双十一,造就国内最大最专业HBase技术团队 阿里巴巴集团早在2010开始研究并把HBase投入生产环境使用,从最初的淘宝历史交易记录,到蚂蚁安全风控数据存储.持续8年的投入,历经8年双十一锻炼.4个PMC,6个committer,造就了国内最大最专业的HBase技术团队,其中HBase内核中超过200+重要的feature是阿里贡献.集团内部超过万台的规模,单集群超过千台,全球领先. 二.HBase技术团队重磅发布X-Pack,NoSQL数据库再上新台阶 阿里云自从17年8月提供HBa…

一.八年双十一,造就国内最大最专业HBase技术团队 阿里巴巴集团早在2010开始研究并把HBase投入生产环境使用,从最初的淘宝历史交易记录,到蚂蚁安全风控数据存储.持续8年的投入,历经8年双十一锻炼.4个PMC,6个committer,造就了国内最大最专业的HBase技术团队,其中HBase内核中超过200+重要的feature是阿里贡献.集团内部超过万台的规模,单集群超过千台,全球领先. 二.HBase技术团队重磅发布X-Pack,重新赋能轻量级大数据平台 阿里云自从17年8月提供HBas…

一.前言随着万物互联时代的来临,IOT逐渐成为各大云计算厂商重点发力的方向,作为平台厂商,提供的是包含接入.存储.管理.计算.展示等多个方面的综合能力,我这里就根据它们各自的特点和能力,简单介绍下它们的IOT解决方案 二.阿里云物联网套件物联网套件是阿里云专门为物联网领域的开发人员推出的一站式设备管理平台.性能强大的IoT Hub方便设备和云端稳定的进行双向通信:全球多节点的部署让全球设备都可以低延时与云端通信:多重的防护能力保障设备云端安全:功能丰富的设备管理能力帮助用户方便进行远程维护设备:…

「一切都会运行在云端」. 云时代早已来临,本文着眼于顶级云服务商云服务商的云数据库方案背后的架构,以及笔者最近观察到的一些对于云数据库有意义的工业界的相关技术的进展,希望读者能有所收获. 现在越来越多的业务从自己维护基础设施转移到公有(或者私有)云上, 带来的好处也是无需赘述的,极大降低了 IaaS 层的运维成本,对于数据库层面来说的,以往需要很强的 DBA 背景才能搞定弹性扩容高可用什么的高级动作,现在大多数云服务基本都或多或少提供了类似的服务. Amazon RDS   其实说到公有云上的云…

[分布式系统的数据一致性问题]   OCS概要介绍 据AlertSite网络分析公司表示,Facebook的响应时间在2010年平均为1秒钟,到2011年中期已提高到了0.73秒.对比来看,响应时间占第二位的LinkedIn,网络下载内容时要花费将近2倍的时间.Twitter的响应时间则整整迟了2秒钟.响应时间优化的首要手段就是采用缓存技术,减少系统间交互请求和磁盘IO. OCS是阿里巴巴集团的分布式缓存产品,支撑着淘宝.阿里巴巴.支付宝的日常运作,尤其在双11等大型活动上,承载了绝大多数的数据…

1.背景 当前的数据存储基于mysql库表存储形式,目前已经无法满足愈加增大的数据存储需求,新项目基于Maxcompute数据仓库架构,需要将统计日志上传Maxcompute,本文对Maxcompute系统数据上传进行调研,测试,包括基于LogStash收集的DataHub实时数据通道和批量数据通道SDK等. 2技术调研及测试 2.1数据通道SDK 2.1.1 UploadSession 2.1.1.1 说明 MaxCompute Tunnel是MaxCompute的数据通道,可通过提供接口上传…

在上周落幕帷幕的多媒体领域技术盛会——LiveVideoStackCon音视频技术大会上,阿里云的高级技术专家李刚进行了<下一代低延时的直播CDN>技术分享.主讲人李刚,多年关注在CDN这个领域,早期主要研究和cache服务器缓存以及流媒体相关的技术, 专注CDN文件分发.图片与大文件下载等业务.从2015年开始负责全面构建阿里云CDN直播系统,对流式长连接的分发有很深刻的理解.今天主要分享内容是阿里云自研低延时直播系统在构建时,遇到的一些技术难点与实践. 分享从当下直播技术回顾.低延时直播技…

背景 应用安全领域,各类攻击长久以来都危害着互联网上的应用,在web应用安全风险中,各类注入.跨站等攻击仍然占据着较前的位置.WAF(Web应用防火墙)正是为防御和阻断这类攻击而存在,也正是这些针对Web应用的安全威胁促使了WAF这个产品的不断发展和进化.同时,各种机器学习算法和模型也被不断提出和应用在WAF等安全产品中,以期望解决这些风险. 然而这些算法大多都以监督学习为主,通过标注的正负样本数据,构建针对特定攻击类型的分类模型.安全领域通常面临着「问题空间不闭合」.「正负样本空间严重不对称」…

一.八年双十一,造就国内最大最专业HBase技术团队 阿里巴巴集团早在2010开始研究并把HBase投入生产环境使用,从最初的淘宝历史交易记录,到蚂蚁安全风控数据存储.持续8年的投入,历经8年双十一锻炼.4个PMC,6个committer,造就了国内最大最专业的HBase技术团队,其中HBase内核中超过200+重要的feature是阿里贡献.集团内部超过万台的规模,单集群超过千台,全球领先. 二.HBase技术团队重磅发布X-Pack,NoSQL数据库再上新台阶 阿里云自从17年8月提供HBa…

随着移动互联网.位置感知技术.对地观测技术的快速发展,时空信息已从传统GIS行业渗透到大众应用及各行各业.从静态POI(兴趣点)到APP位置信息,从导航电子地图到车辆行驶轨迹,从卫星影像到三维城市建模,GIS地理空间信息以及时空信息以各种形态嵌入到数字化框架中并成为一种基础关键数据资源.云数据库作为PaaS(Platform-as-a-Service)层的核心系统,如何将空间型(Geospatial)及时空型(Spatio-temporal)数据管理融入其中,并与传统数据类型融合,提供稳定.弹性…

NoSQL一词最早出现在1998年.2009年Last.fm的Johan Oskarsson发起了一次关于分布式开源数据库的讨论,来自Rackspace的Eric Evans再次提出了NoSQL概念,这时的NoSQL主要是指非关系型.分布式.不提供数据库设计模式.从2009年开始,NoSQL开始逐渐兴起和发展. 回望历史应该说NoSQL数据库的兴起,完全是十年来伴随互联网技术,大数据数据的兴起和发展,NoSQL在面临大数据场景下相对于关系型数据库运用,这一概念无疑是一种全新思维的注入. 正值20…

2018年12月13日,第八届中国云计算标准和应用大会在京召开,会上阿里云HBase宣布推出全新X-Pack服务,支持SQL.时序.时空.图.全文检索能力.复杂分析,从处理到分析全栈式数据库,客户开箱即用,可以满足客户对数据库更丰富的业务处理,以及更易用的需求. 同时,全新的云HBase服务具备多项独家企业级能力,包括无感知冷热分离.百TB级备份恢复,跨region双活.企业级安全,解决客户成本,安全等诸多挑战,让客户专注于业务开发. 图 阿里云ApsaraDB HBase技术负责人,中国HBa…

1.HBase Ganos是什么 Ganos是阿里云时空PaaS服务的自研核心引擎.Ganos已作为云数据库时空引擎与数据库平台融合,建立了以自研云原生数据库POALRDB为基础,联合NoSQL大数据平台(Ali-HBASE和X-Pack Spark)的完整时空地理信息云化管理解决方案. HBase Ganos是为PB级分布式.大规模时空数据管理而生,主打NoSQL时空大数据处理能力,兼容HBase.Spark.GeoMesa.GeoServer等广泛开源生态,内置了高效的时空索引算法.空间拓扑…

Prometheus 作为容器生态下集群监控的首选方案,是一套开源的系统监控报警框架.它启发于 Google 的 borgmon 监控系统,并于 2015 年正式发布.2016 年,Prometheus 正式加入 Cloud Native Computing Foundation,成为受欢迎度仅次于 Kubernetes 的项目. 7月3日,阿里云Promtheus云托管实例正式开始免费公测.针对容器集群监控场景,提供了完整的采集.存储.监控.告警.图表展现的数据监控服务.通过与 Kuberne…

前言 监控是保障系统稳定性的重要组成部分,在Kubernetes开源生态中,资源类的监控工具与组件百花齐放.除了社区自己孵化的metrics-server,还有从CNCF毕业的Prometheus等等,开发者可选的方案有很多.但是,只有资源类的监控是远远不够的,因为资源监控存在如下两个主要的缺欠: 监控的实时性与准确性不足 大部分资源监控都是基于推或者拉的模式进行数据离线,因此通常数据是每隔一段时间采集一次,如果在时间间隔内出现一些毛刺或者异常,而在下一个采集点到达时恢复,大部分的采集系统会吞掉…

盛夏.魔都.科技 三者在一起有什么惊喜? 7月24日,阿里云峰会·上海——开发者大会将在上海世博中心盛大启程,与未来世界的开发者们分享数据库.云原生.开源大数据等领域的技术干货,共同探讨前沿科技趋势,分析阿里云在一线生产场景的最佳实践. 大会下午特设数据库专场,云集多位技术大咖,将为开发者们剖析最前沿的云原生数据库.RDS MySQL/AliSQL/OLAP等数据库核心技术,分享如何快速构建企业级云数据库平台最佳实践. 专场时间 7月24日 13:30 - 17:00 地点 上海世博中心 让我们…

根据Gartner的预计,全球非关系型数据库(NoSQL)在2020~2022预计保持在30%左右高速增长,远高于数据库整体市场. 阿里云数据库HBase版也是踏着技术发展的节奏,伴随着NoSQL和大数据技术的兴起和发展,从2010年开始研究和发展.时光荏苒,日月如梭,转眼九年时间,在阿里云上直接开放提供服务也有1年多时间,并在去年的12月份全新发布X-Pack,将单一的HBase演进到一个完整的数据处理平台的能力.我们注意到还有很多同学和客户不清楚HBase X-Pack是什么,什么场景下合适…

点击订阅新品发布会! 新产品.新版本.新技术.新功能.价格调整,评论在下方,下期更新!关注更多内容,了解更多 最新发布 链路追踪 Tracing Analysis 商业化首发 2019年6月12日15时,阿里云链路追踪 Tracing Analysis 商业化首发,全链路跟踪,成本是自建链路追踪系统的1/5或更少.支持多语言应用接入,支持开源生态.源自阿里巴巴内部的 EagleEye,帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈. 查看产品 产品文档 阿里云生活物联网平台3.0发布 201…

2021.4.16-4.17,阿里云视频云亮相 LiveVideoStackCon 音视频技术大会上海站,带来三场不同视角的主题演讲,并与众多行业伙伴一同交流.在 "编解码的新挑战与新机会" 专场,视频云的资深技术专家深度分享了 "窄带高清" 技术演进思路. 窄带高清是一套以人眼的主观感受最优为基准的视频编码技术,研究在带宽受限的情况下,如何追求最佳的视觉感受.阿里云早在 2015 年就提出了该技术概念,在 2016 年正式推出窄带高清技术品牌并产品化,自提出便促动…

6 月 19-25 日,备受全球瞩目的国际顶级视觉会议 CVPR2021(Computer Vision and Pattern Recognition,即国际机器视觉与模式识别)在线上举行,但依然人气爆棚,参会者的激情正如夏日般火热. 今年阿里云多媒体 AI 团队(由阿里云视频云和达摩院视觉团队组成,以下简称 MMAI)参加了大规模人体行为理解公开挑战赛 ActivityNet.当前最大时空动作定位挑战赛 AVA-Kinetics.超大规模时序行为检测挑战赛 HACS 和第一视角人体行为理解挑…

公司服务器使用的第三方云端服务,即阿里云,而本地需要经常去登录到服务器做相应的配置工作,鉴于此,每次登录都要使用密码是比较烦躁的,本着极速思想,我们需要配置我们的免登陆. 一 理论概述 SSH介绍 SSH 为 Secure Shell 的缩写,由 IETF 的Network Working Group提出. SSH 是建立与应用层基础上的安全协议. SSH 相对可靠,专为远程s登录会话和其他网络服务提供安全性的协议. SSH好处 利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题. SS…