ACM SIGMOD数据管理国际会议是由美国计算机协会(ACM) 数据管理专业委员会(SIGMOD)发起、在数据库领域具有最高学术地位的国际性学术会议。

SIGMOD和另外两大数据库会议VLDB、ICDE构成了数据库领域的三个顶级会议。相对而言，SIGMOD比另外两个会议的含金量更高，被录取的难度更大。ACM SIGMOD的论文录取率是很低的，平均录取率大约仅为15%-17%。

来自阿里云RDS团队的论文“TcpRT: Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time” （TcpRT：面向大规模海量云数据库的服务质量实时采集与诊断系统）被数据库顶会SIGMOD 2018收录。

TcpRT论文介绍了RDS天象系统在云数据库SLA数据采集、服务质量指标计算、异常检测、故障根因分析领域的创新工作，以及在各类云平台上大规模部署自动化服务的客户实践经验。

评委评价

I have plenty of experience with manual anomaly detection. That has wasted much time for me at work, so I liked what you described.

以下为SIGMOD 2018阿里云入选论文。

下载中文版：http://click.aliyun.com/m/1000000351/
下载英文版：http://click.aliyun.com/m/1000000352/

简介

随着企业上云趋势的日益热化，作为产业核心组件的数据库，已成为各大云计算公司增长最快的在线服务业务。作为中国第一大云数据库厂商，我们RDS团队致力于为用户提供稳定的云数据库服务。从本质上看，RDS是一个多租户DBaaS平台，利用轻量级KVM、Docker镜像等资源隔离技术将用户所购买的数据库实例部署在物理机上，按需分配资源并进行自动升降级，实现一套完全自动化的智能运维管理。

云数据库对客户业务的稳定性至关重要，因此快速发现云数据库性能出现异常，及时定位异常原因是云数据库厂商的一个挑战。TcpRT是阿里云数据库用来监控和诊断数据库服务质量的一个基础设施。TcpRT从主机TCP/IP协议栈的壅塞控制采集trace数据，计算数据库延迟和网络异常，在后台流式计算平台进行大规模实时数据分析和聚合，通过统计指标历史数据的柯西分布发现异常点，并通过同一台主机、交换机、proxy下所有实例一致性趋势的比例来计算不同组件发生异常的概率。

到目前为止，TcpRT以每秒采集2千万条原始trace数据、每天后台处理百亿吞吐数据、秒级检测异常的卓越性能在阿里云持续稳定运行三年。

本文贡献

  • 提出了一种新的对数据库服务质量进行采集的方法，基于内核壅塞模块实现，可以非侵入性、低代价的采集基于停等协议的关系数据库的per connection的延迟、带宽，分析用户使用数据库的模型（短连接和长连接），并且可以端到端的记录和量化基础网络服务质量对数据库服务质量的影响，包括丢包率、重传率。
  • 我们开发了一套对采集的原始数据进行数据清洗、过滤、聚合、分析的流式计算系统，系统可以做到水平扩展、容错性、实时性、Exactly Once，具有和其他大数据平台例如EMR、MaxCompute进行数据交换的能力
  • 我们提出了一个新的算法对TcpRT数据进行分析，来发现数据库的服务质量有无异常，并且对异常事件的根因进行定位

会议将于6月10日在美国休斯敦召开，论文也会公开发表，以下是相关信息。
Title：SIGMOD/PODS '18 International Conference on Management of Data
Houston, TX, USA — June 10 - 15, 2018
Pages：1846
Sponsor： SIGMOD ACM Special Interest Group on Management of Data
Publisher：ACM New York, NY, USA
ISBN：978-1-4503-4703-7
Conference：MODInternational Conference on Management of Data

扫码了解阿里云数据库

扫码关注云栖社区，获取更多干货

阿里云RDS产品点此了解：
https://www.aliyun.com/product/outline/index
阿里云自研智能云数据库POLARDB点此了解：
https://www.aliyun.com/product/polardb

本文作者：桐碧2018

重磅干货免费下载！阿里云RDS团队论文被数据库顶会SIGMOD 2018收录的更多相关文章

  1. 阿里云 RDS实例间的数据迁移

    使用数据传输DTS可以实现两个RDS实例间的数据迁移.对于支持增量迁移的存储引擎,还可以使用DTS在源RDS实例不停服的情况下,将数据迁移到目标RDS实例.目前对于RDS不同存储引擎,只支持同构迁移( ...

  2. wget下载阿里云RDS备份集

    [root@localhost tmp]# more wget.sh #!/bin/bash download_url=`python /tmp/geturl.py` echo $download_u ...

  3. 烂泥：阿里云RDS本地恢复数据

    本文由ilanniweb提供友情赞助,首发于烂泥行天下 想要获得更多的文章,可以关注我的微信ilanniweb 公司目前使用的数据库是阿里云的RDS,目前RDS的版本为mysql5.6.如下: 现在要 ...

  4. 云计算之路-阿里云上：数据库连接数过万的真相，从阿里云RDS到微软.NET Core

    在昨天的博文中,我们坚持认为数据库连接数过万是阿里云RDS的问题,但后来阿里云提供了当时的数据库连接情况,让我们动摇了自己的想法. 帐户 连接数 A 4077 B 3995 C 741 D 698 E ...

  5. 阿里云rds 备份和还原

    阿里云rds 备份和还原 转发:https://www.cnblogs.com/lin1/p/8617764.html 转发:https://help.aliyun.com/knowledge_det ...

  6. 本地库还原至阿里云RDS服务器

    在此也感谢阿里云售后兄弟的支持.全文参考 https://help.aliyun.com/document_detail/95738.html? 1. 首先得要有个阿里云账号,已经购买RDS数据库(本 ...

  7. Zabbix 监控阿里云RDS

    简介 Zabbix 监控阿里云RDS数据库.主要通过阿里云提供的API来进行监控. 需要在阿里云获取“用户AccessKey”指定ID,进行RDS监控. 环境 服务:Zabbix 3.0.28.zab ...

  8. 阿里云RDS数据库备份同步到自建库方法（SHELL脚本）

    一.背景: 由于阿里云RDS生产库每天都需要备份且拷贝到自建读库,而如果使用阿里云的自动拷贝到只读实例, 费用太高, 故采用自编写同步脚本方法实现. 二.前提: 1). 已开通阿里云RDS, 且开启定 ...

  9. 阿里云异构计算团队亮相英伟达2018 GTC大会

    摘要: 首届云原生计算国际会议(KubeCon + CloudNativeCon,China,2018)在上海举办,弹性计算研究员伯瑜介绍了基于虚拟化.容器化编排技术的云计算操作系统PouchCont ...

随机推荐

  1. 如何查看MySQL数据库的版本

    如何查看MySQL数据库的版本 一.总结 一句话总结: SQL语句:select version(); 命令行:mysql -V 或 mysql --version 二.三种方法查看MySQL数据库的 ...

  2. 不间断电源（UPS）

    UPS电源一般指不间断电源 UPS(Uninterruptible Power System/Uninterruptible Power Supply),即不间断电源,是将蓄电池(多为铅酸免维护蓄电池 ...

  3. springboot编程之全局异常捕获

    springboot编程之全局异常捕获 1.创建GlobalExceptionHandler.java,在类上注解@ControllerAdvice, 在方法上注解@ExceptionHandler( ...

  4. Django 前戏

    1.web应用 web应用程序是一种可以通过web访问的应用程序.程序最大的好处就是用户很容易的访问应用程序,用户只需要有浏览器即可,不需要在安装其他的软件,应用程序有两种模式C/S,B/S C/S模 ...

  5. Hive 窗口函数之 lead() over(partition by ) 和 lag() over(partition by )

    lead函数用于提取当前行前某行的数据 lag函数用于提取当前行后某行的数据 语法如下: lead(expression,offset,default) over(partition by ... o ...

  6. MySQL 安装示例数据库（employee、world、sakila、menagerie 等）

    sakila 示例数据库官方资料及安装说明,注意查看示例数据库支持的版本是否匹配你的数据库. 为了测试,有时候需要大量的数据集,MySQL 官方提供了用于测试的示例数据库,下载页面在 这里. 下面以 ...

  7. MySQL 中的 information_schema 数据库

    1. 概述 information_schema 数据库跟 performance_schema 一样,都是 MySQL 自带的信息数据库.其中 performance_schema 用于性能分析,而 ...

  8. 【PP系列】SAP 取消报工后修改日期

    公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[PP系列]SAP 取消报工后修改日期   前言 ...

  9. [Linux] 011 其它权限管理命令

    1. 权限管理命令:chown 命令名称:chown 命令英文原意:change file ownership 命令所在路径:/bin/chown 执行权限:所有用户 语法:chown [用户] [文 ...

  10. svg画圆环

    之前我已经分享了一篇css画圆环,为啥今天还要分享一篇svg画圆环呢? 原因是:css画圆环在部分ipone手机会有bug,最大张角为90°,所以圆环会有白色的间隙. 好了,开始代码展示: html: ...