摘要：摘要来自阿里云团队的论文面向大规模海量云数据库的服务质量实时采集与诊断系统被数据库顶会收录。评委评价以下为阿里云入选论文。云数据库对客户业务的稳定性至关重要，因此快速发现云数据库性能出现异常，及时定位异常原因是云数据库厂商的一个挑战。
摘要： 来自阿里云RDS团队的论文“TcpRT: Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time” （TcpRT：面向大规模海量云数据库的服务质量实时采集与诊断系统）被数据库顶会SIGMOD 2018收录。
ACM SIGMOD数据管理国际会议是由美国计算机协会(ACM) 数据管理专业委员会(SIGMOD)发起、在数据库领域具有最高学术地位的国际性学术会议。
SIGMOD和另外两大数据库会议VLDB、ICDE构成了数据库领域的三个顶级会议。相对而言，SIGMOD比另外两个会议的含金量更高，被录取的难度更大。ACM SIGMOD的论文录取率是很低的，平均录取率大约仅为15%-17%。
来自阿里云RDS团队的论文“TcpRT: Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time” （TcpRT：面向大规模海量云数据库的服务质量实时采集与诊断系统）被数据库顶会SIGMOD 2018收录。
TcpRT论文介绍了RDS天象系统在云数据库SLA数据采集、服务质量指标计算、异常检测、故障根因分析领域的创新工作，以及在各类云平台上大规模部署自动化服务的客户实践经验。
评委评价
I have plenty of experience with manual anomaly detection. That has wasted much time for me at work, so I liked what you described.
以下为SIGMOD 2018阿里云入选论文。
下载中文版：http://click.aliyun.com/m/100...
下载英文版：http://click.aliyun.com/m/100...
简介
随着企业上云趋势的日益热化，作为产业核心组件的数据库，已成为各大云计算公司增长最快的在线服务业务。作为中国第一大云数据库厂商，我们RDS团队致力于为用户提供稳定的云数据库服务。从本质上看，RDS是一个多租户DBaaS平台，利用轻量级KVM、Docker镜像等资源隔离技术将用户所购买的数据库实例部署在物理机上，按需分配资源并进行自动升降级，实现一套完全自动化的智能运维管理。
云数据库对客户业务的稳定性至关重要，因此快速发现云数据库性能出现异常，及时定位异常原因是云数据库厂商的一个挑战。TcpRT是阿里云数据库用来监控和诊断数据库服务质量的一个基础设施。TcpRT从主机TCP/IP协议栈的壅塞控制采集trace数据，计算数据库延迟和网络异常，在后台流式计算平台进行大规模实时数据分析和聚合，通过统计指标历史数据的柯西分布发现异常点，并通过同一台主机、交换机、proxy下所有实例一致性趋势的比例来计算不同组件发生异常的概率。
到目前为止，TcpRT以每秒采集2千万条原始trace数据、每天后台处理百亿吞吐数据、秒级检测异常的卓越性能在阿里云持续稳定运行三年。
本文贡献
提出了一种新的对数据库服务质量进行采集的方法，基于内核壅塞模块实现，可以非侵入性、低代价的采集基于停等协议的关系数据库的per connection的延迟、带宽，分析用户使用数据库的模型（短连接和长连接），并且可以端到端的记录和量化基础网络服务质量对数据库服务质量的影响，包括丢包率、重传率。
我们开发了一套对采集的原始数据进行数据清洗、过滤、聚合、分析的流式计算系统，系统可以做到水平扩展、容错性、实时性、Exactly Once，具有和其他大数据平台例如EMR、MaxCompute进行数据交换的能力
我们提出了一个新的算法对TcpRT数据进行分析，来发现数据库的服务质量有无异常，并且对异常事件的根因进行定位
会议将于6月10日在美国休斯敦召开，论文也会公开发表，以下是相关信息。
Title：SIGMOD/PODS "18 International Conference on Management of Data
Houston, TX, USA — June 10 - 15, 2018
Pages：1846
Sponsor： SIGMOD ACM Special Interest Group on Management of Data
Publisher：ACM New York, NY, USA
ISBN：978-1-4503-4703-7
Conference：MODInternational Conference on Management of Data
原文链接
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/17761.html
摘要：本文整理了年月国产数据库大事件和重要产品发布消息。柏睿数据库加速安全卡面向全球重磅发布。月日，在全球数字经济大会成果发布会上，中国移动北京分公司与国产数据库领域新锐企业柏睿数据签署战略合作协议。本次大赛主要面向全国爱好数据库的高校学生。 本文整理了2021年8月国产数据库大事件和重要产品发布消息。目录8月国产数据库大事记TOP108月国产数据库大事记时间线产品/版本发布兼容认证8月排行榜新增...
摘要：元旦假期即将来临，我们精心准备了这本阿里巴巴机器智能计算机视觉技术精选，收录了顶级会议阿里论文，送给计划在假期充电的同学们，也希望能和更多学术界工业界同仁一起探讨交流。 当下计算机视觉技术无疑是AI浪潮中最火热的议题之一。视觉技术的渗透，既可以对传统商业进行改造使之看到新的商业机会，还可以创造全新的商业需求和市场。无论在电商、安防、娱乐，还是在工业、医疗、自动驾驶领域，计算机视觉技术都...
摘要：基本逻辑一条数据在结构中的旅程，从写入开始，然后进入，这是整个生命周期的第一处落脚点。每一层数据按排序，层与层之间的会交叠。上面是宏观逻辑结构，如果具体来论读写操作和如何进行，就需要探讨每一层的数据组织方式每个变种的实现各不相同。 阿里妹导读：数据库存储引擎是一个有历史的技术，经过数十年的发展，已经出现很多优秀成熟的产品。阿里巴巴 X-Engine 团队撰写的论文 X-Engine:...
阅读 2967·2021-11-23 09:51
阅读 2980·2021-11-02 14:46
阅读 845·2021-11-02 14:45
阅读 2717·2021-09-23 11:57
阅读 2469·2021-09-23 11:22
阅读 1889·2019-08-29 16:29
阅读 720·2019-08-29 16:16
阅读 899·2019-08-26 13:44
