腾讯云TDSQL审计原理揭秘
版权声明:本文由孙勇福原创文章,转载请注明出处:
文章原文链接:https://www.qcloud.com/community/article/244
来源:腾云阁 https://www.qcloud.com/community
作者简介:孙勇福,腾讯云高级工程师,负责腾讯云TDSQL产品研发,毕业至今一直从事数据存储系统运维和研发工作,在数据库领域以及NoSQL领域具有丰富的运维和开发经验。
开源数据库往往不具备商业数据库一样的高端能力,但是却因简单易用,无需license费用等深得大家喜欢,但在云服务时代,打造一款同时具备了开源数据库的性价比和商业数据库的安全性的数据库,几乎是所有使用者心中的梦想。腾讯云数据库TDSQL基于这样的考虑,实现了云化的审计能力,下面就让我们一起来看看具体的技术细节。
产品架构
各模块特点
1) proxy
三个无差别proxy Ip,保证一个或者两个proxy 故障时,剩余proxy Ip 正常工作用户无感知。
旁路信息进入kafka时,对数据进行压缩上传同时kafka必须半数节点响应成功后才算正确上传。
每个用户实例都有自己单独的proxy,在数据上传是不同实例消息并发上传到kafak的topic,保证每个用户信息及时进入审计消息队列。
2) Kafka
Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:
以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能
高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输
支持Kafka Server间的消息分区,及分布式消费,同时保证每个partition内的消息顺序传输
- 同时支持离线数据处理和实时数据处理
Kafka解析
Terminology
Broker:Kafka集群包含一个或多个服务器,这种服务器被称为broker
Topic:每条发布到Kafka集群的消息都有一个类别,这个类别被称为topic。(物理上不同topic的消息分开存储,逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处)
Partition:parition是物理上的概念,每个topic包含一个或多个partition,创建topic时可指定parition数量。每个partition对应于一个文件夹,该文件夹下存储该partition的数据和索引文件
Producer:负责发布消息到Kafka broker
Consumer:消费消息。每个consumer属于一个特定的consumer group(可为每个consumer指定group name,若不指定group name则属于默认的group)。使用consumer high level API时,同一topic的一条消息只能被同一个consumer group内的一个consumer消费,但多个consumer group可同时消费这一消息。
Kafka框架
如上图所示,一个典型的kafka集群中包含若干producer(可以是web前端产生的page view,或者是服务器日志,系统CPU、memory等),若干broker(Kafka支持水平扩展,一般broker数量越多,集群吞吐率越高),若干consumer group,以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置,选举leader,以及在consumer group发生变化时进行rebalance。producer使用push模式将消息发布到broker,consumer使用pull模式从broker订阅并消费消息。
3) audit-server
- audit-server 是分布式服务,采用一致性hash算法进行路由
- 多协程并发处理模式保证kafka数据秒级别消费
一致性hash
在分布式集群中,对于机器的添加和删除已经故障机器自动脱离集群不影响服务是分布式集群的最基本的功能。本次审计服务采用一致性hash完成这种基本功能。
具体描述如下:按照常用的hash算法来将对应的key哈希到一个具有2^32次方个桶的空间中,即0~(2^32)-1的数字空间中,也就是将object1,object2, object3, object4 四个(假设有四个实例对象)实例对象通过hash 散列到hash环上。如图(来自于网络)
同时将三个服务节点(假设三个服务节点),通过hash也散列到hash环上。如图(来自于网络),通过找出距离自己最近的node节点,即可找到服务节点。
在服务节点添加删除或故障时实例对象都会自动的调整找到距离自己最近的服务节点进行审计服务。
同时,在引入audit-server路由时,我们发现node服务节点分布越均匀,每个服务节点的负载也就越均匀。这里引用了虚拟节点来解决这一问题。
审计策略
独立规则加载协程:在规则加载时,不影响审计规则功能区性能
优先级:策略支持用户自定义优先级,在策略匹配时,优先匹配到优先级较高的策略。
规则设置丰富: 支持规则=, !=,>, >=, <, <= 以及正则匹配。
权限:支持二次认证,保证数据安全性。
多并发协程
- 协程,不需要抢占式调度,可以有效提高线程的任务并发性,而避免多线程的缺点(go原生支持)
故障优化
耦合关系:保证一个子系统发生故障时,不会影响其他系统的正常运行。
审计服务故障时保障数据不丢:消息消费时会动态的记录匹配到规则的或者超过一定阈值消息的offset,保证服务被分配到其他节点或者故障服务修复启动时都会从正确的位置消费消息。
数据旁路kafka数据不丢:在数据传入到kafka是必须保证半数以上的节点响应此消息时,才进行下面的数据传输。
告警及时感知:kafka 或者MongoDB不可用时会秒级别感知,发送告警信息给系统负责人,及时恢复服务。
自动扩容:匹配规则消息存储采用腾讯云MongoDB,通过后台打通,在存储空间不够时支持自动扩容。
数据顺序性:每个消息在旁路时都会被打上一个时间戳同时消息也是按顺序进入消息队列,在数据读取时按照时间戳顺序读取。
3) 腾讯云MongoDB
腾讯云MongoDB特点
设计服务数据存储采用,腾讯云自有的MongoDB服务,该产品具备以下特点:
云存储服务,是腾讯云平台提供的面向互联网应用的数据存储服务。
提供了高性能、高可靠、易用、便捷的MongoDB集群服务,每一个实例都是至少一主一从的副本集或者包含多个副本集的分片集群。
整合了备份、扩容等功能,尽可能的保证用户数据安全以及动态伸缩能力
当然,为了用户的安全考虑,我们所有的数据,都是需要用户主动开启审计的前提下,才会记录流水数据,并对数据进行过滤和存储。
使用云数据库MongoDB服务的好处:
安全:提供在线的至少两份数据存储,确保线上数据安全。同时通过备份机制保存多天的备份数据以便于在灾难情况进行数据恢复。
高性能:集中安装专用高性能存储服务器(高内存全SSD机型)来支持海量访问。
省心:提供7×24小时的专业服务,扩容和迁移对用户透明且不影响服务。提供全面监控,可随时掌控MongoDB服务质量。
腾讯云TDSQL审计原理揭秘的更多相关文章
- 286万QPS!腾讯云TDSQL打造数据库领域的“超音速战机”
Bloodhound SSC超音速汽车将陆地极限速度提升到1678公里/小时,号称陆地“超音速战斗机”.无独有偶,同样也在2017年,在英特尔®.腾讯金融云团队的共同见证下,腾讯云数据库TDSQL采用 ...
- 万物智联,腾讯云 IoT 边缘计算揭秘——云+未来峰会开发者专场回顾
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 背景:现在是万物互联的时代,智能穿戴设备,智能家居,无人商业,改变了我们的生活方式.预计到2021年,全球物联网设数将达到150亿,超过手机 ...
- 强强联袂!腾讯云TDSQL与国双战略签约,锚定国产数据库巨大市场
日前,腾讯云计算(北京)有限责任公司与北京国双科技有限公司签署了<国产数据库产品战略合作协议>,双方将在数据库技术方面展开深度合作,通过分布式交易型数据库的联合研发.产品服务体系建设.品牌 ...
- 腾讯云TDSQL监控库密码忘记问题解决实战
首先,给大家介绍一下TDSQL.TDSQL MySQL 版(TDSQL for MySQL)是腾讯打造的一款分布式数据库产品,具备强一致高可用.全球部署架构.分布式水平扩展.高性能.企业级安全等特性, ...
- 腾讯云TDSQL MySQL版 - 开发指南 二级分区
TDSQL MySQL版 目前支持 Range 和 List 两种格式的二级分区,具体建表语法和 MySQL 分区语法类似. 二级分区语法 一级 Hash,二级 List 分区示例如下: MySQL ...
- 腾讯云TDSQL MySQL版 - 开发指南 分布式事务
由于事务操作的数据通常跨多个物理节点,在分布式数据库中,类似方案即称为分布式事务. TDSQL MySQL版 支持普通分布式事务协议和 XA 分布式事务协议.TDSQL MySQL版(内核5.7或以上 ...
- 腾讯云TDSQL PostgreSQL版 -最佳实践 |优化 SQL 语句
查看是否为分布键查询 postgres=# explain select * from tbase_1 where f1=1; QUERY PLAN ------------------------- ...
- 腾讯云数据库团队:SQL Server 数据加密功能解析
数据加密是数据库被破解.物理介质被盗.备份被窃取的最后一道防线:数据加密,一方面解决数据被窃取安全问题,另一方面有关法律要求强制加密数据:SQL Server 的数据加密相较于其他数据库,功能相对完善 ...
- 腾讯云分布式数据库TDSQL在银行传统核心系统中的应用实践
本文是腾讯云TDSQL首席架构师张文在腾讯云Techo开发者大会现场的演讲实录,演讲主题是<TDSQL在银行传统核心系统中的应用实践>. 我是TDSQL架构师张文,同时也是TDSQL的开发 ...
随机推荐
- 系统隐式 Intent
1. 找出系统中所有视频 private void choiceFile() { Intent intent = new Intent(Intent.ACTION_PICK, android.prov ...
- TestLink学习八:TestLink1.9.13与Mantis1.2.19集成
简述 在TestLink和bug 管理系统集成必须具备以下特点: 1. 在TestLink和bug 管理系统之间所有的信息交流都是在数据库中完成. 2. TestLink(现在版本)既不能发信息给bu ...
- Hadoop学习(5)-- Hadoop2
在Hadoop1(版本<=0.22)中,由于NameNode和JobTracker存在单点中,这制约了hadoop的发展,当集群规模超过2000台时,NameNode和JobTracker已经不 ...
- Oracle事务之一:锁和隔离
Oracle事务之一:锁和隔离 一. 事务概述 事务管理是数据库处理的核心.数据库既要保证用户能并发地执行事务,还要保证数据库的一致性. 当第一条可执行的SQL开始执行,就隐形地开始了一个事务,直到遇 ...
- 感冒了~ vs中py和vb实现一个小算法
1+1*2+1*2*3+--+1*2*3*n 下面是窗体,就一个按钮和编辑框. 中途还遇到了编码问题,但是感冒太难受,加上明天还要上课.就睡了~ 晚安世界.
- Web动画API教程1:创建基本动画
本人转载自: Web动画API教程1:创建基本动画
- paper 108:系统学习数字图像处理之图像复原与重建
首先,必须注意这里所限制的处理条件. 关于图像退化/复原模型 退化的图像是由成像系统的退化加上额外的噪声形成的. 1.只考虑噪声引起的退化 噪声模型,包含于空间不相关和相关两种,除了空间周期噪声,这里 ...
- 夺命雷公狗-----React---11--添加css样式的方法
<!DOCTYPE> <html> <head> <meta charset="utf-8"> <title></ ...
- emacs + quicklisp + slime
- 多浏览器兼容用javascript获取url参数的方法比较推荐的一种
多浏览器兼容用javascript获取url参数的方法比较推荐的一种 <script language = javascript> function request(paras){ var ...