作者介绍:简怀兵,腾讯云数据库团队高级工程师,负责腾讯云CDB内核及基础设施建设:先后供职于Thomson Reuters和YY等公司,PTimeDB作者,曾获一项发明专利:从事MySQL内核开发工作8年,具有丰富的优化经验:在分布式存储等领域有较丰富经验. MYSQL数据库适用场景广泛,相较于Oracle.DB2性价比更高,Web网站.日志系统.数据仓库等场景都有MYSQL用武之地,但是也存在对于事务性支持不太好(MySQL 5.5版本开始默认引擎才是InnoDB事务型).存在多个分支.读写效…

MySQL 定位用户记录的过程可以描述为:打开索引 -> 根据索引键值逐层查找 B+ 树 branch 结点 -> 定位到叶子结点,将 cursor 定位到满足条件的 rec 上:如果树高为 N, 则需要读取索引树上的 N 个结点并进行比较,如果 buffer_pool 较小,则大量的操作都会在 pread 上,用户响应时间变长:另外,MySQL中 Server 层与 Engine 之间的是以 row 为单位进行交互的,engine 将记录返回给 server 层,server 层对 engi…

作者介绍:易固武,腾讯高级工程师,参与腾讯账号安全建设,腾讯数据仓库(TDW)优化改造,腾讯云数据库等项目,对大规模分布式存储和计算系统有浓厚的兴趣和经历 MySQL数据库是目前开源应用最大的关系型数据库,有海量的应用将数据存储在MySQL数据库中.存储数据的安全性和可靠性是生产数据库的关注重点.本文分析了目前采用较多的保障MySQL可用性方案. MySQL Replication MySQL Replication是MySQL官方提供的主从同步方案,用于将一个MySQL实例的数据,同步到另一个…

phpMyAdmin是一款基于Web端运行的开源数据库管理工具,支持管理MySQL和MariaDB两种数据库. phpMyAdmin的程序主要使用php和javascript开发,它的安装使用都比较简单而且已有很多相关介绍不再重复,今天要介绍的是源码中的一个核心组件sql-parser. sql-parser简介 sql-parser组件的主要用途是对SQL语句进行词法分析.语法分析,继而可以实现对SQL语句的解构.加工.替换.再组装等需求,另外也可以对SQL进行highlight等处理.sql…

数据加密是数据库被破解.物理介质被盗.备份被窃取的最后一道防线:数据加密,一方面解决数据被窃取安全问题,另一方面有关法律要求强制加密数据:SQL Server 的数据加密相较于其他数据库,功能相对完善,加密方法较多. 通常来讲,数据加密分为对称加密和非对称加密.对称加密:加密与解密使用同一密钥,密钥需要传输,安全性较弱,但性能较非对称要好.非对称加密:加密与解密使用不同密钥(公钥和私钥),较对称密钥安全性较好,但是算法较复杂,带来性能上的损失.因此,折中的方法是使用对称密钥加密数据,使用非对称密…

作者介绍: 赵伟 腾讯云TDSQL数据库开发者 MySQL (这里的MySQL是指广义的mysql,包括oracle,mysql,percona,mariadb等)的Statement Based Replication (SBR)是一个暗坑无数的功能,可能导致主备机数据不一致,以及其它问题,所以在TDSQL中我们使用RBR.这里就列举几条SBR的坑. 在此之前,先说说SBR的有点.与Row based Replication (RBR)相比,它可以避免传输大量的binlog日志从而减小网络和存…

作者介绍:吴双桥 腾讯云project师 阅读原文.很多其它技术干货.请訪问fromSource=gwzcw.57435.57435.57435">腾云阁. 本文主要介绍在MySQL 5.7.7開始引入的非结构化数据类型JSON的特性以及详细的实现方式(包含存储方式).首先介绍为什么要引入JSON的原生数据类型的支持:接着介绍MySQL给用户提供的JSON操作函数,以及JSON路径表达式语法.结合两者,用户能够在数据库级别操作JSON的随意键值和数据:之后.重点介绍JSON在server側…

作者介绍:胡彬 腾讯云高级工程师 TOAST是"The Oversized-Attribute Storage Technique"的缩写,主要用于存储一个大字段的值.要理解TOAST,我们要先理解页(BLOCK)的概念.在PG中,页是数据在文件存储中的基本单位,其大小是固定的且只能在编译期指定,之后无法修改,默认的大小为8KB.同时,PG不允许一行数据跨页存储,那么对于超长的行数据,PG就会启动TOAST,具体就是采用压缩和切片的方式.如果启用了切片,实际数据存储在另一张系统表的多个…

近日,技术大牛 MariaDB 公司创始人兼CTO Michael Widenius(又名Monty).MariaDB 基金会主席 Kaj 来到中国,针对MariaDB与腾讯云的技术合作进行回访.去年底,腾讯云与MariaDB基金会达成战略合作,腾讯云承诺为基金会的发展提供强有力的资源支持,共建全球开源生态圈. 这次会见,腾讯云与MariaDB就未来的双向合作达成一致.后续,在不涉及腾讯云核心代码的前提下,腾讯云将优先提交代码给MariaDB 基金会, 双方共享使用权.同时,MariaDB也将积…

好消息!6月13日,腾讯云数据库三篇论文再次入选数据库行业顶会SIGMOD,被SIGMOD 2022 Research Full Paper(研究类长文)收录. 本次被收录的研究成果中,新型数据结构设计.AI智能调参优化等均属于业界首次提出.腾讯云数据库多次入选SIGMOD,表明腾讯云数据库在存储.智能管控等方面的积累与前沿创新获得了国际权威认可. SIGMOD,全称数据管理国际会议(Special Interest Group on Management Of Data),是由美国计算机协会(…

近十年来,中国基础软件发展势头迅猛,市场前景看高,越来越多的企业也正在进行基础软件升级.那中国基础软件行业目前在国际市场上有什么优势,面临哪些困境,以及未来基础软件行业会如何发展呢?腾讯云数据库邀请沙利文中国高级分析师胡竣杰.华云中盛数据库事业部总经理杨光.中软国际数据库业务总监范利军及腾讯云数据库总经理王义成四位行业大咖,共话中国基础软件发展. 1. 中国基础软件在国际市场上有哪些优势? 完整视频版:https://v.qq.com/x/page/d3341qkoxdj.html 胡竣杰 中国…

版权声明:本文由李斯达原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/255 来源:腾云阁 https://www.qcloud.com/community 作者介绍:李斯达,微软最具价值专家.认证讲师.无界工程师.场景式学习倡导者,曾在阿里O2O仓储解决方案公司担任系统架构师一职,目前就职于互联网企业担任系统运维工程师,致力于IT改善生活的实践之路. 正文: 接上篇在腾讯云上创建您的SQL Cluster(3)和在腾讯…

本文由云+社区发表 作者:邵宗文,2009年加入腾讯,现为腾讯云数据库专家产品经理.之前曾负责为OMG事业群构建数据库平台,部署,规划及运维支持,为腾讯网,新闻客户端,快报,视频,财经,体育等提供了稳定的服务.06-09年曾任新浪数据库专家,数据库平台主管,有非常丰富的海量大数据经验. 下方视频为邵宗文在未来大会演讲实录.每个行业对数据库有不一样的要求,云上数据库通过智能化运维,数据会越来越多,准确度也越来越高,模型也会越来越精准.腾讯云上数据库如何满足用户多样化的诉求?一起来听听吧. 数据库S…

版权声明:本文由李斯达原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/250 来源:腾云阁 https://www.qcloud.com/community 在上两篇文章 腾讯云上创建您的SQL Cluster(1) 和 腾讯云上创建您的SQL Cluster(2) 的文章中我们介绍了如何在QCloud标准化的搭建一套域环境,并介绍了如何在生产过程中如何避免一些坑,今天,我们来介绍此次demo中的另外一个角色--共享存储…

7月4日,国际权威机构IDC发布的<2021年下半年中国关系型数据库软件市场跟踪报告>显示,腾讯云数据库在关系型数据库软件市场(公有云模式)中,位列第二. IDC报告显示,2021下半年中国关系型数据库软件市场规模为15.8亿美元,同比增长34.9%.其中,公有云关系型数据库规模8.7亿美元,同比增长48.7%.IDC预测,到2026年,中国关系型数据库软件市场规模将达到95.5亿美元,未来5年市场年复合增长率(CAGR)为28.1%. 这表明,中国公有云关系型数据库前景广阔,数据库行业正加速…

版权声明:本文由李斯达原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/247 来源:腾云阁 https://www.qcloud.com/community 作者介绍:李斯达,微软最具价值专家.认证讲师.无界工程师.场景式学习倡导者,曾在阿里O2O仓储解决方案公司担任系统架构师一职,目前就职于互联网企业担任系统运维工程师,致力于IT改善生活的实践之路. 在国内公有云厂商上搭建一套SQL Cluster的难度相信做Wind…

随着企业规模的扩大,对数据库可用性要求越来越高,更多企业采用两地三中心.异地多活的架构,以提高数据库的异常事件应对能力. 在数据库领域,我们常听的"两地三中心"."异地多活"到底是什么呢? "两地三中心"就是生产数据中心.同城灾备中心.异地灾备中心.这种模式下,两个地域的三个数据中心互联互通,当一个数据中心发生异常,其他数据中心可以正常运行并进行业务接管. "异地多活"就是在多个地域建设多个数据中心, 业务数据能够在三个及以上…

连接步骤 1.打开腾讯云TDSQL-C(原CynosDB)集群详情中的中的集群连接外网地址,如下图 2.云数据库的账号密码在这里找,第一次不知道密码可以重置密码 3.以root账户为例,打开navicat 点击连接选择Mysql,出现下图窗口,主机名对应为图二的外网地址冒号前的字符串,端口对应冒号后面的数字 4.连接成功…

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由腾讯游戏云发表于云+社区专栏 看着精彩的德甲赛事,突然裁判一声口哨,球赛断掉了,屏幕开始自动播放"吃麦趣鸡盒,看德甲比赛"的视频广告 那么问题来了,如何在直播流中,无缝的插入点播视频文件呢? 本文介绍了QQ音乐基于腾讯云AVSDK,实现互动直播插播动画的方案以及踩过的坑. 01 从产品经理给的需求说起 "开场动画?插播广告?" 不久之前,产品同学说我们要在音视频直播中,加一个开场动画. 要播放插播动画…

在 TKE 上利用 HPA 实现业务的弹性伸缩 概述 Kubernetes Pod 水平自动扩缩(Horizontal Pod Autoscaler,以下简称 HPA)可以基于 CPU 利用率.内存利用率和其他自定义的度量指标自动扩缩 Pod 的副本数量,以使得工作负载服务的整体度量水平与用户所设定的目标值匹配.本文将介绍和使用腾讯云容器服务 TKE 的 HPA 功能实现 Pod 自动水平扩缩容. 使用场景 HPA 自动伸缩特性使容器服务具有非常灵活的自适应能力,能够在用户设定内快速扩容多个 P…

版权声明:本文由李斯达 原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/97264001482830465 来源:腾云阁 https://www.qcloud.com/community 导语 终于到了本系列最后一篇,在上一篇中,我们准备好了各种资源,包括搭建SQL Cluster群集的底层,在发布了前面四篇后我收到了大量反馈,现在集中回答下 终于到了本系列最后一篇,在上一篇中,我们准备好了各种资源,包括搭建SQL Cl…

版权声明:本文由李斯达原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/248 来源:腾云阁 https://www.qcloud.com/community 在上一篇我们介绍了如何在QCloud标准化的搭建一套域环境,并介绍了如何在生产过程中如何避免一些坑,今天,我们来介绍此次demo中真正需要注意的一些细节及实现技术手段,主要为了让大家理解群集环境的隔离如何在QCloud上实现,先来看看以下两个FQA: Q1:QClo…

此篇博文为本人在实际工作中应用总结,转载请注明出处. 持续更新中 一.增 1.增加一列(向csp_hsy_count_info表中增加sale_qty列) ALTER TABLE csp_hsy_count_info ADD COLUMNS (sale_qty BIGINT); 2.增加一张表(表为fact_hsy_panter_pay_org,分区为p_day_id) INSERT OVERWRITE TABLE fact_hsy_panter_pay_org PARTITION(p_day_…

Bloodhound SSC超音速汽车将陆地极限速度提升到1678公里/小时,号称陆地“超音速战斗机”.无独有偶,同样也在2017年,在英特尔®.腾讯金融云团队的共同见证下,腾讯云数据库TDSQL采用英特尔®提供的高端平台,跑出了创造历史的最快性能数据——峰值286万QPS.相比于上一代处理器,性能提升了近4倍,是32核/220GB实例的38倍,腾讯云TDSQL正在打造数据库领域的“超音速战机”. 此次测试的TDSQL,是由腾讯云数据库团队.金融云团队和腾讯TEG团队共同维护的金融级分布式架构和…

导语 | 缓存+存储的系统架构是目前常见的系统架构,缓存层负责加速访问,存储层负责存储数据.这样的架构需要业务层或者是中间件去实现缓存和存储的双写.冷热数据的交换,同时还面临着缓存失效.缓存刷脏.数据不一致等问题.本文是对腾讯云数据库高级产品经理邹鹏老师在「云加社区沙龙online」的分享整理,希望与大家一同交流 点击此链接,查看完整直播回放 一.前言 在互联网和移动互联网两波浪潮的推动下,存储技术有了飞速发展.移动互联网用户在过去十年增长了10倍,用户的增长带动了数据量的指数级增长,因为激烈的…

2022年6月,腾讯云Redis全新升级,发布高性能版本,单节点可提供50W+吞吐,性能是原生Redis的4倍.同时,腾讯云Redis推出全球复制功能,解决原生Redis诸多痛点问题,可用性升级高达99.999%,助力企业实现降本增效. Redis作为全球最受欢迎的NoSQL数据库之一,凭借着极高的吞吐.极低的响应延迟和丰富的功能特性,成为企业在缓存场景中的首选方案.但在突发.热点访问及异地多活场景下,原生Redis方案会出现主从复制延迟.数据同步不连续.多地写入等问题,无法解决海量数据在规模.…

SIGMOD 数据管理国际会议是数据库领域具有最高学术地位的国际性会议,位列数据库方向顶级会议之首.近日,腾讯云数据库团队的最新研究成果入选 SIGMOD 2022 Research Full Paper(研究类长文),入选论文题目为"HUNTER: An Online Cloud Database Hybrid Tuning System for Personalized Requirements".标志着腾讯云数据库团队在数据库AI智能化上取得进一步突破,实现性能领先. 数据库参数…

来源:云数据库技术 标题 1.摘要 前段时间,测试了国内主要云原生数据库 PolarDB.TDSQL-C.GaussDB 的性能,参考:<再测云原生数据库性能>.在上次测试结果中,由于地域版本差异,腾讯云的 TDSQL-C 并没有表现出"重磅升级"的效果,现在两个月过去了,我们再来重测 TDSQL-C.先说结论: 相比之前,本次 TDSQL-C 性能有了非常显著的提升,在这里的场景与规格(4c16g)下,读写性能相比之前提升了 80%经过与腾讯云数据库团队沟通,选择了在已经…

本文是腾讯云TDSQL首席架构师张文在腾讯云Techo开发者大会现场的演讲实录,演讲主题是<TDSQL在银行传统核心系统中的应用实践>. 我是TDSQL架构师张文,同时也是TDSQL的开发人员之一.今天的分享内容主要包含四个部分,分别为银行行业现状介绍.核心系统分布式改造.TDSQL最佳实践和改造效果. 张文演讲现场 搜索关注"腾讯云数据库"官方微信,回复"1106张文"即可下载本视频演讲PPT. 一.关于TDSQL 银行数据库系统被外企垄断超过99%.…

本文由云+社区发表 作者:腾讯云数据库 随着云计算和数据库技术的发展,数据库正在变得越来越强大.数据库的性能如处理速度.对高并发的支持在节节攀升,同时分布式.实时的数据分析.兼容主流数据库等强大的性能正在越来越多的新型数据库上实现. 然而另一方面,数据库需要承担的业务越来越重,面临的场景也越来越复杂,开发者和运维人员不但日常需要管理超级复杂的数据,也会频繁面推的业务告警和突发状况. 那么如何解决这个令人头痛的问题呢?这时候如果有一个安全高效的远程数据库管理工具,不但能搞定数据库性能的实时监控和诊…