一.业务场景 摩拜单车 2017 年开始将 TiDB 尝试应用到实际业务当中,根据业务的不断发展,TiDB 版本快速迭代,我们将 TiDB 在摩拜单车的使用场景逐渐分为了三个等级: P0 级核心业务:线上核心业务,必须单业务单集群,不允许多个业务共享集群性能,跨 AZ 部署,具有异地灾备能力. P1 级在线业务:线上业务,在不影响主流程的前提下,可以允许多个业务共享一套 TiDB 集群. 离线业务集群:非线上业务,对实时性要求不高,可以忍受分钟级别的数据延迟. 本文会选择三个场景,给大家简单介绍…

背景 提高TiDB可用性,需要把多点已有上百T TiDB集群拆分出2套 挑战 1.现有需要拆分的12套TiDB集群的版本多(4.0.9.5.1.1.5.1.2都有),每个版本拆分方法存在不一样 2.其中5套TiDB,数据量均超过10T.最大的TiDB集群目前数据量62T.单TiDB集群备份集大,消耗大量磁盘空间和带宽资源 空间最大3套集群 3.tidb使用方式多样(每种方式拆分方法不同),有直接读写tidb,也有mysql->tidb汇总分析查询,也有tidb->cdc->下游hive…

TiDB 源码阅读系列文章(一)序 TiDB 源码阅读系列文章(二)初识 TiDB 源码 TiDB 源码阅读系列文章(三)SQL 的一生 TiDB 源码阅读系列文章(四)Insert 语句概览 TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现 TiDB 源码阅读系列文章(六)Select 语句概览 TiDB 源码阅读系列文章(七)基于规则的优化 TiDB 源码阅读系列文章(八)基于代价的优化 TiDB 源码阅读系列文章(九) Hash Join TiDB 源码阅读系列文章(…

方案概述 大数据时代,各类应用对消息解决方案的要求不仅仅是数据的流动,而是要在持续增长的服务和应用中传输海量数据,进行智能的处理和分析,帮助业务做出更加精准的决策. Pulsar 与 TiDB 联合解决方案提供实时.高吞吐.稳定的数据输出,满足用户在大数据场景中对各类数据的应用与分析需求,广泛适用于日志收集.监控数据聚合.流式数据处理.在线和离线分析等场景. Apache Pulsar 简介与优势 Apache Pulsar(以下简称:Pulsar)是云原生的分布式消息流系统,采用计算和存储分层…

目录 一.备份原理 innobackupex原理 binlog原理 特点 备份策略 二.环境准备 开启binlog 创建授权用户 安装innobackupex 三.添加脚本 全量备份 增量备份 binlog 重写备份 备份周期 四.容灾测试 模拟备份 错误恢复 五.重写测试 一.备份原理 innobackupex原理 首先会启动一个xtrabackup_log后台检测的进程,实时检测mysql redo的变化,一旦发现redo有新的日志写入,立刻将日志写入到日志文件xtrabackup_log中…

导读:在经过了近半年的测试验证和迁移准备之后,神州金库3.0核心系统 WMS 正式从 MySQL 迁移到了分布式 HTAP 数据库 TiDB,上线后不久即经历了第一次双11的考验,TiDB的性能和稳定性表现远超预期,给后续的全平台迁移计划打下了坚实的基础.神州数码 TiDB 交付团队与科捷物流技术.业务团队紧密配合,完全自主化地实施了整个迁移过程,成为团队在又一新行业成功交付的典型案例. 业务背景 北京科捷物流有限公司于2003年在北京正式成立,是ISO质量管理体系认证企业.国家AAAAA级物流…

原创:知数堂 | MySQL 高可用的选择 在 MySQL(5.5 及以下)传统复制的时代,MHA(Master High Availability)在 MySQL 高可用应用中非常成熟.在 MySQL(5.6)及 GTID 时代开启以后,MHA 却没有与新的 MySQL 一起顺应时潮. MHA 由日本 DeNA 公司 youshimaton 开发,他认为在 GTID 环境下 MHA 存在的价值不大,MHA 最近一次发版是 2018 年.现如今使用 MySQL 已离不开 GTID ,无论是从功能…

MySQL备份管理 目录 MySQL备份管理 一.MySQL备份管理 1.1.1 MySQL备份管理介绍 1.1.2 基于mysqldump的备份恢复 1.1.3 基于xtrabackup软件的物理备份 一.MySQL备份管理 1.1.1 MySQL备份管理介绍 为什么要做备份 有效积极的备份策略,可以提高企业的数据容灾可靠性,防止因意外导致的数据损坏而无法恢复,给企业造成损失.有效的备份策略:全备 增量 时间 自动 ,记住备份是容灾的基础. 备份检查测试 日常备份检查:备份存在性,备份空间够用…

一:各模块属性 模块名称 状态 建议实例数 功能 负载均衡组件 TiDB 无状态 2 接收SQL请求,处理SQL相关逻辑,并通过PB找到存储数据的TiKV地址 LVS.HAProxy.F5 PB 集群 3 奇数个节点,推荐>3 整个集群的管理模块,存储元信息.对TiKV集群进行调度和负载均衡.分配全局事务ID  Raft TiKV 集群 3 负责存储数据  Raft 二:环境要求 2.1:开发测试环境: 组件 CPU 内存 本地存储 网络 实例数量(最低要求) TiDB 8核+ 16 GB+ 无…

美团点评 TiDB 深度实践之旅(9000 字长文 / 真实“踩坑”经历) 4   PingCAP · 154 天前 · 3956 次点击 这是一个创建于 154 天前的主题,其中的信息可能已经有所发展或是发生改变. 原标题:美团点评携手 PingCAP 开启新一代数据库深度实践之旅 一.背景和现状 在美团,基于 MySQL 构建的传统关系型数据库服务已经难于支撑公司业务的爆发式增长,促使我们去探索更合理的数据存储方案和实践新的运维方式.随着近一两年来分布式数据库大放异彩,美团 DBA 团队联合…