一 简介:今天咱们来聊聊pt-archiver的使用 二 相关参数 相关参数1   --statistics 结束的时候给出统计信息:开始的时间点,结束的时间点,查询的行数,归档的行数,删除的行数,以及各个阶段消耗的总的时间和比例,便于以此进行优化.   --progress 每处理progress指定的行数后,就打印一次信息   --no-delete :表示不删除原来的数据,注意:如果不指定此参数,所有处理完成后,都会清理原表中的数据.   --limit 每组一次删除多少条数据   --w

当前我们组管理着一套审核系统,除了数据源是服务端提供的,其余后台管理都是由我们组在维护. 这个系统就是将APP中的各类社交信息送到后台,然后有专门的审核人员来判断信息是否合规,当然在送到后台之前已经让机器审核了一遍. 在去年8月份上线后,日积月累,有张数据表变得比较庞大,截止到目前将近5800W条,数据容量31.21G,每条记录大概是582B. 由于数据量庞大,在检索时也将模糊查询撤掉,并且为了便于查询,还加了很多索引,目前的索引容量都达到了12.2G,审核人员也经常反馈系统使用起来很卡. 一.

pt-archiver官方地址:https://www.percona.com/doc/percona-toolkit/3.0/pt-archiver.html 介绍:归档数据,比如将一年前的数据备份到其他mysql实例+删除一年前的数据,原表只保留最近一年,更好的方案我觉得应该是对大表做分区表.更多详细介绍参考官方或者其他博客. 常用的参数 pt-archiver --source h=$source_host,P=$source_port,u=$source_user,p=$source_p

一. 归档流程: 1. 导出需要的数据 2. 创建临时表table_tmp 3. 导入数据到临时表 4. 修改原始表名为table_bak 5. 修改临时表为原始表名 二.归档方式对比 1. select into outfile load data infile 导入导出的方式 SELECT * FROM student where create_time > '2018-10-01 00:00:00' into  /data/mysql/student.sql source  /data/m

一.环境 1.系统环境 系统 IP 主机名 说明 server_id centos6.7 MasterIP master 数据库:主 177  centos6.7 SlaveIP slave 数据库:从 148 2.软件环境 软件 版本 安装方式 说明 pt工具 3.0.4 编译安装 这是一个综合工具包,包含很多pt命令 mysql数据库 5.6.37 yum安装 主从环境 3.需要用到库 库名 表名 用途  percona checksums 存储pt命令监测的结果,第一次执行检测命令时会自己

1.前言 框框博客在线报时:2018-11-07 19:31:06 当前MySQL最新版本:8.0.13 (听说比5.7快2倍) 官方之前表示:MySQL 8.0 正式版 8.0.11 已发布,MySQL 8 要比 MySQL 5.7 快 2 倍,还带来了大量的改进和更快的性能! 开源中国介绍文档:MySQL 8.0 正式版 8.0.11 发布:比 MySQL 5.7 快 2 倍 2.开始 1.我的设备介绍 服务器:2018-11-06 新购置 的 阿里云CentOS7 服务器: 系统镜像采用阿

客户使用crsctl stat res -t命令去查看RAC集群状态时,发现异常,知晓Stuck Archiver代表归档满,问我们为什么RAC是同一个库,只有实例1显示Stuck Archiver,而实例2却没事? ora.orcl.db 1 ONLINE INTERMEDIATE db01 Stuck Archiver 2 ONLINE ONLINE db02 Open 其实这时如果等实例2再切一下归档,或是手工切一下归档,实例2就立马会报错: ora.orcl.db 1 ONLINE IN

JDBC的典型用法: JDBC4.2常用接口和类简介: DriverManager:用于管理JDBC驱动的服务类,程序中使用该类的主要功能是获取Connection对象,该类包含如下方法: public static synchronized Connection getConnection(String url, String user, String  pass) throws SQLException:该方法获得url对应数据库的连接 Connection:代表数据库连接对象,每个Conn

什么是归档 当遇到有结构有组织的数据时,比如字典,数组,自定义的对象等在存储时需要转换为字节流NSData类型数据,再通过写入文件来进行存储. 归档的作用 之前将数据存储到本地,只能是字符串.数组.字典.NSNuber.BOOL等容器类对象,不能将自定义对象进行保存,而通过归档能将所有的对象转化为二进制数据存储到文件中. 归档的缺点 归档保存数据,只能一次性归档保存以及一次性解压.所以只能针对小量数据,而且对数据操作比较笨拙,即如果想改动数据的某一小部分,还是需要解压整个数据或者归档整个数据.

之前简单总结了一下MySQL的场景面试知识点 1.讲下MVCC原理 2.MySQL高可用架构介绍 3.OSC(在线更改表结构)原理 4.MySQL性能调优有哪些关键点/经验 5.MySQL在线备份方案,Xtrabackup原理 6.MySQL监控有哪些指标 7.如何在线迁移MySQL 8.MySQL 5.7有哪些新特性/功能 9.Update t1 set c1=v1 where id=123; id是普通索引,该操作,会加哪些锁? 10.空隙锁是解决什么问题的? 11.服务器参数调优,有哪些关

问题出现 我们在线上巡检中发现,一个实例的pg_xlog目录,增长到4G,很是疑惑.刚开始怀疑是日志归档过慢,日志堆积在pg_xlog目录下面,未被清除导致.于是检查归档目录下的文件,内容如下.但发现新近完成写入的日志文件都被归档成功了(即在pg_xlog/archive_status里面,有对应的xxx.done文件). ls -lrt pg_xlog ... -rw------- xxxx xxxx Jun : 0000000100000035000000DE -rw------- xxxx

是最先进的数据库.他的第一个版本在1989年发布,从那时开始,他得到了很多扩展.根据db-enginers上的排名情况,PostgreSQL目前在数据库领域排名第四. 本篇博客,我们来讨论一下PostgreSQL的内部架构,以及各个组件之间如何交互.这将是本期PostgreSQL DBA系列博客的基石. 一.PostgreSQL的架构 PostgreSQL的物理架构非常简单,它由共享内存.一系列后台进程和数据文件组成. (如下图) 二.Shared Memory 共享内存是服务器服务器为数据库缓

最近在做性能测试时,由于要挂载空间数据,开发人员直接将所有业务表都挂到了Oracle数据库中.最近做了几次测试发现响应时间和吞吐量都不是很理想,进行一番分析后怀疑可能在Oracle中出现问题,因此再网上找了一下相关的监控程序,最终发现Spotlight,但是没有详细的说明(也有可能是我没找到),下面将我之前如何连接Oracle并进行监测的一些经验分享一下,如有瑕疵请各位指教. 首先Spotlight的安装和部署我就不多说了,我相信大家都是很聪明的,安装一下so easy. 这里我要说的是一定要安

JDBC编程 JDBC概述 •通过使用JDBC API,Java程序可以非常方便地操作各种主流数据库,这是使Java语言的巨大 魅力所在.而且由于Java语言的跨平台特性,所以使用JDBC API所编写的程序不仅可以实现跨数据 库,还可以跨平台,具有非常优秀的可移植性. •程序使用JDBC API以统一的方式来连接不同的数据库,然后通过Statement对象来执行标准 SQL语句,并可以获得SQL语句访问数据库的结果.因此掌握标准SQL语句是学习JDBC编程的基础, 本章将会简要介绍关系数据库理

相关学习资料 http://zh.wikipedia.org/wiki/Java数据库连接 http://lavasoft.blog.51cto.com/62575/20588 http://blog.csdn.net/cxwen78/article/details/6863696 http://www.ibm.com/developerworks/cn/java/jdbc-objects/index.html?ca=drs http://www.moon-soft.com/doc/37897.

数据库的存储机构 分为 逻辑存储结构 和 物理存储结构 逻辑存储结构: 数据库.表空间.段.区.块         物理存储结构: 数据库.控制文件.数据文件.初始化参数文件.OS块等. 一个区只能在一个数据文件中,一个段中的各个区可以分别在多个数据文件中.组成区的块是连续的.         SGA (SYSTEM Global Area )系统全局区 [buffer cache]数据高速缓存是(由初始化参数DB_CACHE_SIZE指定大小.工作原理和过程是 LRU(最近最少使用 Least

allocation:分配 agrregate :聚合,聚集,总计.在iOS中是一种文件类型. atomically:原子级的 archiver:归档.例如,oc专门有归档类NSKeyedArchiver attachment:附件.附属物 availability:有效的,有用的 avoid:避免 Auxiliary:辅助的,备用的 conversation: 会话,例如聊天会话. decoration:装饰.Decoration View,装饰视图,是Collection View里面的一种

1.0.0 Summary Tittle:[Java]-NO.16.EBook.4.Java.1.012-[疯狂Java讲义第3版 李刚]-  JDBC Style:EBook Series:Java Since:2017-10-08 End:.... Total Hours:... Degree Of Diffculty:2 Degree Of Mastery:2 Practical Level:2 Desired Goal:2 Archieve Goal:.... Gerneral Eval

一.业务场景 摩拜单车 2017 年开始将 TiDB 尝试应用到实际业务当中,根据业务的不断发展,TiDB 版本快速迭代,我们将 TiDB 在摩拜单车的使用场景逐渐分为了三个等级: P0 级核心业务:线上核心业务,必须单业务单集群,不允许多个业务共享集群性能,跨 AZ 部署,具有异地灾备能力. P1 级在线业务:线上业务,在不影响主流程的前提下,可以允许多个业务共享一套 TiDB 集群. 离线业务集群:非线上业务,对实时性要求不高,可以忍受分钟级别的数据延迟. 本文会选择三个场景,给大家简单介绍

V$LOG 显示CONTROLFILE记录的LOG FILE信息. 列名          描述 GROUP#        日志组号 THREAD#       日志线程号 SEQUENCE#     日志序列号 BYTES         日志文件大小(单位bytes) BLOCKSIZE     11.2新增字段,logfile的块大小 MEMBERS       日志组成员数 ARCHIVED      归档状态(YES/NO) STATUS        日志状态: ·UNUSED :

最近阅读了很多优秀的网站性能优化的文章,所以自己也想总结一些最近优化的手段和方法. 个人感觉性能优化的核心是:减少延迟,加速展现. 本文主要从产品设计.前端.后端和网络四个方面来诉说优化过程. 一.产品设计 在网上看到一句话:好的性能是设计出来的,而不是优化出来的. 感觉好有道理,如果将性能瓶颈扼杀在摇篮里,那么后期的维护成本将变得非常低,并且在避免改造后,都不需要浪费资源了. 1)聊天改版 最近公司有个聊天活动做改版,改版上线后惊喜的发现,监控数据居然减少了将近20W. 更深一步的探究,才知道