LZ4 (Extremely Fast Compression algorithm) 项目:http://code.google.com/p/lz4/ 作者:Yann Collet 本文作者:zhangskd @ csdn blog 简介 LZ4 is a very fast lossless compression algorithm, providing compression speed at 400MB/s per core, scalable with multi-cores CPU.

一般情况下我们出现大量数据传输理希望减少服务器的带宽压力,会采取一种方式来压缩文件传输,php中用zlib也可以实现gzip压缩输出,下面我们来看GZIP压缩输出各种方法总结. GZIP(GNU-ZIP)是一种压缩技术.经过GZIP压缩后页面大小可以变为原来的30%甚至更小.这样用户浏览的时候就会感觉很爽很愉快! 准备工作 1.找不到php_zlib.dll文件? 自php4.3开始zlib压缩就已经内置在php中了,所以至少Windows环境下是不需要安装zlib的. 2.安装搭建php运行环

苹果提供的常用的数据压缩算法LZMA.ZLIB.LZ4等: 这三种算法也是苹果建议的,可跨平台使用: 定义如下: /* Commonly-available encoders */ COMPRESSION_LZ4 = 0x100, // available starting OS X 10.11, iOS 9.0 COMPRESSION_ZLIB = 0x205, // available starting OS X 10.11, iOS 9.0 COMPRESSION_LZMA = 0x306

使用tar+lz4/pigz+ssh更快的数据传输 -- | :41分类:Linux,MySQL | 前面一篇介绍了如何最大限度的榨取SCP的传输速度,有了这个基础,就可以进一步的使用压缩来加速传输速度了.只使用scp,传输速率最快约90MB,本文通过压缩将把最快传输速率提升到约250MB/s(包括解压的过程). 目录 [hide] . 结论 . 关于lz4 . 性能环境说明 3.1 磁盘读取和落盘 3.2 打包.拆包 3.3 压缩.解压缩 3.4 传输 3.5 整体流程 . 实验测试 4.1

tiKV 最底层使用的是 RocksDB(tidb3.0版本中将使用tian存储引擎) 做为持久化存储,所以 TiKV 的很多性能相关的参数都是与 RocksDB 相关的.TiKV 使用了两个 RocksDB 实例,默认 RocksDB 实例存储 KV 数据,Raft RocksDB 实例(简称 RaftDB)存储 Raft 数据. TiKV 使用了 RocksDB 的 Column Families (CF) 特性. 默认 RocksDB 实例将 KV 数据存储在内部的 default.wri

关键词:mysql热备工具,ibbackup,mysql物理备份工具 1. 准备 ibbackup 是 InnoDB 提供的收费工具,它支持在线热备 InnoDB 数据,主要有以下特性: * Online backup of InnoDB tables — the backup takes place entirely online, without preventing queries or updates. * Online backup of MyISAM tables — during

前文我们了解了ceph的存储池.PG.CRUSH.客户端IO的简要工作过程.Ceph客户端计算PG_ID的步骤的相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16733806.html:今天我们来聊一聊在ceph上操作存储池相关命令的用法和说明: 在ceph上操作存储池不外乎就是查看列出.创建.重命名和删除等操作,常用相关的工具都是"ceph osd pool"的子命令,ls.create.rename和rm等: 1.创建存储池 副本型

背景: 继上次介绍 初识 MySQL 5.6 新功能.参数完之后,刚好MySQL 5.7又GA了,在官方测试里看到,MySQL5.7在功能.性能.可用性.安全和监控上又提升了很高.现在看看和MySQL5.6对比,之前介绍了新增配置参数和安全相关特性.本文来说明MySQL5.7关于功能和性能提升的方面(持续更新). 1,功能性能上的提升 1.1:复制功能的提升. ①支持并行复制.slave-parallel-type 5.6开始支持基于库(database)的并行复制,对于只有一个库的,效果不好.

转载:http://www.cnblogs.com/hnrainll/archive/2011/06/09/2076655.html 1. 根文件系统 文件系统是包括在一个磁盘(包括光盘.软盘.闪盘及其它存储设备)或分区的目录结构:一个可应用的磁盘设备可以包含一个或多个文件系统:如果您想进入一个文件系统,首先您要做的是挂载(mount)文件系统:为了挂载(mount)文件系统,您必须指定一个挂载点. 注:对于我们应用开发来说,购买开发板的时候,厂家会提供好现成的根文件系统和BootLoader等

Oracle官方多线程逻辑备份工具 昨天Inside君写到MySQL 5.7.11版本发布,其中最有意义的部分在于官方修复了之前mysqlpump工具一致性备份的问题,使得mysqlpump工具在生产环境中有了用武之地.而在之前MySQL 5.7的文档中明确写着,mysqlpump是不支持一致性的备份: Before MySQL 5.7.11, use of the --single-transaction option is mutually exclusive with parallelis

前面说过高通平台,系统crash发生时,抓取crash ramdump非常重要,否则很难定位crash原因. 平台默认抓取ramdump的方法都有很强的局限性,如下: 1.PC端工具QPST提供的 Memory Debug Application工具. 局限性:完全信赖PC 2.sbl1将crash现场dump到外置sdcard.  boot_sd_ramdump.c 局限性:很多手机根本没有配置外置sdcard. 3.今天再看高通代码,还有种ram dump 方法,直接dump到raw par

  参考文档:CEPH官网集群操作文档   概述 Ceph存储集群是所有Ceph部署的基础. 基于RADOS,Ceph存储集群由两种类型的守护进程组成:Ceph OSD守护进程(OSD)将数据作为对象存储在存储节点上; Ceph Monitor(MON)维护集群映射的主副本. Ceph存储集群可能包含数千个存储节点. 最小系统将至少有一个Ceph Monitor和两个Ceph OSD守护进程用于数据复制.   Ceph文件系统,Ceph对象存储和Ceph块设备从Ceph存储集群读取数据并将数据写

整体架构 bluestore的诞生是为了解决filestore自身维护一套journal并同时还需要基于系统文件系统的写放大问题,并且filestore本身没有对SSD进行优化,因此bluestore相比于filestore主要做了两方面的核心工作: 去掉journal,直接管理裸设备 针对SSD进行单独优化 bluestore的整体架构如下图所示: 通过Allocator实现对裸设备的管理,直接将数据保存到设备上:同时针对metadata使用RocksDB进行保存,底层自行封装了一个BlueF

一.ClickHouse安装方式: 源码编译安装 Docker安装 RPM包安装 为了方便使用,一般采用RPM包方式安装,其他两种方式这里不做说明. 二.下载安装包 官方没有提供rpm包,但是Altinity第三方公司提供了. 地址:https://packagecloud.io/altinity/clickhouse 三.配置文件 安装好rmp包后,默认配置文件在/etc/clickhouse-server/目录下,主要涉及以下3种配置文件,也可以自定义配置文件位置,如果修改了目录记得连带修改

转至:http://www.freeoa.net/osuport/db/my-hbase-usage-problem-sets_2979.html 本文是我在使用Hbase的过程碰到的一些问题和相应的解决方法,现将这些经过总结分析,以免日后忘记.hadoop新增节点hadoop集群要增加3个节点.在3台主机分别配置了host.与集群内所有机器的ssh登录互信.jdk1.7 等.所有配置.目录等与集群其他机器保持一致.把安装文件拷贝到3台主机后,同时将修改后的配置文件分发到三台主机相应目录中.修改

MySQL5.7之后多了一个备份工具:mysqlpump.它是mysqldump的一个衍生,mysqldump就不多说明了,现在看看mysqlpump到底有了哪些提升,可以查看官方文档,这里针对如何使用做下说明. mysqlpump和mysqldump一样,属于逻辑备份,备份以SQL形式的文本保存.逻辑备份相对物理备份的好处是不关心undo log的大小,直接备份数据即可.它最主要的特点是: 并行备份数据库和数据库中的对象的,加快备份过程.更好的控制数据库和数据库对象(表,存储过程,用户帐户)的

RPC(Remote Procedure Call),是一个大家既熟悉又陌生的词,只要涉及到通信,必然需要某种网络协议.我们很可能用过HTTP,那么RPC又和HTTP有什么区别呢?RPC还有什么特点,常见的选型有哪些? 1. RPC是什么 RPC可以分为两部分:用户调用接口 + 具体网络协议.前者为开发者需要关心的,后者由框架来实现. 举个例子,我们定义一个函数,我们希望函数如果输入为"Hello World"的话,输出给一个"OK",那么这个函数是个本地调用.如果

简介 Zstandard(缩写为Zstd)是由Facebook的Yann Collet开发的一个无损数据压缩算法.Zstandard在设计上与DEFLATE(.zip.gzip)算法有着差不多的压缩比,但有更高的压缩和解压缩速度. Zstandard使用字典算法(LZ77)结合熵编码法的有限状态熵(tANS).-----Wikipedia GitHub上的zstd页面 Compressor name Ratio Compression Decompress. zstd 1.1.3 -1 2.87

LZ4使用 make / make clean 得到可执行程序:lz4.lz4c Usage: ./lz4 [arg] [input] [output] input : a filename Arguments : -1 : Fast compression (default) -9: High compression -d : decompression (default for .lz4 extension) -z : force compression -f : overwrite out

一.压缩(1.1)使用gzip进行打包:# time tar -zcf tar1.tar binlog*real 0m48.497suser 0m38.371ssys 0m2.571s (1.2)使用pigz压缩,同时设置最高压缩速度(-1)# time tar -cv binlog* | pigz -1 -p 24 -k >pigz1.tar.gzreal 0m10.715suser 0m17.674ssys 0m1.699s (1.3)  使用pigz压缩,默认压缩比 # time tar