第三方引擎应用场景分析--Tokudb,infobright

TokuDB
TokuDB的特色：
• Fractal Tree而不是B-Tree
• 内部结点不仅有指向父子的指针还有Buffer区，数据写入先写buffer区，FIFO结构，写入只需要顺序添加到Buffer区就可返回，后续满时一次性刷新到下面的子树中，
插入数据基本上是一个顺序添加的过程。可轻松应对随机IO，减少空间碎片。
• 出色的压缩性能
• 块大小默认是4MB
• 在线DDL
TokuDB特别适合像 Zabbix 这种高 INSERT，少 UPDATE 的应用场景
TokuDB的Log
•log manager来管理log文件，InnoDB的rotate log效果
•为了并发性能，log在实现上，分: in buffer和out buffer
•支持group commit
•只有redo log ，不压缩，顺序写文件

infobright是开源的MySQL数据仓库解决方案，引入了列存储方案，高强度的数据压缩，优化的统计计算(类似sum/avg/group by之类)。
infobright优点：
1、高压缩比率，平均压缩比可达10：1，甚至可以达到40:1，我用infobright把3.1G的数据存成不足300M。
2、列存储，即使数据量十分巨大，查询速度也很快。用于数据仓库，处理海量数据没一套可不行。
3、不需要建索引，就避免了维护索引及索引随着数据膨胀的问题。把每列数据分块压缩存放，每块有知识网格节点记录块内
的统计信息，代替索引，加速搜索。
4、单一台服务器可以高效地读写30T数据。具有可扩展性，这里是指对于同样的查询，当数据量是10T时，它耗费的时间不应该比
1T数据量时慢太 多，基本是一个数量级内

缺点、限制：--企业版支持dml，在线热备
1.不支持DML
2.不支持多核
3.不支持分布式
loader与unloader是infobright的数据导入导出模块，也即处理SQL语句里LOAD DATA INFILE … 与SELECT … INTO FILE任务
逻辑层的infobright优化器包在mysql查询优化器的外面，因为它的存储层有一些特殊结构，所以查询优化方式也跟 mysql有很大差异
存储层最底层是一个个的Data Pack（数据块）。每一个Pack装着某一列的64K个元素，所有数据按照这样的形式打包存储，
每一个数据块进行类型相关的压缩（即根据不同数据类型采 用不同的压缩算法），压缩比很高。它上层的压缩器与解压缩器就做了这个事情。
Knowledge Grid（知识网格）中包含两类结点
• 每个Data Pack Node（数据包节点）对应于一个Data Pack，存储该Data Pack的一些统计信息，如min, max, avg, null个数、
单元总数count、sum总数等，甚至不同值的量等等；
• KN(Knowledge Node，知识节点)则存储了一些更高级的统计信息，以及与其它表的连接信息，这里面的信息有些是数据载入时已
经算好的，有些是随着查询进行而计算的，所以说是具备一定的“智能”的。

infinidb--列式
一个实际的例子：
tar -zxf <srcfile&get;
cd mysql
./configure --prefix=/usr/local/Calpont/mysql
make
make install

cd ../infinidb
./configure --prefix=/usr/local/Calpont
make
make install
预安装：
/usr/local/Calpont/bin/ post-install
配置：
/usr/local/Calpont/bin/postConfigure
设置别名
. /usr/local/Calpont/bin/calpontAlias
/etc/init.d/infinidb 脚本来启停infinidb
create table caltest (col1 int, col2 int) engine=infinidb
执行cpimport导入数据
/usr/local/Calpont/bin/cpimport calpont caltest caltest.tbl

cpimport 导入的速度非常快，应该是绕过MySQL层，直接通过API写入数据，千万行级数据，一般只需要1分钟左右
语法特性：
1、不支持的语法：insert into .... select ....
ERROR 138 (HY000): The syntax is not supported.
2、不支持的语法：1.05及以前版本不支持子查询
3、infinidb支持事务日志：
InfiniDB事务日志记录了DDL/DML语句和bulk load marker，使用syslog实现
事务日志默认名称是/var/log/Calpont/data/data_mods.log