[转]关于Infobright的数据导入

FROM : http://www.mysqlsky.com/201109/infobright-data-load-error

题记

对于DW系统而言，庞大数据的迁移成本很高；所以导入和导出的速率及容忍性也是考量数据仓库产品的重要标准。Infobright基于MySQL所以在数据格式上有比较成型的解决办法，IB原厂对速率进行了优化。在4.0企业版中推出了DLP分布式导入选件，极大的减少了迁移时间，目前世界最大的光通信提供商JDSU也选用了IB产品，并以DLP为主要选件进行配置。不过本文主要针对IB基本的导入导出进行介绍，加上在项目中遇到的特殊问题和解决办法。（在结尾处哦，呵呵）

1，简介

IB提供了专用的高性能loader，不同于传统的mysql。IB loader是为了提高导入速度而设计的，所以仅支持特有的mysqlloader语法，而且只支持导入格式化的变量和文本源文件

IEE也支持mysqlloader和insert语句

2，默认Loader

ICE仅支持IB lorder

IEE默认使用的是是mysql loader，它能更多的容错，但速度稍慢。为了最快的导入，使用IB loader，做以下环境的设置

Mysql>

set @bh_dataformat = ‘txt_variable’;

–使用IB loader来导入CSV格式的变量定长文本

set @bh_dataformat = ‘binary’;

–二进制文件

set @bh_dataformat = ‘mysql’;

–使用mysql loader

3，IB loader语法

IB仅支持load data infile，其他的mysql导入方式不支持

LOAD DATA INFILE ‘/full_path/file_name’

INTO TABLE tbl_name

[FIELDS

[TERMINATED BY 'char']

[ENCLOSED BY 'char']

[ESCAPED BY 'char']

];

导入前关闭

set AUTOCOMMIT=0;

完成后

COMMIT;

set AUTOCOMMIT=1;

4，区域分隔符

.区域分隔符是可选的，默认设置为

CLAUSE DEFAULT VALUE

FIELDS TERMINATED BY ‘;’ (semicolon)

FIELDS ENCLOSED BY ‘”‘ (double quote)

FIELDS ESCAPED BY ” (none)

5，导入经验

a.当导入表格列数很多时，修改brighthouse.ini中LoaderMainHeapSize

b使用并发导入

c容忍性排序为txt_variables<binary<mysql

d bh_loader不支持多分隔符

e 大量数据时，DLP是必要选择