hive怎样处理多分隔符数据

问题描写叙述：

    大数据维稳需求中，客户提供的測试数据为多个字符做分隔符('|#'),在pig中会直接报错，hive中仅仅认第一个分隔符。

因为数据量比較大（160G），在文本中替换成单个字符分隔符已不现实，下面提供两个方案解决这一问题。

 

例子数据

110|#警察

120|#医院

方案1：利用hive自带的序列化/反序列化的方式RegexSe

 add jar /home/cup/software/……/hive-contrib-0.10.0-cdh4.4.0.jar;

create table test

(

id string,

name string

)partitioned by (c_day string)

row format serde 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'

with serdeproperties

( 'input.regex' = '([^\\|#]*)\\|#([^\\|#]*)' , 'output.format.string' = '%1$s%2$s')

stored as textfile;

 

load data local inpath '/……/test.txt'  overwrite into table test partition(c_day = '20141027');

select * from test;

110 警察 20141027

120 医院 20141027

==========================================================

方案2：重写对应的InputFormat和OutputFormat方法

http://running.iteye.com/blog/907806

http://superlxw1234.iteye.com/blog/1744970