HDFS handler

http://docs.oracle.com/goldengate/bd1221/gg-bd/GADBD/GUID-85A82B2E-CD51-463A-8674-3D686C3C0EC0.htm#GADBD-GUID-EE2D45B1-11E6-4B2E-B91F-2FB49F90900A

1.hive support

12.2取消了hive handler，因为hdfs handler已经提供了之前hive handler的功能。

2.指定hdfs文件格式为Sequence File

2.1结合hive

CREATE EXTERNAL TABLE table_name (
  col1 string,
  ...
  ...
  col2 string)
ROW FORMAT DELIMITED
STORED as sequencefile
LOCATION '/path/to/hdfs/file';

注意：使用hive时，gg.handler.name.partitionByTable必须设置为true(默认)

2.2数据格式

关于数据格式详细的设置在Delimited Text Formatter

例子：

gg.handler.name.format=sequencefile
gg.handler.name.format.includeColumnNames=true
gg.handler.name.format.includeOpType=true
gg.handler.name.format.includeCurrentTimestamp=true
gg.handler.name.format.updateOpKey=U

3.运行前的设置

2.4.1 classpath的设置

两个配置必须被加入classpath中：core-site.xml和hdfs客户端jar包

The default location of the core-site.xml file is the follow: #core-site.xml文件
Hadoop_Home/etc/hadoop
The default location of the HDFS client jars are the following directories: #hdfs客户端位置
Hadoop_Home/share/hadoop/common/lib/*
Hadoop_Home/share/hadoop/common/*
Hadoop_Home/share/hadoop/hdfs/lib/*
Hadoop_Home/share/hadoop/hdfs/*

例子：

gg.classpath=/ggwork/hadoop/hadoop-2.6.0/etc/hadoop:/ggwork/hadoop/hadoop-2.6.0/share/hadoop/common/lib/*:/ggwork/hadoop/hadoop-2.6.0/share/hadoop/common/*:/ggwork/hadoop/hadoop-2.6.0/share/hadoop/hdfs/*:/ggwork/hadoop/hadoop-2.6.0/share/hadoop/hdfs/lib/*

注意：严格按照上面的配置来。croe-site.xml文件的目录不能加*，jar的不能使用*.jar

2.4.2 支持多种文字格式化程序

    文字格式化程序将tril 文件转化为格式的信息。支持以下：

      JSON

Delimited Text

Avro Row

Avro Operation

Avro Object Container File Row

Avro Object Container File Operation

XML

2.4.3 hdfs的配置

    参考：

http://docs.oracle.com/goldengate/bd1221/gg-bd/GADBD/GUID-85A82B2E-CD51-463A-8674-3D686C3C0EC0.htm#GADBD383

2.4.4 示例配置

gg.handlerlist=hdfs
gg.handler.hdfs.type=hdfs
gg.handler.hdfs.mode=tx
gg.handler.hdfs.includeTokens=false
gg.handler.hdfs.maxFileSize=1g
gg.handler.hdfs.rootFilePath=/ogg
gg.handler.hdfs.fileRollInterval=0
gg.handler.hdfs.inactivityRollInterval=0
gg.handler.hdfs.fileSuffix=.txt
gg.handler.hdfs.partitionByTable=true
gg.handler.hdfs.rollOnMetadataChange=true
gg.handler.hdfs.authType=none
gg.handler.hdfs.format=delimitedtext

2.4.5 troubleshoting 

(1)日志

OGG FOR BIGDATA的数据流向是 Replicat Process >User Exit > Java Layer，可以以java层面设置日志。日志在dirrpt目录下 

在hdfs.props中设置,可以控制日志级别

gg.log=log4j

gg.log.level=INFO

支持以下级别：

OFF

FATAL

ERROR

WARN

INFO

DEBUG

TRACE

安装时初始化了三个log4j的配置文件并且加入了环境变量中：

log4j-default.properties
log4j-debug.properites
log4j-trace.properties

可以在启动时设置log4j的属性：

javawriter.bootoptions=-Xmx512m -Xms64m -Djava.class.path=.:ggjava/ggjava.jar -Dlog4j.configuration=samplelog4j.properties

来自为知笔记(Wiz)