【原创】修改Sqoop1.4.6源码实现--fields-terminated-by选项支持多字节分隔符

修改Sqoop1.4.6源码实现--fields-terminated-by选项支持多字节分隔符

最近项目中需要使用sqoop实现oracle与hdfs的数据交换，从oracle数据表导入到hdfs集群，以及把hdfs数据导出到oracle数据表。客户要求Hdfs文本文件中，字段分隔符必须是“|@|”。然而发现sqoop的—fields-terminated-by选项只能支持单字节分隔符，无法支持多字节分隔符，难以满足要求。上网搜索了一下，并没有太多公开资料能较好的解决这个问题。这篇文章（http://www.cnblogs.com/YFYkuner/p/3748495.html）是通过修改codegen生成的Java代码，再编译实现多字节分隔。不过这种办法还不够通用，并不能完全满足我的需求。但通过这篇文章可以学习到，分隔符主要是在DelimiterSet这个类定义。所以，我打算修改sqoop的源代码，使其支持多字节分隔。

使用sqoop1.4.6，下载地址：http://www.apache.org/dyn/closer.lua/sqoop/1.4.6

1.   Sqoop工作原理

Sqoop在进行导入导出任务时，都会先自动生成一个java文件，并编译打成jar包，再提交到hadoop集群真正执行MapReduce任务。可以先阅读sqoop自动生成的java文件，看看其中数据导入导出的接口，以及分隔符如何被使用。这样可以有一个整体的印象。参考http://www.cnblogs.com/YFYkuner/p/3748495.html

2.   核心代码修改

2.1.  分隔符DelimiterSet的修改

首先了解一下分隔符org.apache.sqoop.lib.DelimiterSet的定义。

第一个字段field就是 –fields-terminated-by 指定的字段分隔符。源文件中变量类型是char，只能支持单字节。因此，首先需要将其修改为String类型，以便支持多字节分隔。

同时，DelimiterSet类的成员变量fieldDelim也需要修改为String类型。

2.2.  从Oracle导入Hdfs的修改

Sqoop主要是使用org.apache.sqoop.orm.ClassWriter类来实现从Oralce导入数据到Hdfs的。ClassWriter通过generateClassForColumns函数自动生成对应的java代码，这些被生成的代码才是真正在hadoop集群上执行。

其中导出到hdfs文本文件这段代码，具体是generateToString函数生成。

由于我们把DelimiterSet的fieldDelim字段类型从char改成了String，因此ClassWriter自动生成的java源码，也需要对应的修改。所以，需要修改如下：

2.3.  从Hdfs导出到Oracle的修改

从Hdfs导出到Oracle数据表，主要改动在于对Hdfs文本记录的解析，能够识别多字节分隔符。文本解析是通过org.apache.sqoop.lib.RecordParser的parseRecord方法来实现的。

源码是通过一个有限状态机来解析文本。我这里用String的split方法做了个最简单的处理来替换。

2.4.  解析--fields-terminated-by参数

sqoop通过命令行参数--fields-terminated-by设置分隔符。所以需要在org.apahe.sqoop.tool.BaseSqoopTool中设置Input和Output的分隔符，修改为字符串类型。修改如下：

2.5.  变更源码文件一览

由于修改了变量类型，以及相关函数参数，为了解决编译错误，还需要修改一些其它java文件。所有被修改的java文件如下。

3.   编译和打包

在ubuntu下使用ant编译和打包。参考sqoop的README，我安装的是jdk1.8.0_121和ant1.10.1。

== Compiling Sqoop

Compiling Sqoop requires the following tools:

* Apache ant (1.7.1)

* Java JDK 1.6

Additionally, building the documentation requires these tools:

* asciidoc

* make

* python 2.5+

* xmlto

* tar

* gzip

To compile Sqoop, run +ant package+. There will be a fully self-hosted build

provided in the +build/sqoop-(version)/+ directory.

执行ant package命令即可。

在build下得到构建产物。

BTW：这里我指定了hadoop版本是2.6.1，只要在build.xml中修改版本号即可。

4.   测试

从Oracle导入Hdfs：

sqoop import --connect jdbc:oracle:thin:@ip:port --username username --password password --target-dir /hdfs/cluster/sqoop/dir --table oracletable --fields-terminated-by \\\\\|@\\\\\|

从Hdfs导出Oracle：

sqoop export --connect jdbc:oracle:thin:@ip:port --username username --password password  --table oracletable --fields-terminated-by \\\\\|@\\\\\| --export-dir /hdfs/cluster/sqoop/dir

验证发现hdfs文件中字段分隔符确实是“|@|”，测试通过。

最后抛出一个问题供思考：分隔符是“|@|”，但为什么测试命令中--fields-terminated-by 指定的却是“\\\\\|@\\\\\|”呢？