阿里巴巴离线数据同步工具/平台datax安装、使用笔记

废话不多说，直接上笔记，先来看下参考链接GitHub: https://github.com/alibaba/DataX。此链接有较详细的安装使用方法，还有json参数编写的文档说明，建议多看。

First，从上面的参考链接中下载datax，解压完成后datax/bin目录中就有了现成的可执行文件。但是还不能直接用，因为运行依赖于其他软件，所以下面来看看运行要求和安装步骤：

datax运行环境要求

Linux
JDK(1.8以上，推荐1.8)
Python(推荐Python2.6.X)
Apache Maven 3.x (Compile DataX)

所以第一步我们先要安装上面这些软件。

安装步骤

安装JDK

参考链接：https://www.cnblogs.com/xuliangxing/p/7066913.html

1、从官网下载系统对应JDK安装包。

　　过期示例：wget http://download.oracle.com/otn-pub/java/jdk/8u171-b11/512cd62ec5174c3487ac17c61aaa89e8/jdk-8u171-linux-x64.tar.gz （下载前可能会提示你让你Accept License Agreement，点击同意就好）

　　截至2020/3/4，官网已经改成“要求登陆”后才能下载，不过新增了RPM资源包，如果选择rpm包，下载完成后直接执行如下命令即可进行安装（跳过2、3、4步骤）

rpm -iv jdk-8u241-linux-x64.rpm 

2、解压

　　tar -zxvf jdk-8u171-linux-x64.tar.gz （免编译安装）

3、修改环境变量

　　vim /etc/profile

　　用vim编辑器来编辑profile文件，在文件末尾添加以下内容：

export JAVA_HOME=${你的解压路径}/jdk1.8.0_171
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}      ###(与windows类似多个系统变量需要用符号分隔；只不过这里用":", 而win用";")

　　保存退出。

4、重新执行修改后的配置，使配置生效

　　source /etc/profile

5、测试安装结果

　　java -version

　　javac

　　以上两个命令都能正确输出提示才是成功安装。

安装Python

　　我的机器上已经自带了Python2.6.6，而且很多的unix机器也都带有Python，此处略过。如果没有的或版本不够的请自行安装升级。

安装Apache Maven 3.x

1、从官网下载系统对应压缩包（注意：Binary tar包适用于unix系统；Source tar包适用于windows系统）

2、安装 - 官方参考文档

　　官网下载的包也是免编译安装的，只要配置环境变量就行。这里我只翻译unix系统下的设置方法，window类似。

-------------------------------------------------------------------------------------------------------------------------------------------

Unix-based Operating System (Linux, Solaris and Mac OS X) Tips

• Check environment variable value

echo $JAVA_HOME
/Library/Java/JavaVirtualMachines/jdk1.8.0_45.jdk/Contents/Home

• Adding to PATH

export PATH=/opt/apache-maven-3.5.3/bin:$PATH

----------------------------------------------------------------------------------------------------------------------------------------------

　　第一步检查环境。没啥用，因为咱们在前面的步骤已经安装过jdk了。

　　第二步将apache-maven的执行文件路径加入到系统环境变量中，以便全局调用。操作方法参考安装jdk的第四、五步

最后附上我的配置

以上是个人总结的安装步骤， 下面进入datax的使用介绍。

datax的使用方法简单

python {用户目录}/datax/bin/datax.py ./stream2stream.json

即可。

难的是如何配置json文件。在https://github.com/alibaba/DataX网页中“Support Data Channels”板块有各个数据库的读、写的json参数编写说明，请多加阅读，只有多各个参数的解释有了一定理解才能配制出符合业务场景的json。

json主要有两个配置参数：content.reader和content.writer，这两个的配置决定了读、写数据库的所有配置，余下的属于连接设置。文档中参数说明理解起来稍微有点费劲，在编写json过程中需要注意几点，我以截图划重点方式展示：

下面附上我的测试配置和建表DDL

SQL server 测试表：

CREATE TABLE [dbo].[Table_ysb] (
[dpdm] nvarchar(50) COLLATE Chinese_PRC_CI_AS NOT NULL ,
[dpmc] nvarchar(50) COLLATE Chinese_PRC_CI_AS NOT NULL ,
[bmdm] nvarchar(50) COLLATE Chinese_PRC_CI_AS NOT NULL ,
[bmmc] nvarchar(50) COLLATE Chinese_PRC_CI_AS NOT NULL
)
ON [PRIMARY]

Mysql 测试表：

CREATE TABLE `table_ysb` (
`dpdm` varchar(50) NOT NULL,
`dpmc` varchar(50) NOT NULL,
`bmdm` varchar(50) NOT NULL,
`bmmc` varchar(50) NOT NULL,
`txt` varchar(255) DEFAULT NULL,
`flag` tinyint(1) DEFAULT '0',
`total` int(11) DEFAULT '0'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

Table_ysb 和Table_ysb_copy表结构一致，table_ysb和table_ysb2表结构一致。

PS: 注意，writer的connection.jdbcUrl只能配置一个，而reader允许多个，且必须[]起来。