[大数据技术]datax的安装以及使用

1、datax简述

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

• 　　datax的开源地址：https://github.com/alibaba/DataX
• 　　安装参考：https://www.cnblogs.com/jiangbei/p/10901201.html

2、datax在windows下的简单使用步骤

　　在命令提示符界面进入datax\bin目录下，如CD E:\datax\bin

　　用Python2执行此处为json文件的路径

　　注意：必须使用Python2！！！！！！

　　Python3会报以下错误：

  File "datax.py", line 114
    print readerRef
                  ^
SyntaxError: Missing parentheses in call to 'print'. Did you mean print(readerRef)?

　　原因是python2的print在python3中变为了print（）函数。

　　因此可以安装python2，并用 py -2  来执行python代码，如：py -2 datax.py E:\New1.json 来执行python2的代码

　　同理py -3执行python3的代码。

3、datax简单示例参考（json文件）

　　从CSV到MySQL数据库

 {
     "job": {
         "content": [
             {
                 "reader": {
                     "name": "txtfilereader",
                     "parameter": {
                     "path": ["E:/Yi211.csv"],
                     "encoding":"gbk",
                         "column": [
                             {
                                 "index": 0,
                                 "type": "string"
                             },
                             {
                                 "index": 1,
                                 "type": "string"
                             },
                             {
                                 "index": 2,
                                 "type": "string"
                             },
                             {
                                 "index": 3,
                                 "type": "string"
                             },
                             {
                                 "index": 4,
                                 "type": "string"
                             },
                             {
                                 "index": 5,
                                 "type": "string"
                             },
                         ],
                     "fieldDelimiter":","
                     }
                 },
                 "writer": {
                     "name": "mysqlwriter",
                     "parameter": {
                         "column": [
                         "shengfen",
                         "chengshi",
                         "quezhen",
                         "zhiyu",
                         "siwang",
                         "shijian"
                         ],
                         "connection": [
                             {
                                 "jdbcUrl": "jdbc:mysql://localhost:3306/dbtest?useUnicode=true&characterEncoding=utf8",
                                 "table": ["yi211"]
                             }
                         ],
                         "password": "364624",
                         "username": "root",
                         "preSql":[""],
                         "session":["set session sql_mode='ANSI'"],
                         "writeMode":"insert"
                     }
                 }
             }
         ],
         "setting": {
             "speed": {
                 "channel": "1"
             }
         }
     }
 }

• "path": ["E:/Yi211.csv"],  为要导入的csv文件路径。
• "encoding":"gbk", 为读取CSV文件的编码格式，这里应注意可能导致中文乱码！！！
• "column": 参考CSV文件列数进行（安装示例格式）进行进行修改。
• "name": "mysqlwriter",  代表该部分代码为写入MySQL的部分，同理"name": "txtfilereader",  代表该部分代码为读文本的部分。
• "jdbcUrl": "jdbc:mysql://localhost:3306/dbtest?useUnicode=true&characterEncoding=utf8", 参考自己连接数据库的部分进行修改，localhost此处代表ip；3306代表端口；dbtest修改为数据库名。characterEncoding代表写入表的编码格式
• "username": "root", 数据库的用户名。
• "password": "364624", 数据库的密码。
• "writer": 部分的 "parameter":  填写MySQL数据表内的表头。

　　这里给出MySQL到MySQL数据库的部分json文件，与上部分同理。

 {
     "job": {
         "content": [
             {
                   "reader": {
                     "name": "mysqlreader",
                     "parameter": {
                         "column": ["id","name","num"],
                         "connection": [
                             {
                                 "jdbcUrl": ["jdbc:mysql://localhost:3306/dbtest?useUnicode=true&characterEncoding=utf8&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true"],
                                 "table": ["test1"]
                             }
                         ],
                         "password": "364624",
                         "username": "root",

                     }
                 },
                 "writer": {
                     "name": "mysqlwriter",
                     "parameter": {
                            "column": ["id","name","num"],
                         "connection": [
                             {

                                 "jdbcUrl": "jdbc:mysql://localhost:3306/dbtest",
                                 "table": ["test2"]
                             }
                         ],
                         "password": "364624",
                         "username": "root",
                     }
                 }
             }
         ],
         "setting": {
             "speed": {
                 "channel": 1
             }
         }
     }
 }

4、可能出现的错误

json文件格式错误：

经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误. 您提供的配置信息不是合法的JSON格式: unclosed string : * . 请按照标准json格式提供配置信息.

命令提示符界面出现出现乱码：

可以在cmd中输入： CHCP 65001 ，然后进行后续操作。

py -2 datax.py E:\New1.json