DataX入门教学

B站学习网址：

https://www.bilibili.com/video/BV1H44y1x76X/?p=5&spm_id_from=pageDriver&vd_source=5fcc0d714ffdcc521fdaa5ef49391aef

Windows 下安装DataX以及Data-Web

1、环境

1.1:本地安装好 jdk 、 maven 、 python 的基础环境

	java版本:java 20.0.1 2023-04-18
	maven:Apache Maven 3.9.2
	python:Python 3.11.4
	dataX:DataX-datax_v202303.zip
	dataX-Web:2.1.2
	下载地址：
			DataX:				https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202303/datax.tar.gz
			DataX-Web:			https://codeload.github.com/WeiYe-Jing/datax-web/zip/refs/tags/v-2.1.2
			DatatX_python3:		https://codeload.github.com/HxYyWw/DatatX_python3/zip/refs/heads/master
			python:				https://www.python.org/ftp/python/3.11.4/python-3.11.4-embed-amd64.zip
			Java：				https://download.oracle.com/java/20/latest/jdk-20_windows-x64_bin.msi
			maven：				https://dlcdn.apache.org/maven/maven-3/3.9.2/binaries/apache-maven-3.9.2-bin.zip

	安装参考文档：https://blog.csdn.net/m0_46517444/article/details/118723643

1.2:在DataX的官网上下载压缩包，然后解压到自定义的文件夹里面

	官网地址：https://github.com/alibaba/DataX

1.3:win +R 输入cmd命令。进入命令行模式[使用管理员模式]

	本地安装路径：D:\Work\DataX\datax
	防止乱码执行命令： CHCP 65001
	使用命令进入bin目录：cd D:\Work\DataX\datax\bin
	执行脚本：python datax.py …/job/json/job.json   也可以
	执行脚本：python datax.py D:\Work\DataX\datax\job\job.json

1.4:查看模板

　　　　命令行：python datax.py -r streamreader -w streamwriter

1.5:编写脚本，

	将脚本存放到datax\datax\job目录底下，
	然后执行后python datax.py datax\job\你的脚本.json运行
	脚本格式信息可以去 https://github.com/alibaba/DataX/ 查看

备注：

　　 本地使用的python环境是python3.11.4，

请到 https://github.com/HxYyWw/DatatX_python3/tree/master

下载对应的三个.py文件代替datax文件夹中bin目录下的三个.py文件即可。

2、入门使用DataX

2.1 查看模板命令

	python datax.py -r mysqlreader -w mysqlwriter

2.2 使用案例

 {
 "job": {
     "setting": {
 		"speed": {
             "channel": 并发数
             }
         },
         "content": [
             {
             "reader": {
               "name": "固定的名字",
                     "parameter": {
                         "username": "账号",
                         "password": "密码",
                         "column": [
                             "字段1",
                             "字段2",
                             "字段3"
                             ps:[*]表示所有列，但是不建议使用
                         ],
                         "splitPk": "分片字段，丢给task，所以必须是整形。一般用主键即可（非必须）",
                         "connection": [
                             {
                                 "table": [ "表"],
                                 "jdbcUrl": [  "数据库连接地址"],
                                 "querySql":["这里可以写查询数据的sql语句，但是如果这里写了，则不允许再配置table，否则会报错（非必须，table和querySql只能存在一个）"]
                             }
                         ],
                         "where":"过滤条件"
                     }
                 },
                 "writer": {
                     "name": "固定的名字",
                     "parameter": {
                         "writeMode": "写入策略",
                         "username": "账户",
                         "password": "密码",
                         "column": [
                             "字段1",
                             "字段2",
                             "字段3"
                         ],
                         "session": [
                             "DataX在获取Mysql连接时，执行session指定的SQL语句，修改当前connection session属性（非必须）"
                         ],
                         "preSql": [
                             "写入数据到目的表前，会先执行这里的标准语句（非必须）"
 						],
                         "connection": [
                             {
                                 "jdbcUrl": "数据库连接地址",
                                 "table": [
                                     "表"
                                 ]
                             }
                         ]
                     }
                 }
             }
         ]
     }
 }

2.3 其他配置连接

2.3.1:MySQL 数据库连接配置信息示例

"connection": [
		{
			"jdbcUrl": [ // 数据库连接字符串
				"jdbc:mysql://localhost:3306/your_mysql_database"
			],
			"table": [ // 需要读取或写入的数据表名称
				"your_mysql_table"
			],
			"username": "your_mysql_username", // 数据库用户名
			"password": "your_mysql_password", // 数据库密码
			"driverClassName": "com.mysql.jdbc.Driver", // 数据库驱动类名
			"fetchSize": 1024 // 数据抓取的数量
		}
	]

2.3.2:Oracle 数据库连接配置信息示例：

"connection": [
			{
				"jdbcUrl": [ // 数据库连接字符串
					"jdbc:oracle:thin:@your_oracle_host:port:your_oracle_sid"
				],
				"table": [ // 需要读取或写入的数据表名称
					"your_oracle_table"
				],
				"username": "your_oracle_username", // 数据库用户名
				"password": "your_oracle_password", // 数据库密码
				"driverClassName": "oracle.jdbc.driver.OracleDriver", // 数据库驱动类名
				"fetchSize": 1024 // 数据抓取的数量
			}
		]

2.3.3:SQL Server 数据库连接配置信息示例

		"connection": [
			{
				"jdbcUrl": "jdbc:sqlserver://your_sqlserver_host:port;database=your_sqlserver_database", // 数据库连接字符串
				"table": "your_sqlserver_table", // 需要读取或写入的数据表名称
				"username": "your_sqlserver_username", // 数据库用户名
				"password": "your_sqlserver_password", // 数据库密码
				"driverClassName": "com.microsoft.sqlserver.jdbc.SQLServerDriver", // 数据库驱动类名
				"fetchSize": 1024 // 数据抓取的数量
			}
		]

2.3.4:PostgreSQL 数据库连接配置信息示例：

	"connection": [
			{
				"jdbcUrl": [ // 数据库连接字符串
					"jdbc:postgresql://your_postgresql_host:port/your_postgresql_database"
				],
				"table": [ // 需要读取或写入的数据表名称
					"your_postgresql_table"
				],
				"username": "your_postgresql_username", // 数据库用户名
				"password": "your_postgresql_password", // 数据库密码
				"driverClassName": "org.postgresql.Driver", // 数据库驱动类名
				"fetchSize": 1024 // 数据抓取的数量
			}
		]

3、DataX Web 安装[未安装,需要linux系统,或者window idea]

3.1:安装
	下载地址：https://github.com/WeiYe-Jing/datax-web
	本地安装路径：D:\Work\DataX\datax-web
	首先运行需要一个本地的MySQL数据库
	解压执行数据库脚本：D:\Work\DataX\datax-web\bin\db
	解压后的目录里bin目录的db目录下有个datax_web.sql
	打开之后可以看到，它只有建表语句，没有建库语句，而数据库名是datax_web

3.2:修改application.yml
	文件路径：D:\Work\DataX\datax-web\datax-admin\src\main\resources\application.yml