Datax环境搭建
Datax是一个在异构的数据库/文件系统之间高速交换数据的工具,本次搭建Datax环境,需要说明以下,我的jdk版本是1.7的,所以需要对jdk继续升级。
一、环境准备
软件环境:CentOS 6
系统环境:linux
jdk环境:1.8及以上
启动环境:python
二、升级jdk
需要先使用命令进行查看自己的jdk版本,命令: java -version 如果是1.8的请自行忽略此步骤。
windows系统在官网上进行下载相应版本的jdk:https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.html

使用filezill进行上传到linux,我的上传到了桌面(或者直接在linux进行下载也可以)。
进入终端,不进入管理员模式,使用命令 rpm -qa | grep java 进行当前jdk安装包的查看,如我的是1.7的版本。

使用命令rpm -e --nodeps 你的jdk版本 强制删除软件包,如我的是 rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64 (注意这里有多少软件包就删除多少软件包)
然后使用命令 tar -zxvf jdk-8u231-linux-x64.tar.gz 对压缩包进行解压。
解压后如下所示

将解压后的文件使用命令 sudo mv jdk1.8.0_231/ /opt/ 移动到/opt文件夹下,然后进入到该文件夹下进行查看。

然后使用命令 sudo vim /etc/profile 进行环境的配置,在末尾添加如下代码。

export JAVA_HOME=/opt/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin
保存退出后使用命令 source /etc/profile 启用配置文件。
然后使用命令 java -version 进行当前版本的查看,出现的信息与你现在安装的版本相同则升级成功。

三、安装python
python的安装详情请参考这个博客:https://www.cnblogs.com/MWCloud/p/11354591.html
在安装过程中,可能会出现一些问题,可以参考下面的办法进行解决。
(1)显示无法建立 SSL 连接。如图所示:

解决方法:
将https改为http.因为https会默认认证ssl
(2)下载速度过慢问题
wget下载有时候会比较慢,而python相对我们的下载速度来说显得比较大,所以,我们可以下载mwget(或者使用镜像源)进行加速,具体方法参见这篇博客:https://blog.csdn.net/luhengchang/article/details/81365484
四、安装DataX
从官网上下载DataX:https://github.com/alibaba/DataX/blob/master/userGuid.md 直接下载工具包

使用filezill上传到 指定目录。解压到指定目录,我的是上传到了 /usr/local
使用命令 tar -zxvf datax.tar.gz 进行解压,解压之后使用命令 cd datax/bin 进入到并目录下,再使用命令 python datax.py ../job/job.json 执行python脚本,如果出现以下内容则安装成功。

Datax环境搭建的更多相关文章
- DataX安装环境搭建
DataX环境搭建 环境搭建 Java安装(java>=1.6) JDK下载地址: http://www.oracle.com/technetwork/java/javase/downloads ...
- .NET Core系列 : 1、.NET Core 环境搭建和命令行CLI入门
2016年6月27日.NET Core & ASP.NET Core 1.0在Redhat峰会上正式发布,社区里涌现了很多文章,我也计划写个系列文章,原因是.NET Core的入门门槛相当高, ...
- Azure Service Fabric 开发环境搭建
微服务体系结构是一种将服务器应用程序构建为一组小型服务的方法,每个服务都按自己的进程运行,并通过 HTTP 和 WebSocket 等协议相互通信.每个微服务都在特定的界定上下文(每服务)中实现特定的 ...
- rnandroid环境搭建
react-native 环境搭建具体步骤这个大家已经玩烂了,这个主要是记录下来自己做win7系统遇到的坑 1.com.android.ddmlib.installexception 遇到这个问题,在 ...
- python开发环境搭建
虽然网上有很多python开发环境搭建的文章,不过重复造轮子还是要的,记录一下过程,方便自己以后配置,也方便正在学习中的同事配置他们的环境. 1.准备好安装包 1)上python官网下载python运 ...
- springMVC初探--环境搭建和第一个HelloWorld简单项目
注:此篇为学习springMVC时,做的笔记整理. MVC框架要做哪些事情? a,将url映射到java类,或者java类的方法上 b,封装用户提交的数据 c,处理请求->调用相关的业务处理—& ...
- 【定有惊喜】android程序员如何做自己的API接口?php与android的良好交互(附环境搭建),让前端数据动起来~
一.写在前面 web开发有前端和后端之分,其实android还是有前端和后端之分.android开发就相当于手机app的前端,一般都是php+android或者jsp+android开发.androi ...
- Nexus(一)环境搭建
昨天,成功搭建了自己的 Maven 环境(详见:Maven(一)环境搭建),今天就来研究和探讨下 Nexus 的搭建! 使用背景: 安装环境:Windows 10 -64位 JDK版本:1.7 Mav ...
- 「译」JUnit 5 系列:环境搭建
原文地址:http://blog.codefx.org/libraries/junit-5-setup/ 原文日期:15, Feb, 2016 译文首发:Linesh 的博客:环境搭建 我的 Gith ...
随机推荐
- ASML光刻机PK 原子弹,难度?
ASML光刻机PK 原子弹,难度? 一. 物理世界和网络世界的交汇点:光刻机 光刻机的技术有多高级,看看这个知乎提问,可以感受一下: 有人这样形容光刻机:这是一种集合了数学.光学.流体力学.高分子物 ...
- 工作流中的流程追溯!详细解析Activiti框架中的历史组件
Activit中的历史简介 历史: Activiti中的一个组件,可以捕获发生在进程执行中的信息并永久的保存.与运行时数据不同的是,当流程实例运行完成之后它还会存在于数据库中 历史实体对象有5个: H ...
- 性能报告之HTML5 性能测试报告
1. 引言 1.1. 编写目的 HTML5 作为当前"最火"的跨平台.跨终端(硬件)开发语言,越来越受到前端开发者 的重视,无论是 PC 端还是当前"火热"的移 ...
- IntelliJ IDEA不好用?那是因为没掌握这些技巧
想要愉快的coding,一个好的IDE肯定少不了.而对于Java开发者来说,IntelliJ IDEA绝对是Java-IDE的首屈一指的选择(eclipse党还请绕我一命). 从我第一次下载IDEA到 ...
- Java IO学习笔记八:Netty入门
作者:Grey 原文地址:Java IO学习笔记八:Netty入门 多路复用多线程方式还是有点麻烦,Netty帮我们做了封装,大大简化了编码的复杂度,接下来熟悉一下netty的基本使用. Netty+ ...
- 《手把手教你》系列基础篇之(一)-java+ selenium自动化测试-环境搭建(上)(详细教程)
1.简介 jmeter系列的文章结束,本来想趁热打铁顺别将Jmeter和接口测试介绍一下,但是感觉Jmeter时间太长了怕大家吃腻了,还有一个原因就是许多小伙伴们或者童鞋们私信问宏哥什么时候可以有ja ...
- CMD批处理(5)——自动以管理员身份运行批处理脚本
在日常运维工作中,为方便对windows用户进行系统安装或配置等,使用Windows自带的批处理(bat文件)是一种最为简单快速的方法. 批处理脚本不会默认已管理员身份运行,一般情况下,我会将脚本命名 ...
- Golang限制函数调用次数
Golang限制函数调用次数 项目环境 ubuntu+go1.14 需求描述 限制某个函数5秒内只能调用一次,5秒内的其他调用抛弃 工具包使用 这里用到了官方限流器/time/rate 该限流器是基于 ...
- zbxtable的使用
实验环境: zabbix server 172.16.1.121 mysql 172.16.1.121 访问端 172.16.1.122 54.1 zbxtable 1 说明 ZbxTable使用Go ...
- [Usaco2018 Dec]Teamwork 题解
题目描述 题目描述 在Farmer John最喜欢的节日里,他想要给他的朋友们赠送一些礼物.由于他并不擅长包装礼物,他想要获得他的 奶牛们的帮助.你可能能够想到,奶牛们本身也不是很擅长包装礼物,而Fa ...