Datax是一个在异构的数据库/文件系统之间高速交换数据的工具,本次搭建Datax环境,需要说明以下,我的jdk版本是1.7的,所以需要对jdk继续升级。


一、环境准备

  软件环境:CentOS 6

  系统环境:linux

  jdk环境:1.8及以上

  启动环境:python


二、升级jdk

  需要先使用命令进行查看自己的jdk版本,命令: java -version   如果是1.8的请自行忽略此步骤。

  windows系统在官网上进行下载相应版本的jdk:https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.html

  使用filezill进行上传到linux,我的上传到了桌面(或者直接在linux进行下载也可以)。

   进入终端,不进入管理员模式,使用命令 rpm -qa | grep java  进行当前jdk安装包的查看,如我的是1.7的版本。

    使用命令rpm -e --nodeps 你的jdk版本  强制删除软件包,如我的是  rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64   (注意这里有多少软件包就删除多少软件包)

  然后使用命令 tar -zxvf jdk-8u231-linux-x64.tar.gz 对压缩包进行解压。

  解压后如下所示

  将解压后的文件使用命令 sudo mv jdk1.8.0_231/ /opt/   移动到/opt文件夹下,然后进入到该文件夹下进行查看。

  然后使用命令  sudo vim /etc/profile  进行环境的配置,在末尾添加如下代码。

export JAVA_HOME=/opt/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

  保存退出后使用命令 source /etc/profile 启用配置文件。

  然后使用命令  java -version  进行当前版本的查看,出现的信息与你现在安装的版本相同则升级成功。


三、安装python

  python的安装详情请参考这个博客:https://www.cnblogs.com/MWCloud/p/11354591.html

  在安装过程中,可能会出现一些问题,可以参考下面的办法进行解决。

  (1)显示无法建立 SSL 连接。如图所示:

  解决方法:

  将https改为http.因为https会默认认证ssl

  (2)下载速度过慢问题

  wget下载有时候会比较慢,而python相对我们的下载速度来说显得比较大,所以,我们可以下载mwget(或者使用镜像源)进行加速,具体方法参见这篇博客:https://blog.csdn.net/luhengchang/article/details/81365484


四、安装DataX

  从官网上下载DataX:https://github.com/alibaba/DataX/blob/master/userGuid.md  直接下载工具包

  使用filezill上传到 指定目录。解压到指定目录,我的是上传到了 /usr/local

  使用命令  tar -zxvf datax.tar.gz  进行解压,解压之后使用命令   cd datax/bin   进入到并目录下,再使用命令 python datax.py ../job/job.json  执行python脚本,如果出现以下内容则安装成功。


Datax环境搭建的更多相关文章

  1. DataX安装环境搭建

    DataX环境搭建 环境搭建 Java安装(java>=1.6) JDK下载地址: http://www.oracle.com/technetwork/java/javase/downloads ...

  2. .NET Core系列 : 1、.NET Core 环境搭建和命令行CLI入门

    2016年6月27日.NET Core & ASP.NET Core 1.0在Redhat峰会上正式发布,社区里涌现了很多文章,我也计划写个系列文章,原因是.NET Core的入门门槛相当高, ...

  3. Azure Service Fabric 开发环境搭建

    微服务体系结构是一种将服务器应用程序构建为一组小型服务的方法,每个服务都按自己的进程运行,并通过 HTTP 和 WebSocket 等协议相互通信.每个微服务都在特定的界定上下文(每服务)中实现特定的 ...

  4. rnandroid环境搭建

    react-native 环境搭建具体步骤这个大家已经玩烂了,这个主要是记录下来自己做win7系统遇到的坑 1.com.android.ddmlib.installexception 遇到这个问题,在 ...

  5. python开发环境搭建

    虽然网上有很多python开发环境搭建的文章,不过重复造轮子还是要的,记录一下过程,方便自己以后配置,也方便正在学习中的同事配置他们的环境. 1.准备好安装包 1)上python官网下载python运 ...

  6. springMVC初探--环境搭建和第一个HelloWorld简单项目

    注:此篇为学习springMVC时,做的笔记整理. MVC框架要做哪些事情? a,将url映射到java类,或者java类的方法上 b,封装用户提交的数据 c,处理请求->调用相关的业务处理—& ...

  7. 【定有惊喜】android程序员如何做自己的API接口?php与android的良好交互(附环境搭建),让前端数据动起来~

    一.写在前面 web开发有前端和后端之分,其实android还是有前端和后端之分.android开发就相当于手机app的前端,一般都是php+android或者jsp+android开发.androi ...

  8. Nexus(一)环境搭建

    昨天,成功搭建了自己的 Maven 环境(详见:Maven(一)环境搭建),今天就来研究和探讨下 Nexus 的搭建! 使用背景: 安装环境:Windows 10 -64位 JDK版本:1.7 Mav ...

  9. 「译」JUnit 5 系列:环境搭建

    原文地址:http://blog.codefx.org/libraries/junit-5-setup/ 原文日期:15, Feb, 2016 译文首发:Linesh 的博客:环境搭建 我的 Gith ...

随机推荐

  1. java中的NIO和IO到底是什么区别?20个问题告诉你答案

    摘要:NIO即New IO,这个库是在JDK1.4中才引入的.NIO和IO有相同的作用和目的,但实现方式不同,NIO主要用到的是块,所以NIO的效率要比IO高很多. 本文分享自华为云社区<jav ...

  2. Mybatis基础使用方法

    1.首先在数据库中建立一张表 create table login( name varchar(20) not null, username varchar(20) not null, passwor ...

  3. Tensor Core技术解析(上)

    Tensor Core技术解析(上) NVIDIA在SIGGRAPH 2018上正式发布了新一代GPU架构--Turing(图灵),黄仁勋称Turing架构是自2006年CUDA GPU发明以来最大的 ...

  4. P5132 Cozy Glow之拯救小马国

    题目描述 Cozy Glow偷偷摸摸的造了一个魔法阵,这个魔法阵在吸取小马国的魔力,所以你得赶紧把它毁掉. 这个魔法阵由若干个神器组成,每个神器都有一个法力值,每两个神器之间也都有一个关联值.你要依次 ...

  5. 错误:软件包:php-fpm-5.4.16-42.el7.x86_64 需要:php-common(x86-64)

    报错信息:错误:软件包:php-fpm-5.4.16-42.el7.x86_64 (/php-fpm-5.4.16-42.el7.x86_64)需要:php-common(x86-64) = 5.4. ...

  6. 【NX二次开发】开发环境搭建

    1.Visual Studio 版本按照下表选择. UG版本 VS版本 NX1847-NX1872版 Visual Studio 2017 Build 19.10.25017 NX12版 Visual ...

  7. [Azure DevOps] 编译时自动修改版本号

    1. 需求 在使用 Pipeline 自动化 CI/CD 流程的过程中,我还还需要自动修改程序集的版本号.这个功能 EdiWang 和LeoLaw 都写文章讲解过做法.不过我的项目基本都是 .Net ...

  8. Spring Boot WebFlux-09——WebFlux 集成测试及部署

    第09课:WebFlux 集成测试及部署 前言 在日常工作中,免不了自测 UT,因为覆盖率不达标,是不允许提交测试,那怎么进行 WebFlux 项目的测试呢.@WebFluxTest 是 WebFlu ...

  9. git 认证问题之一的解决 : http ssh 互换

    场景 使用git 我们经常会遇到 认证失败的情况,有时候确实是搞错了用户名或者密码,还有的时候及时用户名密码用对了也还是认证失败. 此时, 就有可能是下面这个情况. 没有配置 ssh 秘钥, 而用了 ...

  10. hive学习笔记之三:内部表和外部表

    欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...