原文链接:https://www.imooc.com/article/15640 来源:慕课网 我的毕设选择了大数据方向的题目.大数据的第一步就是要拿到足够的数据源.现实情况中我们需要的数据源分布在不同的业务系统中,而这些系统往往是异构的,而且我们的分析过程不能影响原有业务系统的运行.为了把不同的数据归集起来,我开始了解和接触ETL.本篇介绍阿里的开源ETL工具dataX.<!-- more -->ETL&&常用工具 ETL,是英文 Extract-Transform-Load…

一.Sqoop主要特点: 1.可以将关系型数据库中的数据导入到hdfs,hive,hbase等hadoop组件中,也可以将hadoop组件中的数据导入到关系型数据库中: 2.sqoop在导入导出数据时,充分采用了map-reduce计算框架(默认map数为4),根据输入条件生成一个map-reduce作业(只有map,没有reduce),在hadoop集群中运行.采用map-reduce框架同时在多个节点进行import或者export操作,熟读比单节点运行多个并行效率高,同时提供了良好的并发性…

阿里云开源离线同步工具DataX3.0介绍 一. DataX3.0概览 ​ DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL.Oracle等).HDFS.Hive.MaxCompute(原ODPS).HBase.FTP等各种异构数据源之间稳定高效的数据同步功能.   ● 设计理念 为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源.当需要接入一个新的数据源的时候,只需要将此数据源对接到Dat…

一.概述 1.是什么? DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL.Oracle.SqlServer.Postgre.HDFS.Hive.ADS.HBase.TableStore(OTS).MaxCompute(ODPS).DRDS 等各种异构数据源之间高效的数据同步功能. 开源地址:https://github.com/alibaba/DataX 二.简介 1.设计架构 数据交换通过DataX进行中转,任何数据源只要和DataX连接上即可以和已实现的任…

http://www.cnblogs.com/likwo/archive/2012/12/20/2826988.html 转 http://www.cnblogs.com/lenolix/archive/2010/12/13/1904868.html 概要:本文同期调研了google profile工具以及其他常用profile的工具,如GNU gprof.oprofile等(都是开源项目),并对其实现原理做了简单分析和比较.希望对之后的推广使用或二期开发有所帮助. 一.       GUN G…

博客原地址:http://blog.csdn.net/allan_bst/article/details/72904721 一.什么是热修复 热修复说白了就是"打补丁",比如你们公司上线一个app,用户反应有重大bug,需要紧急修复.如果按照通 常做法,那就是程序猿加班搞定bug,然后测试,重新打包并发布.这样带来的问题就是成本高,效率低.于是,热 修复就应运而生.一般通过事先设定的接口从网上下载无Bug的代码来替换有Bug的代码.这样就省事多了,用 户体验也好.(如下图所示:Andr…

林炳文Evankaka原创作品.转载请注明出处http://blog.csdn.net/evankaka 摘要:本文主要讲了如何在阿里云上安装JDK.Tomcat以及其配置过程.最后以一个实例来演示在阿里云上部署Java web项目. 本文实例访问:http://120.24.19.24:8080/JavaHelloWorld-0.0.1-SNAPSHOT/(到2016.3.9就不能访问了) war包有需要的可以来这里下载:http://download.csdn.net/detail/evan…

摘要:本文主要讲了如何在阿里云上安装JDK.Tomcat以及其配置过程.最后以一个实例来演示在阿里云上部署Java web项目. 一.准备工作 购买了阿里云的云解析,和云服务器ecs. 2.下载putty和FileZlilla 我用的是xshell+xftp强烈推荐,也可以使用FileZilla 本地远程SSH登陆到个人阿里云服务器的过程很简单,这里就不再细说 二.JDK安装 1.首先先到http://www.oracle.com/technetwork/java/javase/download…

今天朋友推荐了款自动化测试工具SlikMobile,下载了个试用了下,感觉还是很容易入门和上手的,感觉和testin的工具差不多,跨平台,多语言支持,支持图片.文本和Native Class三种对象方式,可以通过应用管理来提前定义对象,用在后续的脚本编写中.大体感觉还可以,这里是下载地址http://pan.baidu.com/s/1jGgQEfO,注册完可免费试用30天 下面简单介绍下使用方法: 1.创建工程File-New Project-OK 2.添加设备 Device-Add Devic…

今天接到了个任务,需要对数字进行计算,因为涉及到整数,小数,和科学计数法等很多条件,所以人工测试非常麻烦,于是想到了PHP的单元测试工具PHPUnit,所以写个文档备查. 看了PHPUnit的文档之后基本有了一些了解, http://pear.php.net/manual/en/packages.php.phpunit.intro.php 工作流程如下: 1.设计你的class/API 2.创建测试程序集 3.实现class/API 4.运行测试 5.修正测试失败或错误,回到第4步. 我们来举个…