ETL工程师 - 相关文章

【ETL工程师】的更多相关文章

ETL工程师笔试题

1.参考答案 1)建表 CREATE TABLE `ta` ( `id` int(11) NOT NULL AUTO_INCREMENT, `cx` varchar(20) DEFAULT NULL, `qy` varchar(20) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_INCREMENT=13 DEFAULT CHARSET=utf8; CREATE TABLE `tb` ( `id` int(11) NOT NU…

【转】阿里出品的ETL工具dataX初体验

原文链接:https://www.imooc.com/article/15640 来源:慕课网我的毕设选择了大数据方向的题目.大数据的第一步就是要拿到足够的数据源.现实情况中我们需要的数据源分布在不同的业务系统中,而这些系统往往是异构的,而且我们的分析过程不能影响原有业务系统的运行.为了把不同的数据归集起来,我开始了解和接触ETL.本篇介绍阿里的开源ETL工具dataX.ETL&&常用工具 ETL,是英文 Extract-Transform-Load…

算法工程师首先是工程师系列01 - 服务器篇 - 物理服务器安装centos7

尤其在互联网公司中,如果不是分工特别明确的独立业务组,通常需要自己处理很多东西,例如一个算法工程师,虽然不要求你装机,但是和负责部署服务的同事对接口,总不能连json是啥都不知道(工作中遇到过一个ETL工程师,不会liunx,不知道json) 一.装机准备 1.选择版本.下载镜像 centos和ubuntu 仁者见仁智者见智,我的大致方向就是注重稳定选centos,深度学习Ubuntu优先,版本不必追求最新,选择成熟的稳定版本会更好,比如centos7.2(7.5),Ubuntu 16.04 2…

SSISDB2：使用TSQL执行Package

在SSISDB中,能够使用TSQL脚本执行Package:每执行一次Package,SSIS都会创建一个Operation 和一个执行实例(Execution Instance),每个Execution Instance都有唯一的标识 ExecutionID,数据类型是bigint: 有些Package在执行时,需要指定参数值,通过向执行实例传递Parameter,能够为Package的参数赋值,Package的参数分为两种类型:系统参数和Package参数,系统参数共有7个,用于控制日志记录和…

从零开始学数据分析，什么程度可以找到工作？（内附20G、5000分钟数据分析工具教程大合集）

从零开始学数据分析,什么程度可以找到工作?( 内附20G.5000分钟数据分析工具教程大合集 ) 我现在在Coursera上面学data science 中的R programming,过去很少接触过统计.计算机这两个学科,现在很想转行做数据.问题如下: 1.Data需要学到什么程度可以找工作?2.初级的数据分析会做哪些工作?3.数据分析有什么小方向吗?4.想要深度做数据分析有怎样的建议? 5.统计的学习应该从哪里下手? 本文将给你以上问题所有答案,文末还有UniCareer为大家独家整理的…

Kafka学习之路

一直在思考写一些什么东西作为2017年开篇博客.突然看到一篇<Kafka学习之路>的博文,觉得十分应景,于是决定搬来这“他山之石”.虽然对于Kafka博客我一向坚持原创,不过这篇来自Confluent团队Gwen Shapira女士的博文实在精彩,所以还是翻译给大家,原文参见这里. ~~~~~~~~~~~~ Kafka学习之路看上去很多工程师都已经把“学习Kafka”加到了2017年的to-do列表中.这没什么惊讶的,毕竟Apache Kafka已经是一个很火的框架了.只需了解一些基本的Ka…

如何快速学习Scala

大数据学习过程中,会学习非常多的技术,但SCALA无疑是必不可少,那我们在大数据技术的学习过程中,如何快速的认识scala,并且学习它,感谢科多大数据公司的余老师提供的详细素材,本人整理成章,希望对你们有帮助. 众所周知,Spark支持4门语言,分别为R.Python.Java与Scala,但真正的底层实现语言则是Scala.在我以往的实践分享中,除了Python,我还会利用Scala去实践一遍,而且在面对大规模的数据建模中,我都会推荐去使用Hadoop.Spark去工程开发,充分利用集群的计算…