1.引言 最近公司开始一个etl项目,底层结合开源的kettle进行开发.那么学习kettle势在必行,kettle的使用在这里就不用介绍了,网上有很多的资料.例如:kettle中文社区,我们在这里主要介绍代码方面的开发. 2.开发环境     引用别人的一篇博客:https://my.oschina.net/nivalsoul/blog/779968 注意一点:去官网下载工具版的kettle要和源码的版本一致. 3.异常解决: (1). 安装完环境之后,项目上带有红色的叉,没有注意然后选择ru…

[.net开发者自学java系列]使用Eclipse开发SpringMVC(3) 标签(空格分隔): Spring RESTful 很久没继续学习java的spring了.接下来继续 回忆一下上个随笔,我已经学会怎么使用Maven搭建一个java项目,并使用JUnit测试. 现在看了下Spring,我应该要学用Spring构建REST风格的WEB服务.这是一个真正的WEB了. 贴出学习地址:https://spring.io/guides/gs/rest-service/ 接下来我们会建立 我们…

大概熟悉了 Eclipse. 然后先上Spring MVC 官网看看. 可是英文太差?翻译咯.现在翻译可屌了,真高兴生活在现在科技发达的时代.活着在中国太美好了. 没出过国门就能看懂英文.我都崇拜自己了. 继续百度. 好的.对比了下.是同一个东西.嗯.66的. 小伙伴,我先看官网了.等下回来接着写. 可能没有观众,我就当作有吧.发现自己自言自语的能力好强大,还啰嗦....吐槽 ---- 然后就看到以下这些了.我也不知道是什么 百度咯. Spring Framework 5 介绍   Spring…

第一篇随笔,有点紧张.有错别字是正常的.... 好了,自我描述下.我是一个有几年.net开发经验的老菜鸟.是的,老菜鸟.别跟我讨论底层,别跟我讨论协议.TMD啥都不会. 为什么要学JAVA,我也不想,公司需要,也有个人爱好.喜欢敲代码啊,就学咯. 废话不多说.进入正题.这个随笔只是想记录自己成长的过程. 安装Eclipse不用我多说了.我在中国,所有别谈FQ了.穷的连蓝灯专业版都买不起. 百度=>Eclipse 官网 告诉大家,百度很恶心,以后自己搜索东西的时候,注意看红色圈圈有没有广告两个字.…

开源ETL工具kettle系列之常见问题 摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案 1. Join我得到A 数据流(不管是基于文件或数据库),A包含field1 , field2 , field3 字段,然后我还有一个B数据流,B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起来, 应该怎么样做.这是新手最容易犯错的一个地方,A数据流跟B数据流能够Joi…

近期为了分析国内航空旅游业常见安全漏洞,想到了用大数据来分析,其实数据也不大,只是生产项目没有使用Hadoop,因此这里实际使用一次. 先看一下通过hadoop分析后的结果吧,最终通过hadoop分析国内典型航空旅游业厂商的常见安全漏洞个数的比例效果如下: 第一次正式使用Hadoop,肯定会遇到非常多的问题,参考了很多网络上的文章,我把自己从0搭建到使用的过程记录下来,方便以后自己或其他人参考. 之前简单用过storm,适合实时数据的处理.hadoop更偏向静态数据的处理,网上很多hadoop的…

第一次写博客,心里有点小激动,肯定有很多需要改进的地方,望海涵. kettle算是我相对较为深入研究过的开源软件了,也是我最喜欢的开源软件之一,它可以完成工作中很多体力劳动,在ETL数据抽取方面得到了广泛的使用.我本身对kettle的各个控件使用也不是很熟悉,只会使用最常见的部分控件,就是这样简单的使用也被它的美深深的吸引住了. 好了,进入正题,这里假设你熟悉java开发.git一般使用.kettle一般使用.kettle源码之前托管在kettle官方的svn上,后来迁移到了github上,在g…

ETL是什么?为什么要使用ETL?KETTLE是什么?为什么要学KETTLE?        ETL是数据的抽取清洗转换加载的过程,是数据进入数据仓库进行大数据分析的载入过程,目前流行的数据进入仓库的过程有两种形式,一种是进入数据库后再进行清洗和转换,另外一条路线是首先进行清洗转换再进入数据库,我们的ETL属于后者. 大数据的利器大家可能普遍说是hadoop,但是大家要知道如果我们不做预先的清洗和转换处理,我们进入hadoop后仅通过mapreduce进行数据清洗转换再进行分析,垃圾数据会导致我…

扩展Kettle功能, 经常使用 user defined java class 组件, 或者自己开发Java插件. 两种方式都有各自的痛点: 1. 在user defined java class 组件中写java代码, 该环境没有代码自动提示, 没有语法检查, 基本上需不断试错才能完成开发, 效率很低. 2. 开发 Kettle 插件, 难度较大, 需要很了解 kettle meta基础类, 另外UI开发也很难. 下面这个插件给出了很好的解决方法. KettleEasyExpand 插件简介…

转自: http://www.cnblogs.com/zuoca/archive/2012/07/09/Remote_Development_With_Netbeans_origin.html 工欲善其事,必先利其器系列--Netbeans之远程开发   实践难度:★★☆☆☆ 实用性  :★★★★☆ 你还在采用纯手工开发吗? 你还在采用本地开发,ftp到远程主机进行编译的繁琐方式吗? 你还在为不断的切换编辑窗口,ftp窗口,ssh窗口而感到郁闷吗? 你还在为不能够熟练使用linux下那命令庞杂的…

kettle管理工具 专门为kettle这款优秀的ETL工具开发的web端调度.管理工具. 新版本 项目简介 kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用的都是使用客户端操作管理,但问题是当投入生产环境使用时,动辄上百或几百个job需要管理,这时在使用客户端管理已经很难完成了.我所知道的解决方案有用命令行的调用的,操作麻烦,总之还是很难用啦,还有就是开发web端管理工具,kettle自带了一个web端管理工具,界面极其简陋不说,还很难用,基本无法投入生产环境使用,其他…

公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[HANA系列]SAP ECLIPSE中创建ABAP项目失败原因解析   前言部分 大家可以关注我的公众号,公众号里的排版更好,阅读更舒适. 正文部分 当你在eclipse中安装好ABAP插件后 很想体验一把在eclipse中开发abap代码 但是,创建abap项目,如果报下面的错 "Logon to system ERD failed (Sys…

公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[HANA系列]SAP ECLIPSE中创建ABAP项目的步骤   前言部分 大家可以关注我的公众号,公众号里的排版更好,阅读更舒适. 正文部分 因为我看到很多人都问过关于Eclipse的ABAP开发工具的问题.所以写了这篇配置. 在Eclipse中可以采取不同的方法来引入ABAP开发工具. 1.  首先要把eclipse安装上,去官网下载ecl…

Context MacOS 10.12.1 IDEA ULTIMATE 2016.2 项目使用eclipse开发 项目使用SVN进修版本管理 核心步骤 检出项目,完成基本配置 从svn检出 当项目下载完成后出现一个提示,询问是否创建为一个idea项目,点Yes 后续操作均Next即可(源码路径,lib路径,Modules,SDK,Spring,web.xml配置等) 配置Artifacts 打开项目Project Structure,快捷键⌘; 点击Create Artifacts创建Artif…

eclipse开发servlet,HttpServletRequest报红叉解决方案 今天突然间有兴致,想打一会代码,于是开发一个Servlet,代码和配置路径都没问题,HttpServlet居然报错了!我自己都惊呆了.图如下: 于是开始了,调错之路. 解决方法:鼠标右击项目工程-->Build Path-->点击comfigure Build Path进入----->选择java Bulid Path------>在左边点击Libraries--------->选择Add…

曾经看了不少Java和Android的相关知识,不过光看不练易失忆,所以,还是写点文字,除了加强下记忆,也证明我曾经学过~~~ 突破瓶颈,对比学习: 学习一门语言,开发环境很重,对于VS的方形线条开发环境有先入为主的先天因素. 因此多年以来(从学校开java课),对Eclipse那椭圆形的线条,似乎有点抗拒或格格不入的情怀. 抗拒情怀其实是一种瓶颈,如果不突破,很容易被局限,不管是跨语言的水平扩展突破,还是语言内的突破,都是同理. 只要是开发者,总会遇到到瓶颈,而这瓶颈久久不能突破,就是抗拒情怀…

在前面一篇文章中介绍了如果在完全分布式的环境下搭建Hadoop0.20.2,现在就再利用这个环境完成开发. 首先用hadoop这个用户登录linux系统(hadoop用户在前面一篇文章中创建的),然后下载eclipse的tar.gz包到/home/hadoop/这个目录下,直接解压缩,于是就会存在/home/hadoop/eclipse这个目录.在开发之前需要将hadoop0.20.2目录下面的一个jar复制到eclipse下面去.(注:在上一篇文章中我将hadoop0.20.2文件夹修改成了h…

一,下载Zookeeper安装包 从官方网站下载稳定版安装包后,解压. 其中ZK_HOME 为:D:\Program Files\zookeeper-3.4.9 二,启动Zookeeper Server 由于在Eclipse里面写的程序是Client,需要连接到Zookeeper Server.因此,需要开启Zookeeper Server.在Windows下,运行ZK_HOME/bin/zkServer.cmd 即可启动Zookeeper Server 如何启动报错提示找不到zoo.cfg,这…

通常使用eclipse开发程序的时候,正常情况下放到Linux中运行一般是没有什么问题,最明显的就是编码问题,这个一般都会统一为utf-8,另外还有Windows和Linux的换行符不同的原因,还有当代码上传到github等平台时,查看缩进会变乱,所以这几个地方需要统一一下,以Linux下为标准,因为这样更加简洁明了,所有代码除了utf-8编码外,也不要使用tab进行缩进,建议统一使用4个空格或者2个空格缩进,换行风格全部为Linux/Unix风格即\n,这样可以保证大部分代码兼容的问题,下面在…

最近在学习Python,因为我是做java的,用惯了eclipse,所以就想用eclipse开发python,但是配置开发环境的时候发现按照网上的配置大多不行,而且都是用的在线安装,很垃圾,没办法,自己搞! 在你看我这篇文章的时候你应该做完的准备是: 1.下载配置好jdk(网上教程一大堆,不多说了). 2.安装好eclipse,官网下载,解压就ok了. 3.官方下载pydev,要最新版的,最上面的,然后解压. 4.把下载后的pydev压缩包内的plugins和features文件夹内的内容复制到…

按照书本<PostgreSQL数据库内核分析>根据第一章讲解的linux下,编译 安装:不同的是libreadline5-dev版本没有了,就用新的版本代替:我的ubuntu 14 所以必须重新安装gcc-4.7版本,超过4.7版本编译会报错. ./configure gmake su gmake install adduserpostgres mkdir /usr/local/pgsql/data chownpostgres /usr/local/pgsql/data su - postgr…

一.熟悉Eclipse 1.Eclipse是由IBM公司投资4000万美元开发的集成开发工具.它基于Java语言编写,并且是开放源代码的.可扩展的,也是目前最流行的Java集成开发工具之一.另外,IBM公司捐出Eclipse源代码,组建了Eclipse联盟,由该联盟负责这种工具的后续开发.Eclipse为编程人员提供了一流的Java程序开发环境,它的平台体系结构是在插件概念的基础上构建的,插件是Eclipse平台最具特色的特征之一,也是其区别于其他开发工具的特征之一. 2.下载Eclipse 步…

尽管 BizTalk Server 提供许多Functoid以支持一系列不同的操作,但仍可能会遇到需要其他方法的情况.<BizTalk开发系列 Map扩展开发>介绍了通过使用自定义 XSLT,脚本 Functoid等方法来扩展.这里要介绍的是通过自定义 functoid 的方法扩展. 每个自定义Functoid为从Microsoft.BizTalk.BaseFunctoids派生的类的 .NET 程序集.一个程序集可包含多个自定义 functoid.下图的Format Date功能块是自定义开…

scala eclipse sbt 应用程序开发 搭建Eclipse开发Scala应用程序的一般步骤 一.环境准备: 1.Scala : http://www.scala-lang.org/ 2.Scala IDE for Eclipse :scala-ide.org 3.Sbt: http://www.scala-sbt.org/ 4.Sbt Eclipse : https://github.com/typesafehub/sbteclipse   typesafe的一个sbt for ecl…

按此文章<Hadoop集群(第7期)_Eclipse开发环境设置>进行MapReduce开发环境搭建的过程中遇到一些问题,饶了一些弯路,解决办法记录在此: 文档目的: 记录windows环境下Eclipse开发MapReduce程序遇到的四个问题及解决办法: 问题一:程序运行时报JobTracker is in safe mode: security.UserGroupInformation: PriviledgedActionException as:hadoop cause:org.apa…

1.环境准备 1.1 本期引言 前三期分别介绍了Nutch与Solr在Linux上面的安装,并做了简单的应用,这一期从开发的角度进行,因为我们日常最熟悉的开发环境是Windows,所以本期详细介绍Windows平台的Nutch二次开发所需要进行的配置安装.当我们开发好之后,最后在部署到Linux环境中. 为了方便以后Nutch开发以及软件安装的管理,我们对开发环境配置进行如下安排: E:/(盘符) |----cygwin |----NutchWorkPlat |----ant |----solr…

android开发不论是在真机上调试还是最终发布到真机上都非常简单,过程如下: 1.安装usb驱动 手机要能与电脑相连,当然要安驱动了.效果就是你插入手机,电脑显示驱动已识别.驱动安装的官方教程:http://developer.android.com/sdk/win-usb.html 官方教程概述: 不同的Android手机有对应不同的驱动,对于Nexus One, and Nexus S,见官方教程“Downloading the Goolge USB Driver”部分,直接用Androi…

前面说了手动配置一个应用,手动配置可以更深入的理解web应用的分布,但是一般的编辑器没有语法错误提示,所以开发起来对于错误的寻找不太容易,效率相对较低,所以在理解清楚web项目的结构之后,我们使用eclipse开发的话,能够使效率更高 开发可以使用eclipse for JavaEE或者MyEclipse都是可以的,项目目录大致相同,只是运行的方式不一样,eclipse是配置虚拟的环境执行应用,MyEclipse运行的时候还是把项目发布到tomcat服务器下的webapps中去运行,两者开发起来…

出处:http://www.javaweb1024.com/info/582.jspx 原因重现: Eclipse开发JavaWeb程序,启动Servers的Tomcat服务器,突然跳出弹出框,内容显示为: Server Tomcat v7.0 at localhost was unable to start within 10 seconds. If the server requires more time, try increasing the timeout in the server…

前言 在先前的文章中,已经介绍了如何在Ubuntu Kylin操作系统下搭建Hadoop运行环境,而现在将在之前工作的基础上搭建Eclipse开发环境. 配置 开发环境:Eclipse 4.2 其他同先前 第一步 安装Eclipse4.2 在Eclipse官网获取到Eclipse然后解压到用户目录即可. 第二步 编译Hadoop的Eclipse插件 这一步可以选择使用别人编译好了的插件(需注意hadoop版本号 和编译时的Eclipse版本号要一致),也可以自行编译(较繁琐). 一开始我是自己尝…