oozie java api提交作业
今晚试验用java的api来提交代码,由于代码是在我机器上写的,然后提交到我的虚拟机集群当中去,所以中间产生了一个错误。。要想在任意一台机器上向oozie提交作业的话,需要对hadoop的core-site.xml文件进行设置,复制到所有机器上,然后重启hadoop集群。
设置如下:
<property> <name>hadoop.proxyuser.cenyuhai.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.cenyuhai.groups</name> <value>*</value> </property>这里都设置成星号,则为任意机器,任意账号。cenyuhai是我的本机账户。
然后就开始啦,用本机提交代码到oozie。代码如下:
OozieClient wc = new OozieClient("http://192.168.1.133:11000/oozie"); Properties conf = wc.createConfiguration(); //conf.setProperty(OozieClient.APP_PATH,"hdfs://192.168.1.133:9000" + appPath); conf.setProperty("nameNode", "hdfs://192.168.1.133:9000"); conf.setProperty("queueName", "default"); conf.setProperty("examplesRoot", "examples"); conf.setProperty("oozie.wf.application.path", "${nameNode}/user/cenyuhai/${examplesRoot}/apps/map-reduce"); conf.setProperty("outputDir", "map-reduce"); conf.setProperty("jobTracker", "http://192.168.1.133:9001"); conf.setProperty("inputDir", input); conf.setProperty("outputDir", output); try { String jobId = wc.run(conf); return jobId; } catch (OozieClientException e) { log.error(e); }代码非常简单,先new一个OozieClient出来,然后创建一个配置文件Properties类,然后把我们用文件的Job.Properties里面写的所有参数都设置进去就行啦,然后调用run方法就打完收工了,简单吧。提交完了之后发现作业还是失败了,没关系,查看了一下详细的失败原因,发现不是因为workflow.xml设置输入输出目录的时候使用了账户的原因,没关系啦,随便它,反正提交是成功啦。
oozie java api提交作业的更多相关文章
- 通过java api提交自定义hadoop 作业
		通过API操作之前要先了解几个基本知识 一.hadoop的基本数据类型和java的基本数据类型是不一样的,但是都存在对应的关系 如下图 如果需要定义自己的数据类型,则必须实现Writable hado ... 
- 使用老版本的java api提交hadoop作业
		还是使用之前的单词计数的例子 自定义Mapper类 import java.io.IOException; import org.apache.hadoop.io.LongWritable; impo ... 
- oozie JAVA Client 编程提交作业
		1,eclipse环境搭建 在eclipse中新建一个JAVA工程,导入必要的依赖包,目前用到的有: 其次编写JAVA 程序提交Oozie作业,这里可参考:oozie官方参考文档 在运行提交程序前,首 ... 
- Java --本地提交MapReduce作业至集群☞实现 Word Count
		还是那句话,看别人写的的总是觉得心累,代码一贴,一打包,扔到Hadoop上跑一遍就完事了????写个测试样例程序(MapReduce中的Hello World)还要这么麻烦!!!?,还本地打Jar包, ... 
- 利用SparkLauncher 类以JAVA API 编程的方式提交Spark job
		一.环境说明和使用软件的版本说明: hadoop-version:hadoop-2.9.0.tar.gz spark-version:spark-2.2.0-bin-hadoop2.7.tgz jav ... 
- oozie 重新提交作业
		在oozie的运行过程当中可能会出现错误,比如数据库连接不上,或者作业执行报错导致流程进入suspend或者killed状态,这个时候我们就要分析了,如果确实是数据或者是网络有问题,我们比如把问题解决 ... 
- [源码解析]Oozie来龙去脉之提交任务
		[源码解析]Oozie来龙去脉之提交任务 0x00 摘要 Oozie是由Cloudera公司贡献给Apache的基于工作流引擎的开源框架,是Hadoop平台的开源的工作流调度引擎,用来管理Hadoop ... 
- 5   weekend01、02、03、04、05、06、07的分布式集群的HA测试  +  hdfs--动态增加节点和副本数量管理   +  HA的java api访问要点
		weekend01.02.03.04.05.06.07的分布式集群的HA测试 1) weekend01.02的hdfs的HA测试 2) weekend03.04的yarn的HA测试 1) wee ... 
- Hadoop 系列(三)Java API
		Hadoop 系列(三)Java API <dependency> <groupId>org.apache.hadoop</groupId> <artifac ... 
随机推荐
- GitHub创始人:我如何放弃30万美元年薪创业
			GitHub创始人:我如何放弃30万美元年薪创业 本文摘自GitHub创始人Tom Preston Werner个人博客. 时间还在2007年,我一个人独坐旧金山的Zeke 体育酒吧内.其实我并不经常 ... 
- debian linux 下设置开机自启动
			懒得写了,一张图简单明了.其实很简单,一开始没有加上nohup有点问题.现在问题已解决. 
- 使用NPOI 转换Excel TO HTML (导出格式不如原生Excel好看)
			//HSSFWorkbook workbook = ExcelToHtmlUtils.LoadXls(strPath); //ExcelToHtmlConverter excelToHtmlConve ... 
- apache-tomcat-7.0.53-windows-x86或者x64:出现错误提示:(Unable to open the service 'tomcat7)或者(Failed installing 'Tomcat7' service) tomcat7 %1 不是有效的 Win32 应用程序。
			具体 安装行动 :打开下令 行提醒 符窗口 => 进入Tomcat安装目次 ==> 进入bin目次 下==> 输入:service.bat install 即可而且tomcat_ho ... 
- 译:1. 初识 Apache Axis2
			欢迎使用Apache Axis2 / Java Apache Axis2 是一个Web Service SOAP / WSDL 引擎,它被广泛用于Apache Axis SOAP 栈. Apache ... 
- HTML5学习笔记(十五):方法
			在一个对象中绑定函数,称为这个对象的方法. 在JavaScript中,对象的定义是这样的: var xiaoming = { name: '小明', birth: 1990 }; 但是,如果我们给xi ... 
- Redis数据类型应用场景及具体方法总结
			StringsStrings 数据结构是简单的key-value类型,value其实不仅是String,也可以是数字.使用Strings类型,你可以完全实现目前 Memcached 的功能,并且效率更 ... 
- 每日英语:Apple Unveils New iPads
			Apple Inc. 's answer to the increasingly cutthroat tablet-computer market: more product choices and ... 
- linux命令(48):打乱一个文本文件的所有行
			如果用python读进内存再打乱的思路,如果大文件的话,就比较麻烦了 网上找到一个简单的方法,shuf: $ shuf --help 用法: shuf [选项]... [文件] 或者: shuf -e ... 
- [MyBean说明书]-添加IApplicationContextEx01接口手动加载库文件
			主控台接口实现了IApplicationContextEx01接口,可以手动执行加载DLL和配置文件,具体使用方法可以参见DEMO(samples\manualLoadLib) IApplicat ... 
 
			
		