【Oozie workflow工作流action间参数传递实现】的更多相关文章

Oozie workflow工作流action间参数传递实现

假设workflow里有两个action节点,shell和hive,hive需要用到shell节点里的值,shell脚本如下 #!/bin/sh day=`date '+%Y%m%d%H'` echo "day:$day" hive节点需传入day这个参数.需要用到shell节点里<capture-output/>这个属性,如下 <action name="shell-118a "> <shell xmlns="uri:ooz…

Oozie分布式工作流——Action节点

前篇讲述了下什么是流控制节点,本篇继续来说一下什么是 Action Nodes操作节点.Action节点有一些比较通用的特性: Action节点是远程的 所有oozie创建的计算和处理任务都是异步的,没有任何应用是工作在oozie内部的.基本上都是创建一个oozie任务,oozie任务会以map的形式,在各个节点再创建相应的任务.因此当你执行spark任务的时候,就会发现yarn集群监控列表里面会同时有两个任务出现. Action节点是异步的 oozie创建的任务都是异步的,对于大多数的任务来说…

Oozie分布式工作流——从理论和实践分析使用节点间的参数传递

Oozie支持Java Action,因此可以自定义很多的功能.本篇就从理论和实践两方面介绍下Java Action的妙用,另外还涉及到oozie中action之间的参数传递. 本文大致分为以下几个部分: Java Action教程文档 自定义Java Action实践 从源码的角度讲解Java Action与Shell Action的参数传递. 如果你即将或者想要使用oozie,那么本篇的文章将会为你提供很多参考的价值. Java Action文档 java action会自动执行提供的jav…

Oozie分布式工作流——流控制

最近又开始捅咕上oozie了,所以回头还是翻译一下oozie的文档.文档里面最重要就属这一章了--工作流定义. 一提到工作流,首先想到的应该是工作流都支持哪些工作依赖关系,比如串式的执行,或者一对多,或者多对一,或者条件判断等等.Oozie在这方面支持的很好,它把节点分为控制节点和操作节点两种类型,控制节点用于控制工作流的计算流程,操作节点用于封装计算单元.本篇就主要描述下它的控制节点... 背景 先看看oozie工作流里面的几个定义: action,一个action是一个独立的任务,比如map…

Oozie分布式工作流——EL表达式

oozie支持使用EL(expression language)表达式. 基本的EL常量 KB MB GB TB PB 基本EL函数 string firstNotNull(String value1,String value2) 返回第一个不为空的值,如果都为null,则返回null string concat(String s1,String s2) 拼接两个字符串,如果一个为null,拼接的字符串为空 string replaceAll(String src,String regex,St…

Mvc action间的传值

1, Mvc action间的传值? TempData["student"] ="123" 在<走入asp.net mvc不归路>系列文章5中,介绍了Action的返回,返回方式的多样,首先决定了传参方式的多样. 2 最常见是从Action返回视图,View()方法有不同的重载版本,一种是不指定任何参数,则直接返回,这种方法没有传参:一种是指定了Model,这种传参方法最常见,就是每个视图一般会绑定一个Model,这边传过去,最恰好不过了:还有一种在指定…

风尘浪子 只要肯努力，梦想总有一天会实现 WF工作流与Web服务的相互调用 —— 通过Web服务调用Workflow工作流（开发持久化工作流） _转

如果你曾经负责开发企业ERP系统或者OA系统,工作流对你来说一定并不陌生.工作流(Workflow)是对工作流程及其各操作步骤之间业务规则 的抽象.概括.描述.工作流要解决的主要问题是:为实现某个业务目标,在多个参与者之间,利用计算机,按某种预定规则自动传递文档.信息或者任务.WF正 是解决企业核心问题的关键,通过WF可以轻松地轻 松地按照业务逻辑去实现开发,然后把WF发布为Web服务,这样客户端与服务与服务器端通讯就不会再受开发语言的影响,通过Web服务就可以轻松调用WF 去实现业务操作. 下…

小强的HTML5移动开发之路（53）——jQueryMobile页面间参数传递

在单页模版中使用基于HTTP的方式通过POST和GET请求传递参数,而在多页模版中不需要与服务器进行通信,通常在多页模版中有以下三种方法来实现页面间的参数传递. 1.GET方式:在前一个页面生成参数并传入下一个页面,然后在下一个页面中进行GET内容解析. 2.通过HTML5的Web Storage进行参数传递. 3.建立当前页面变量,在前一个页面将所需传递的参数内容赋值到变量中,在后一个页面从变量中将参数取出来.(程序灵活性较弱) 一.以GET方式实现页面间参数传递 <!DOCTYPE html…

form表单action带参数传递

form表单action带参数传递function submit(){  var u = document.forms[0].elements["user"].value;  document.forms[0].action = "admin.jsp?u="+u;  document.forms[0].submit();}…

JavaScript + SVG实现Web前端WorkFlow工作流DAG有向无环图

一.效果图展示及说明 (图一) (图二) 附注说明: 1. 图例都是DAG有向无环图的展现效果.两张图的区别为第二张图包含了多个分段关系.放置展示图片效果主要是为了说明该例子支持多段关系的展现(当前也包括单独的节点展现,图例没有展示) 2.图例中的圆形和曲线均使用的是SVG绘制.之前考虑了三种方式,一种是html5的canvas,一种是原始的html DOM,再有就是SVG.不过canvas对事件的支持不是很好(记得之前看过一篇文章主要是通过计算鼠标定位是否在canvas上的某个区域来触发事件机…