工作中的痛点:有一个计算的任务,需要配置成前端配置好一些简单的信息,例如名字,计算间隔,计算规则(这个是需要提前写好,开放给用户选择的),然后通过提交到我们的计算引擎中心生成对应的任务jar包提交到服务器上去计算(Flink+groovy) 我这里仅仅记录流程和关键点. 1:将前端传入引擎的信息进行封装 // 解析定义的参数,并封装运算脚本所需的其他参数值(key-value形式). Map<String, Object> ruleParams = parseParamsToMap(taskD

动态类型 动态类型中的类型是在运行时推断的,方法及其参数也是在运行时检查的. 能力式设计 被称作鸭子模式:他有这么一个观点:如果它走路像鸭子,叫起来也像鸭子,那么他就是一只鸭子. 契约式设计 相当于Java中定义的接口,他与能力式设计相对. 使用动态类型语言要自律 单元测试等等手段 ** * Created by Jxy on 2019/1/4 10:09 * groovy动态类型 * 没有实现任何接口,也没有扩展任何公共类 * 这里是能力式设计 * 能力式设计与契约式设计相对应 * * 使用动

通常我们在编写一个flink的作业的时候,肯定会有依赖的jar包.flink官方希望你将所有的依赖和业务逻辑打成一个fat jar,这样方便提交,因为flink认为你应该对自己的业务逻辑做好单元测试,而不应该把这部分测试工作频繁提交到集群去做.但事实是我们往往不愿意打一个fat jar,我们希望将业务逻辑独立出来,依赖动态提交.可惜的是,flink并不支持这种提交模式. flink官方的文档中提供了-C这个选项,来支持提交classpath,我们当时以为这个会有作用,后来再研读源码和实际测试的情

用SQL分析数据流 越来越多的公司在采用流处理技术,并将现有的批处理应用程序迁移到流处理或者为新的应用设计流处理方案.其中许多应用程序专注于分析流数据.分析的数据流来源广泛,如数据库交易,点击,传感器测量或物联网设备. Apache Flink非常适合流式分析,因为它提供了事件时间语义支持,恰一次的处理,并同时实现了高吞吐和低延迟.由于这些特性,Flink能够近乎实时地从大量输入流计算确切的和确定性的结果,同时在出现故障时提供恰一次处理的语义. Flink的流处理核心API,DataStream

A:前面需要说些什么吗? B:不需要吗? A:需要吗? 解析方式一:通过指定的paths来初始化GroovyScriptEngine //通过指定的paths来初始化GroovyScriptEngine String[] paths = {"D:\\GroovyScript"}; GroovyScriptEngine gse = new GroovyScriptEngine(paths); Binding binding = new Binding(); binding.setVari

grovvy调试: 部署路径确定下来, 每个服务写死,传参 服务名 + 环境 给版本服务返回版本信息: groovy取分支: def gettags = ("git ls-remote -h git@gitlab.zi.com:crm/zi-crm-app.git").execute() gettags.text.readLines().collect { it.].replaceAll('refs/heads/', '') }.unique() def gettags = (&quo

前言: 规则引擎中, 往往涉及到多个条件构成了复杂布尔表达式的计算. 对于这类布尔表达式, 一是动态可变的(取决于运营人员的设定), 二是其表达式往往很复杂. 如何快速的计算其表达式的值, 该系列文章将以两种方式, Antlr4动态生成AST(抽象语法树), 以及Groovy动态编译的方式来对比评估, 看看哪种方式性能更优, 以及各自的优缺点. 本篇文章将侧重于Groovy的实现思路. 模型简化: 每个规则可以理解为多个条件构建的复杂布尔表达式, 而条件本身涉及不同的变量和阈值(常量), 以及中

基于 Apache Flink 和规则引擎的实时风控解决方案 ​ 对一个互联网产品来说,典型的风控场景包括:注册风控.登陆风控.交易风控.活动风控等,而风控的最佳效果是防患于未然,所以事前事中和事后三种实现方案中,又以事前预警和事中控制最好.这要求风控系统一定要有实时性.本文就介绍一种实时风控解决方案.风控是业务场景的产物,风控系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: 业务系统,通常是 APP + 后台 或者 web,是互联网业务的载体,风险从业务系统触发

本文根据Apache Flink 实战&进阶篇系列直播课程整理而成,由哈啰出行大数据实时平台资深开发刘博分享.通过一些简单的实际例子,从概念原理,到如何使用,再到功能的扩展,希望能够给打算使用或者已经使用的同学一些帮助. 主要的内容分为如下三个部分: Flink CEP概念以及使用场景. 如何使用Flink CEP. 如何扩展Flink CEP. Flink CEP 概念以及使用场景 什么是 CEP CEP的意思是复杂事件处理,例如:起床-->洗漱-->吃饭-->上班等一系列串联

一.java环境中基于jvm的两大语言:scala,groovy 可以在java项目里混编这两种语言: scala:静态语言,多范式语言,糅合了面向对象.面向过程:可以与java和net互操作:融汇了众多的语言特性,包括类似net的闭包.lambda表达式:正是语言特性较多,语言复杂度也较高~~ groovy:动态语言,既可作为面向对象语言又可做脚本语言:拥有动态语言的好处:语法简单~~ scala.groovy都是作为java的替代语言,基于jdk1.6可以使用起来像jdk1.8的高级语法特性

前言: 规则引擎中, 往往涉及到多个条件构成了复杂布尔表达式的计算. 对于这类布尔表达式, 一是动态可变的(取决于运营人员的设定), 二是其表达式往往很复杂. 如何快速的计算其表达式的值, 该系列文章将以两种方式, Antlr4动态生成AST(抽象语法树), 以及Groovy动态编译的方式来对比评估, 看看哪种方式性能更优, 以及各自的优缺点. 本篇文章将侧重于介绍Antlr4的实现思路. 模型简化: 每个规则可以理解为多个条件构建的复杂布尔表达式, 而条件本身涉及不同的变量和阈值(常量), 以

Flink 学习 https://github.com/zhisheng17/flink-learning 麻烦路过的各位亲给这个项目点个 star,太不易了,写了这么多,算是对我坚持下来的一种鼓励吧! 本项目结构 2019/06/08 新增 Flink 四本电子书籍的 PDF,在 books 目录下: Introduction_to_Apache_Flink_book.pdf 这本书比较薄,处于介绍阶段,国内有这本的翻译书籍 Learning Apache Flink.pdf 这本书比较基础,

https://www.jianshu.com/p/2779e73abcb8 看完本文,你能get到以下知识 Flink 流处理为什么需要网络流控? Flink V1.5 版之前网络流控介绍 Flink V1.5 版之前的反压策略存在的问题 Credit的反压策略实现原理,Credit是如何解决 Flink 1.5 之前的问题? 对比spark,都说flink延迟低,来一条处理一条,真是这样吗?其实Flink内部也有Buffer机制,Buffer机制具体是如何实现的? Flink 如何在吞吐量和

并行执行 本节介绍如何在Flink中配置程序的并行执行.FLink程序由多个任务(转换/操作符.数据源和sinks)组成.任务被分成多个并行实例来执行,每个并行实例处理任务的输入数据的子集.任务的并行实例的数量称之为并行性. 如果要使用保存点,还应该考虑设置最大并行性(或最大并行性).当从保存点还原时,可以改变特定运算符或整个程序的并行性,并且该设置指定并行性的上限.这是必需的,因为FLINK内部将状态划分为key-groups,并且我们不能拥有+INF的key-group数,因为这将对性能有害

本文主要是想聊聊flink与kafka结合.当然,单纯的介绍flink与kafka的结合呢,比较单调,也没有可对比性,所以的准备顺便帮大家简单回顾一下Spark Streaming与kafka的结合. 看懂本文的前提是首先要熟悉kafka,然后了解spark Streaming的运行原理及与kafka结合的两种形式,然后了解flink实时流的原理及与kafka结合的方式. kafka kafka作为一个消息队列,在企业中主要用于缓存数据,当然,也有人用kafka做存储系统,比如存最近七天的数据.

一.前言 因为之前在项目中使用了Groovy对业务能力进行一些扩展,效果比较好,所以简单记录分享一下,这里你可以了解: 为什么选用Groovy作为脚本引擎 了解Groovy的基本原理和Java如何集成Groovy 在项目中使用脚本引擎时做的安全和性能优化 实际使用的一些建议 二.为什么使用脚本语言 2.1 脚本语言可解决的问题 互联网时代随着业务的飞速发展,不仅产品迭代.更新的速度越来越快,个性化需求也是越来越多,如:多维度(条件)的查询.业务流转规则等.办法通常有如下几个方面: 最常见的方式是

在应用中,我们可以在一个Java类.一个Groovy类或者一个Groovy脚本中实现某个特定功能.之后可以在Java类.Groovy类或Groovy脚本中调用该功能. 在groovy 使用groovy类,无需做什么,直接就可以工作.我们只需要确保所依赖的类在在类路径下,要么是源码,要么是字节码.要再groovy类中执行groovy脚本,我们可以使用,groovyShell.要在java类中使用groovy脚本,则可以使用ScriptEngine API.如想在java中使用groovy类,或者在

在本系列的上篇文章中,我们讲到了创建Task的多种方法,在本篇文章中,我们将学习如何读懂Gradle. 请通过以下方式下载本系列文章的Github示例代码: git clone https://github.com/davenkin/gradle-learning.git Gradle是一种声明式的构建工具.在执行时,Gradle并不会一开始便顺序执行build.gradle文件中的内容,而是分为两个阶段,第一个阶段是配置阶段,然后才是实际的执行阶段.在配置阶段,Gradle将读取所有build

Gradle是一种构建工具,它抛弃了基于XML的构建脚本,取而代之的是采用一种基于Groovy的内部领域特定语言.近期,Gradle获得了极大的关注,这也是我决定去研究Gradle的原因. 这篇文章是Gradle教程的第一篇,我们有两个目标: 1. 帮助我们学会安装Gradle. 2. 介绍一些基本概念,这有助于我们进一步理解本教程的后面章节. 我们开始吧,先看一下如何安装Gradle. 一.安装Gradle 如果我们使用的操作系统是Windows或Linux,我们可以根据以下步骤安装Gradl

查看原文:http://blog.csdn.net/u010818425/article/details/52268126 本文篇幅较长,文中系统地讲解了Gradle的基本知识点以及一些常用的命令和配置,适合于刚接触Gradle的同学: 在此基础上,可以阅读以下的实战经验文章: <Gradle实战:Android多渠道打包方案汇总> <Gradle实战:不同编译类型的包同设备共存> <Gradle实战:发布aar包到maven仓库> <Gradle实战:执行sql