过去十年,面向整个数字时代的关键技术接踵而至,从被人们接受,到开始步入应用.大数据与计算作为时代的关键词已被广泛认知,算力的重要性日渐凸显并发展成为企业新的增长点.Apache Flink(以下简称 Flink)以其快速.准确的算力备受关注,如何将 Flink 更好的与大数据生态技术相结合,充分挖掘数据的潜力,真正发挥数据的价值,是大多数企业面临的难题. 11 月 28-30 日,Flink Forward Asia 邀请来自阿里巴巴.戴尔科技集团.英特尔.Cloudera.趣头条.百度.Str…

业务数据的指数级扩张,数据处理的速度可不能跟不上业务发展的步伐.基于 Flink 的数据平台构建.运用 Flink 解决业务场景中的具体问题等随着 Flink 被更广泛的应用于广告.金融风控.实时 BI.实时数仓.实时推荐等多种业务场景,在生产实践中已有丰富的案例与优秀的经验. Flink Forward Asia 倒计时 28 天,企业实践专题大会邀请了字节跳动.滴滴出行.快手.Bilibili.网易.爱奇艺.中国农业银行.奇虎360.贝壳找房.奇安信等不同行业一线技术专家分享 Apache…

前言 之前也分享了不少自己的文章,但是对于 Flink 来说,还是有不少新入门的朋友,这里给大家分享点 Flink 相关的资料(国外数据 pdf 和流处理相关的 Paper),期望可以帮你更好的理解 Flink. 书籍 1.<Introduction to Apache Flink book> 这本书比较薄,简单介绍了 Flink,也有中文版,读完可以对 Flink 有个大概的了解. 2.<Learning Apache Flink> 这本书还是讲的比较多的 API 使用,不仅有…

1 介绍 在周六的下午,我决定想高速浏览一下书籍[1].看看这个关于Ubuntu的圣经到底在讲什么东东. 感觉讲的不错,当我看到介绍文件标记语言-TeX和LaTeX的时候,该书作者推荐在Ubuntu上经常使用的teTeX软件包,但是我在软件中心(Software Center)通过查询(Searcch)对话框并没有找到该软件,于是进入作者推荐的关于teTeX的主页(www.tug.org/tetex)去了解.发现teTex自2006那年就停止维护,建议对TEX感兴趣的安装和关注TexLive.我…

1 问题背景 nginx 安全漏洞(CVE-2019-9511) nginx 安全漏洞(CVE-2019-9513) nginx 安全漏洞(CVE-2019-9516) http://www.cnnvd.org.cn/web/xxk/ldxqById.tag?CNNVD=CNNVD-201908-924 https://github.com/httpwg/http2-spec/wiki/Implementations https://www.sohu.com/a/335416469_120149…

目录 FlinkCDC 1.简介 2.依赖 3.flink stream api 4.flink sql 5.自定义反序列化器 6.打包测试 FlinkCDC 1.简介 CDC是Change Data Capture(变更数据获取)的简称.核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入.更新以及删除等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费. CDC种类 CDC主要分为基于查询和基于Binlog两种方式,我们主要了解一下这两种之间的区别:…

目录 你可能面临如下苦恼: 接口缓存 重试机制 Bean校验 等等...... 它为流计算开发工程师解决了 有了它你的代码就像这样子: 仓库地址:懒松鼠Flink-Boot 1. 组织结构 2. 技术选项和集成情况 3. 快速开始 3.1 核心基础工程 3.2 Spring容器 topology-base.xml config.properties 3.3 启动类示例 3.4 数据源 3.5 业务逻辑实现 CommonFunction 3.6 集群/本地运行 还在为开发Flink流处理应用程序时…

目录 Flink简单介绍 概述 无边界数据流和有边界数据流 技术栈核心组成 架构体系 重要角色 Flink与Spark架构概念转换 Flink简单介绍 概述    在使用Flink之前,我们需要大概知道Flink是什么?    首先,从Flink的官网可以有一个简单的了解:Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算.Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算.    这里了解过大数据的可以看到几个熟悉的词,分布…

Flink 作为有状态计算的流批一体分布式计算引擎,会在运行过程中保存很多的「状态」数据,并依赖这些数据完成任务的 Failover 以及任务的重启恢复. 那么,请思考一个问题:如果程序升级迭代调整了这些「状态」的数据结构以及类型,Flink 能不能从旧的「状态」文件(一般就是 Savepoint 文件)中恢复? 数据类型 上一篇我们介绍过 Flink 内置的一些用于状态存储的集合工具,如 ValueState.ListState.MapState 等.这些只是装数据的容器,具体能存储哪些类型的…

目录 什么时候可以/应该使用BATCH执行模式? 配置BATCH执行模式 执行行为 任务调度和网络随机shuffle 流执行模式 批处理执行模式 状态后端/状态 处理顺序 Event Time/水印(原文watermark) 处理时间 故障恢复 重要注意事项 检查点 编写自定义运算符 翻译出处 DataStream API Execution Mode (Batch/Streaming) DataStream API支持不同的运行时执行模式,您可以根据用例的要求和job特征从中选择运行模式. D…