apache flink kubernetes 运行试用
类似docker-compose 运行模式,使用的是deploy 的模式
deploy yaml 文件
deploy-k8s-yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: jobmanager
namespace: big-data
labels:
app: jobmanager
spec:
replicas: 1
template:
metadata:
labels:
app: jobmanager
spec:
containers:
- name: jobmanager
image: flink
imagePullPolicy: IfNotPresent
ports:
- containerPort: 6123
- containerPort: 8081
args: ["jobmanager"]
env:
- name: JOB_MANAGER_RPC_ADDRESS
value: jobmanager
---
# 暴露service 方便taskmanager 连接
apiVersion: v1
kind: Service
metadata:
name: jobmanager
namespace: big-data
labels:
app: jobmanager
spec:
type: NodePort
ports:
- port: 8081
targetPort: 8081
protocol: TCP
name: http
- port: 6123
targetPort: 6123
protocol: TCP
name: rpc
- port: 6124
targetPort: 6124
protocol: TCP
name: blob
- port: 6125
targetPort: 6125
protocol: TCP
name: query
selector:
app: jobmanager
---
# 访问地址使用ingress
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: jobmanager
namespace: big-data
spec:
rules:
- host: flink.data.com
http:
paths:
- backend:
serviceName: jobmanager
servicePort: 8081
path: /
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: taskmanager
namespace: big-data
labels:
app: taskmanager
spec:
replicas: 3
template:
metadata:
labels:
app: taskmanager
spec:
containers:
- name: taskmanager
image: flink
imagePullPolicy: IfNotPresent
ports:
- containerPort: 6121
- containerPort: 6122
args: ["taskmanager"]
env:
- name: JOB_MANAGER_RPC_ADDRESS
value: jobmanager
部署
kubectl apply -f deploy-k8s-yaml
访问
简单batchjob demo
具体代码参考 https://github.com/rongfengliang/flink-docker-compose-demo/tree/master/flink-app
运行效果
参考资料
https://github.com/rongfengliang/flink-docker-compose-demo
https://github.com/apache/flink/tree/master/flink-examples/flink-examples-batch/src/main/java/org/apache/flink/examples/java/wordcount
apache flink kubernetes 运行试用的更多相关文章
- apache flink docker-compose 运行试用
apache 是一个流处理框架,官方提供了docker 镜像,同时也提供了基于docker-compose 运行的说明 docker-compose file version: "2.1&q ...
- Apache Flink 分布式运行时环境
Tasks and Operator Chains(任务及操作链) 在分布式环境下,Flink将操作的子任务链在一起组成一个任务,每一个任务在一个线程中执行.将操作链在一起是一个不错的优化:它减少了线 ...
- Apache Flink - 分布式运行环境
1.任务和操作链 下面的数据流图有5个子任务执行,因此有五个并行线程. 2.Job Managers, Task Managers, Clients Job Managers:协调分布式运行,他们安排 ...
- Apache Flink系列(1)-概述
一.设计思想及介绍 基本思想:“一切数据都是流,批是流的特例” 1.Micro Batching 模式 在Micro-Batching模式的架构实现上就有一个自然流数据流入系统进行攒批的过程,这在一定 ...
- 官宣 | Apache Flink 1.12.0 正式发布,流批一体真正统一运行!
官宣 | Apache Flink 1.12.0 正式发布,流批一体真正统一运行! 原创 Apache 博客 [Flink 中文社区](javascript:void(0) 翻译 | 付典 Revie ...
- Apache Flink on K8s:四种运行模式,我该选择哪种?
1. 前言 Apache Flink 是一个分布式流处理引擎,它提供了丰富且易用的API来处理有状态的流处理应用,并且在支持容错的前提下,高效.大规模的运行此类应用.通过支持事件时间(event-ti ...
- Apache Flink 开发环境搭建和应用的配置、部署及运行
https://mp.weixin.qq.com/s/noD2Jv6m-somEMtjWTJh3w 本文是根据 Apache Flink 系列直播课程整理而成,由阿里巴巴高级开发工程师沙晟阳分享,主要 ...
- 终于等到你!阿里正式向 Apache Flink 贡献 Blink 源码
摘要: 如同我们去年12月在 Flink Forward China 峰会所约,阿里巴巴内部 Flink 版本 Blink 将于 2019 年 1 月底正式开源.今天,我们终于等到了这一刻. 阿里妹导 ...
- Apache Flink 1.12.0 正式发布,DataSet API 将被弃用,真正的流批一体
Apache Flink 1.12.0 正式发布 Apache Flink 社区很荣幸地宣布 Flink 1.12.0 版本正式发布!近 300 位贡献者参与了 Flink 1.12.0 的开发,提交 ...
随机推荐
- 介绍 Jersey 依赖
Jersey 使用 Apache Maven 进行构造和安装.非快照(Non-snapshot)Jersey 发行版本是不会部署到 中心 Maven 仓库(Central Maven Reposito ...
- 转 解决linux下tomcat的shutdown命令杀不死进程
tomcat在windows下可以直接关闭,但是貌似在Linux下有时候shutdown.sh 没有关闭tomcat进程; 现象:在Linux下shutdown.sh ,然后查看tomcat进程发现没 ...
- ubuntu mysql主从库的搭建
1,首先我们要确定一个从库一个主库,紧记从库只能读取不能有其他的操作,如果操作写那主从就失效了,那就看看我们这么搭建主从吧! 2. 环境:Ubuntu,Mysql (主从的数据库版本必须保持一致) 主 ...
- linux 检查补丁包是否安装 名称 版本 release号
To determine whether the required packages are installed, enter commands similar to the following: # ...
- jquery插件Loadmask
Loadmask是一个jquery plugin,使用此插件可以在DOM元素加载或更改内容时为此DOM元素添加一个屏蔽层,以防止用户互动,同时起到提醒用户后台任务正在运行的作用. 它可实现的效果:
- MyBatis Generator自动创建代码
MyBatis Generator自动创建代码 1.首先在eclipse上安装mybatis插件 2.创建一个mavenWeb项目. 3.在resource中写入一个xml,一定要与我得同名 < ...
- SQL TUNING——从近半小时到几十毫秒的一次优化
昨天,一个用户的现场人员打电话紧急求助,说他们的一个系统卡了,半天不出结果,严重的影响了他们的使用,我简单的问了几句:什么时候的事儿?答:就今天下午的事儿.问:数据库软硬件最近动过没?答:没动过.问: ...
- Win10取消密码
- 070——VUE中vuex之使用getters计算每一件购物车中商品的总价
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
- poj3020 二分图匹配 最大独立集
这是一道水题, 这里是最大流解法,之后再补 坑在又忘了反向建边了 题意:给你二维bool数组,让你求出能用多米诺骨牌覆盖所有 1 且骨牌最少的放法(因为多米诺骨牌1*2的结构方便描述,原题没有),原本 ...