Yarn提交Flink任务参数介绍
一、参数介绍
作业模式：yarn-per-job
| 基本参数 | 描述 |
| -ynm(Custom Yarnname) | 自定义的Yarn名字 |
| -yqu | 指定Yarn队列名 |
| -yn (TaskManager) | Flink的TaskManager数目,Flink引擎运行需要由一个JobManager以及若干个TaskManager构成 |
| -ys(Slot) | 该参数为单个TaskManager所拥有的槽位数 |
| -yjm(JobManager Memory) | 该参数为分配给Jobmanager的堆内存资源,不需要太大 |
| -ytm(TaskManager Memory) | 分配给单个TaskManager的堆内存资源 |
| -p | 并行度 |
| -yst(Yarnstreaming) | 启动Yarn的流式 |
| -yid | 指定任务运行在哪个YarnSession之上 |
| -yj(Yarnjar) | Flink的jar包路径 |
| -yq(Yarnquery) | 显示Yarn的资源情况 |
| -yz(Yarn Zookeeper Namespace) | 在Zookeeper创建一个命名空间 |
| -yd | 使用Detached模式进行部署,可以运行任务后无需再控制台保持连接 |
| -c | 指定jar包中class全名 |
| 高级参数 | 描述 |
| -Dtaskmanager.memory.jvm-overhead.max=2048m | 为其它jvm开销保留的本机内存 |
| -Dtaskmanager.memory.jvm-overhead.min=192m | 为其它jvm开销保留的本机内存 |
| -Dtaskmanager.memory.managed.fraction=0.4 | 由flink管理的本地内存 |
| -Dexecution.checkpointing.tolerable-failed-checkpoints=3 | checkpoint容忍失败次数 |
二、Flink服务器con日志获取
1、日志路径
进入对应flink执行节点
/apps/yarn/container-logs/application_1624482781367_19613/container_e34_1624482781367_19613_01_000002
Yarn提交Flink任务参数介绍的更多相关文章
- Flink on Yarn三部曲之三：提交Flink任务
欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...
- Spark on YARN两种运行模式介绍
本文出自:Spark on YARN两种运行模式介绍http://www.aboutyun.com/thread-12294-1-1.html(出处: about云开发) 问题导读 1.Spark ...
- spark优化系列一：参数介绍
1 spark on yarn常用属性介绍 属性名 默认值 属性说明 spark.yarn.am.memory 512m 在客户端模式(client mode)下,yarn应用master使用的内存数 ...
- mysql性能优化学习笔记-参数介绍及优化建议
MySQL服务器参数介绍 mysql参数介绍(客户端中执行),尽量只修改session级别的参数. 全局参数(新连接的session才会生效,原有已经连接的session不生效) set global ...
- Linux下查看某个进程打开的文件数-losf工具常用参数介绍
Linux下查看某个进程打开的文件数-losf工具常用参数介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在linux操作系统中,一切皆文件.通过文件不仅仅可以访问常规数据,还 ...
- Spark集群之yarn提交作业优化案例
Spark集群之yarn提交作业优化案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.启动Hadoop集群 1>.自定义批量管理脚本 [yinzhengjie@s101 ...
- ffmpeg 安装和参数介绍
0.说明: 1).configure,这一步一般用来生成 Makefile,为下一步的编译做准备,你可以通过在 configure 后加上参数来对安装进行控制,比如代码:./configure –pr ...
- Yarn 生产环境核心参数配置案例
目录 Yarn 生产环境核心参数配置案例 需求 修改yarn-site.xml配置 分发 重启集群 执行WordCount程序 Yarn 生产环境核心参数配置案例 调整下列参数之前要拍摄Linux快照 ...
- SQLMAP参数介绍
转自:http://zhan.renren.com/bugpower?gid=3602888498044629629&checked=true SQLMAP参数介绍 sqlmap的使用方式:p ...
- G++ 参数介绍(转载)
g++参数介绍 From: http://www.cnblogs.com/lidan/archive/2011/05/25/2239517.html gcc and g++分别是gnu的c & ...
随机推荐
- elementUI 表格之合并同类项（包括行和列）
mergeSpan(tableData, arr) { //["areName","indexCode"] let spanArr = new Array(ta ...
- linux之Zip
安装: apt-get) apt-get install zip yum) yum install -y unzip zip 语法: zip [选项] 压缩包名 源文件或源目录列表 注意,zip 压缩 ...
- HZNUOJ-1503公路乘车--DP
题目传送门:https://acm.hznu.edu.cn/OJ/problem.php?id=1503 题解:我们发现后一状态由前一状态决定,即后一公里由前面十公里的状态决定,经典 dp,我们直接列 ...
- 逆向WeChat(八)
上一篇逆向WeChat(七)是逆向微信客户端本地数据库相关事宜. 本篇逆向微信客户端本地日志xlog相关的事宜. 本篇在博客园地址https://www.cnblogs.com/bbqzsl/p/18 ...
- 将ipynb文件转成pdf
本文内容:将GitHub上ipynb源码格式的书籍转成pdf 应用场景:GitHub上某些书籍按章节使用ipynb格式存储 (Jupyter创建了一种良好的交互方式,即将程序说明和代码放在同一个文档中 ...
- 表里不一--限制容器内存4G，free还是32G
前言 最近有个新同事问了我一个问题,明明通过limit给容器内存限制了4G,为什么进容器看到的还是宿主机的内存32G docker run -it --rm -m 512m ubuntu:18.04 ...
- jumpserver 工单系统 二次开发工单管理并开源代码
介绍 JumpServer 是广受欢迎的开源堡垒机,是符合 4A 规范的专业运维安全审计系统.JumpServer 帮助企业以更安全的方式管控和登录所有类型的资产,实现事前授权.事中监察.事后审计,满 ...
- OSG开发笔记（三十九）：OSG中模型的透明度实现、球体透明度Demo
前言 在OSG中,对于一些效果未被选中或者包含等业务,需要半透明效果来实现. 本篇描述OSG的半透明实现方式. Demo 透明 功能概述 透明效果在三维场景中扮演着重要角色,它 ...
- 【Amadeus原创】wordpress 从服务器收到预料之外的响应。此文件可能已被成功上传。请检查媒体库或刷新本页。此响应不是合法的JSON响应。解决方法。
两种报错方式: 1.此响应不是合法的JSON响应. 2.从服务器收到预料之外的响应.此文件可能已被成功上传.请检查媒体库或刷新本页. 情况:媒体服务器上传小文件没问题,大一点的文件报这个错误. 原因: ...
- cocos2d 的故事
https://en.wikipedia.org/wiki/Cocos2d The history of Cocos2d in a glimpse – RETRO.MOE http://los-coc ...