Yarn提交Flink任务参数介绍
一、参数介绍
作业模式：yarn-per-job
| 基本参数 | 描述 |
| -ynm(Custom Yarnname) | 自定义的Yarn名字 |
| -yqu | 指定Yarn队列名 |
| -yn (TaskManager) | Flink的TaskManager数目,Flink引擎运行需要由一个JobManager以及若干个TaskManager构成 |
| -ys(Slot) | 该参数为单个TaskManager所拥有的槽位数 |
| -yjm(JobManager Memory) | 该参数为分配给Jobmanager的堆内存资源,不需要太大 |
| -ytm(TaskManager Memory) | 分配给单个TaskManager的堆内存资源 |
| -p | 并行度 |
| -yst(Yarnstreaming) | 启动Yarn的流式 |
| -yid | 指定任务运行在哪个YarnSession之上 |
| -yj(Yarnjar) | Flink的jar包路径 |
| -yq(Yarnquery) | 显示Yarn的资源情况 |
| -yz(Yarn Zookeeper Namespace) | 在Zookeeper创建一个命名空间 |
| -yd | 使用Detached模式进行部署,可以运行任务后无需再控制台保持连接 |
| -c | 指定jar包中class全名 |
| 高级参数 | 描述 |
| -Dtaskmanager.memory.jvm-overhead.max=2048m | 为其它jvm开销保留的本机内存 |
| -Dtaskmanager.memory.jvm-overhead.min=192m | 为其它jvm开销保留的本机内存 |
| -Dtaskmanager.memory.managed.fraction=0.4 | 由flink管理的本地内存 |
| -Dexecution.checkpointing.tolerable-failed-checkpoints=3 | checkpoint容忍失败次数 |
二、Flink服务器con日志获取
1、日志路径
进入对应flink执行节点
/apps/yarn/container-logs/application_1624482781367_19613/container_e34_1624482781367_19613_01_000002
Yarn提交Flink任务参数介绍的更多相关文章
- Flink on Yarn三部曲之三：提交Flink任务
欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...
- Spark on YARN两种运行模式介绍
本文出自:Spark on YARN两种运行模式介绍http://www.aboutyun.com/thread-12294-1-1.html(出处: about云开发) 问题导读 1.Spark ...
- spark优化系列一：参数介绍
1 spark on yarn常用属性介绍 属性名 默认值 属性说明 spark.yarn.am.memory 512m 在客户端模式(client mode)下,yarn应用master使用的内存数 ...
- mysql性能优化学习笔记-参数介绍及优化建议
MySQL服务器参数介绍 mysql参数介绍(客户端中执行),尽量只修改session级别的参数. 全局参数(新连接的session才会生效,原有已经连接的session不生效) set global ...
- Linux下查看某个进程打开的文件数-losf工具常用参数介绍
Linux下查看某个进程打开的文件数-losf工具常用参数介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在linux操作系统中,一切皆文件.通过文件不仅仅可以访问常规数据,还 ...
- Spark集群之yarn提交作业优化案例
Spark集群之yarn提交作业优化案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.启动Hadoop集群 1>.自定义批量管理脚本 [yinzhengjie@s101 ...
- ffmpeg 安装和参数介绍
0.说明: 1).configure,这一步一般用来生成 Makefile,为下一步的编译做准备,你可以通过在 configure 后加上参数来对安装进行控制,比如代码:./configure –pr ...
- Yarn 生产环境核心参数配置案例
目录 Yarn 生产环境核心参数配置案例 需求 修改yarn-site.xml配置 分发 重启集群 执行WordCount程序 Yarn 生产环境核心参数配置案例 调整下列参数之前要拍摄Linux快照 ...
- SQLMAP参数介绍
转自:http://zhan.renren.com/bugpower?gid=3602888498044629629&checked=true SQLMAP参数介绍 sqlmap的使用方式:p ...
- G++ 参数介绍(转载)
g++参数介绍 From: http://www.cnblogs.com/lidan/archive/2011/05/25/2239517.html gcc and g++分别是gnu的c & ...
随机推荐
- Swing 线程之SwingUtilities.invokeLater()
现在我们要做一个简单的界面. 包括一个进度条.一个输入框.开始和停止按钮. 需要实现的功能是: 当点击开始按钮,则更新进度条,并且在输入框内把完成的百分比输出(这里只做例子,没有真正去做某个工作). ...
- 2019-2020 ACM-ICPC Brazil Subregional Programming Contest
D. Denouncing Mafia 给定一颗树,然后给定\(k\)个起点,对于每个起点来说,从该点到根节点的一条链都会被染色,求最多有几个点会被染色 \(3 \leq n \leq 1e5, 1 ...
- Vue.js 监视属性
1.基本用法 用途:对某个数据进行监听并执行对应的回调,可以是data中的数据,还可以是计算属性 语法:在watch对象下添加字段,字段名为要监听的数据,字段值一般是fucntion,也可以是对象 回 ...
- 张高兴的 Raspberry Pi AI 开发指南：（三）将自定义模型编译为 Hailo NPU 的 .hef 模型
目录 Python 环境配置 转换 量化 编译 参考 在上一篇博客中,探讨了如何使用 Python 和 hailo_model_zoo 中预编译的模型来实现目标检测.本篇博客将深入介绍如何将用户自定义 ...
- Java基础 —— 集合（二）
Collection 接口 Collection接口常用方法 boolean add(E e):在集合末尾添加元素 boolean remove(Object o):若集合中存在与o相同的元素,则删除 ...
- Vue组件样式穿透
前情 Vue是目前主流的前端框架之一,我是Vue框架的忠实老用户,平时开发中如果再依赖个第三方组件库那样开发效率就会事半功倍. 第三方组件库可以很大提高开发效率,但是叫会有一些UI效果需要自定义,如想 ...
- [转载] 6 个技巧，提升 C++11 的 vector 性能
转载:https://www.sohu.com/a/120595688_465979 Vector 就像是 C++ STL 容器的瑞士军刀.Bjarne Stoutsoup 有一句话 – " ...
- iOS画中画
iOS 14 画中画 打开项目后台模式 创建视频播放源 let url = Bundle.main.url(forResource: "annie", withExtension: ...
- iOS app 自动化测试 - 环境搭建
1. 基本前提 安装好了 mac 上自动化测试的基本环境 如果没有,可以参考这一个: 2. iOS appium python自动化测试环境搭建 2.1 真机环境 2.1.1 前提:安装了 appiu ...
- PpcProcessResult
@Data @Accessors(chain = true) public class PpcProcessResult { public static volatile int globalThre ...