Yarn提交Flink任务参数介绍
一、参数介绍
作业模式：yarn-per-job
| 基本参数 | 描述 |
| -ynm(Custom Yarnname) | 自定义的Yarn名字 |
| -yqu | 指定Yarn队列名 |
| -yn (TaskManager) | Flink的TaskManager数目,Flink引擎运行需要由一个JobManager以及若干个TaskManager构成 |
| -ys(Slot) | 该参数为单个TaskManager所拥有的槽位数 |
| -yjm(JobManager Memory) | 该参数为分配给Jobmanager的堆内存资源,不需要太大 |
| -ytm(TaskManager Memory) | 分配给单个TaskManager的堆内存资源 |
| -p | 并行度 |
| -yst(Yarnstreaming) | 启动Yarn的流式 |
| -yid | 指定任务运行在哪个YarnSession之上 |
| -yj(Yarnjar) | Flink的jar包路径 |
| -yq(Yarnquery) | 显示Yarn的资源情况 |
| -yz(Yarn Zookeeper Namespace) | 在Zookeeper创建一个命名空间 |
| -yd | 使用Detached模式进行部署,可以运行任务后无需再控制台保持连接 |
| -c | 指定jar包中class全名 |
| 高级参数 | 描述 |
| -Dtaskmanager.memory.jvm-overhead.max=2048m | 为其它jvm开销保留的本机内存 |
| -Dtaskmanager.memory.jvm-overhead.min=192m | 为其它jvm开销保留的本机内存 |
| -Dtaskmanager.memory.managed.fraction=0.4 | 由flink管理的本地内存 |
| -Dexecution.checkpointing.tolerable-failed-checkpoints=3 | checkpoint容忍失败次数 |
二、Flink服务器con日志获取
1、日志路径
进入对应flink执行节点
/apps/yarn/container-logs/application_1624482781367_19613/container_e34_1624482781367_19613_01_000002
Yarn提交Flink任务参数介绍的更多相关文章
- Flink on Yarn三部曲之三：提交Flink任务
欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...
- Spark on YARN两种运行模式介绍
本文出自:Spark on YARN两种运行模式介绍http://www.aboutyun.com/thread-12294-1-1.html(出处: about云开发) 问题导读 1.Spark ...
- spark优化系列一：参数介绍
1 spark on yarn常用属性介绍 属性名 默认值 属性说明 spark.yarn.am.memory 512m 在客户端模式(client mode)下,yarn应用master使用的内存数 ...
- mysql性能优化学习笔记-参数介绍及优化建议
MySQL服务器参数介绍 mysql参数介绍(客户端中执行),尽量只修改session级别的参数. 全局参数(新连接的session才会生效,原有已经连接的session不生效) set global ...
- Linux下查看某个进程打开的文件数-losf工具常用参数介绍
Linux下查看某个进程打开的文件数-losf工具常用参数介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在linux操作系统中,一切皆文件.通过文件不仅仅可以访问常规数据,还 ...
- Spark集群之yarn提交作业优化案例
Spark集群之yarn提交作业优化案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.启动Hadoop集群 1>.自定义批量管理脚本 [yinzhengjie@s101 ...
- ffmpeg 安装和参数介绍
0.说明: 1).configure,这一步一般用来生成 Makefile,为下一步的编译做准备,你可以通过在 configure 后加上参数来对安装进行控制,比如代码:./configure –pr ...
- Yarn 生产环境核心参数配置案例
目录 Yarn 生产环境核心参数配置案例 需求 修改yarn-site.xml配置 分发 重启集群 执行WordCount程序 Yarn 生产环境核心参数配置案例 调整下列参数之前要拍摄Linux快照 ...
- SQLMAP参数介绍
转自:http://zhan.renren.com/bugpower?gid=3602888498044629629&checked=true SQLMAP参数介绍 sqlmap的使用方式:p ...
- G++ 参数介绍(转载)
g++参数介绍 From: http://www.cnblogs.com/lidan/archive/2011/05/25/2239517.html gcc and g++分别是gnu的c & ...
随机推荐
- Java 网页浏览器组件介绍
王 凯迪, 软件工程师, Convergys 上海研发中心 简介: 使用 Java 开发客户端应用有时会需要使用到浏览器组件,本文将介绍在 Java 用户界面中使用浏览器的四种方法,并且比较它们各自的 ...
- tmux之常见问题
1. 使用tmux ls的时候显示错误 failed to connect to server: Connection refused 解决: 查看进程是否存在 ps -aux|grep tmux 发 ...
- GObject学习笔记（二）类型创建与注册
前言 本文可在https://paw5zx.github.io/GObject-tutorial-beginner-02/中阅读,体验更加 在上一节中我们介绍了GObject类型的类和实例变量的创建和 ...
- 0. RyuJIT Tutorials - RyuJIT 的历史和架构
目录 上一篇:无 下一篇:待更新 正文 RyuJIT - 即 .NET 的 JIT 编译器,负责将 IL 代码编译为最终用于执行的机器代码. 本系列为 RyuJIT 教程,将分为多篇进行更新发布,旨在 ...
- Ant Design Pro项目ProTable怎么实现单元格合并效果
前情 公司有经常需要做一些后台管理页面,我们选择了Ant Design Pro,它是基于 Ant Design 和 umi 的封装的一整套企业级中后台前端/设计解决方案. 产品效果图 最新接到的一个后 ...
- Swift中让值类型以引用方式传递
Swift中让值类型以引用方式传递 在 Swift 众多数据类型中,只有 class 是引用类型, 其余的如 Int.Float.Bool.Character.Array.Set.enum.struc ...
- HttpClientFactory in ASP.NET Core 2.1 Part 2：定义命名和类型化的客户端
HttpClientFactory in ASP.NET Core 2.1 Part 2:定义命名和类型化的客户端 原文地址:https://www.stevejgordon.co.uk/httpcl ...
- 在 IdentityServer4 中创建客户端
创建客户端 在创建了 IdentityServer4 服务器之后,我们可以准备从获取一个访问令牌开始. 1. 客户端凭证式验证流 在 OpenID Connect 中,最为简单的验证方式为客户端凭借方 ...
- [转载] 十问 TiDB ：关于架构设计的一些思考 TiDB
做 TiDB 的缘起是从思考一个问题开始的:为什么在数据库领域有这么多永远也躲不开的坑?从 2015 年我们写下第一行代码,3 年以来我们迎面遇到无数个问题,一边思考一边做,尽量用最小的代价来快速奔跑 ...
- 渗透测试-前端加密分析之RSA加密登录（密钥来源本地）
本文是高级前端加解密与验签实战的第5篇文章,本系列文章实验靶场为Yakit里自带的Vulinbox靶场,本文讲述的是绕过前端RSA加密来爆破登录. 分析 generateKey函数用来生成随机的RSA ...