Yarn提交Flink任务参数介绍
一、参数介绍
作业模式：yarn-per-job
| 基本参数 | 描述 |
| -ynm(Custom Yarnname) | 自定义的Yarn名字 |
| -yqu | 指定Yarn队列名 |
| -yn (TaskManager) | Flink的TaskManager数目,Flink引擎运行需要由一个JobManager以及若干个TaskManager构成 |
| -ys(Slot) | 该参数为单个TaskManager所拥有的槽位数 |
| -yjm(JobManager Memory) | 该参数为分配给Jobmanager的堆内存资源,不需要太大 |
| -ytm(TaskManager Memory) | 分配给单个TaskManager的堆内存资源 |
| -p | 并行度 |
| -yst(Yarnstreaming) | 启动Yarn的流式 |
| -yid | 指定任务运行在哪个YarnSession之上 |
| -yj(Yarnjar) | Flink的jar包路径 |
| -yq(Yarnquery) | 显示Yarn的资源情况 |
| -yz(Yarn Zookeeper Namespace) | 在Zookeeper创建一个命名空间 |
| -yd | 使用Detached模式进行部署,可以运行任务后无需再控制台保持连接 |
| -c | 指定jar包中class全名 |
| 高级参数 | 描述 |
| -Dtaskmanager.memory.jvm-overhead.max=2048m | 为其它jvm开销保留的本机内存 |
| -Dtaskmanager.memory.jvm-overhead.min=192m | 为其它jvm开销保留的本机内存 |
| -Dtaskmanager.memory.managed.fraction=0.4 | 由flink管理的本地内存 |
| -Dexecution.checkpointing.tolerable-failed-checkpoints=3 | checkpoint容忍失败次数 |
二、Flink服务器con日志获取
1、日志路径
进入对应flink执行节点
/apps/yarn/container-logs/application_1624482781367_19613/container_e34_1624482781367_19613_01_000002
Yarn提交Flink任务参数介绍的更多相关文章
- Flink on Yarn三部曲之三：提交Flink任务
欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...
- Spark on YARN两种运行模式介绍
本文出自:Spark on YARN两种运行模式介绍http://www.aboutyun.com/thread-12294-1-1.html(出处: about云开发) 问题导读 1.Spark ...
- spark优化系列一：参数介绍
1 spark on yarn常用属性介绍 属性名 默认值 属性说明 spark.yarn.am.memory 512m 在客户端模式(client mode)下,yarn应用master使用的内存数 ...
- mysql性能优化学习笔记-参数介绍及优化建议
MySQL服务器参数介绍 mysql参数介绍(客户端中执行),尽量只修改session级别的参数. 全局参数(新连接的session才会生效,原有已经连接的session不生效) set global ...
- Linux下查看某个进程打开的文件数-losf工具常用参数介绍
Linux下查看某个进程打开的文件数-losf工具常用参数介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在linux操作系统中,一切皆文件.通过文件不仅仅可以访问常规数据,还 ...
- Spark集群之yarn提交作业优化案例
Spark集群之yarn提交作业优化案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.启动Hadoop集群 1>.自定义批量管理脚本 [yinzhengjie@s101 ...
- ffmpeg 安装和参数介绍
0.说明: 1).configure,这一步一般用来生成 Makefile,为下一步的编译做准备,你可以通过在 configure 后加上参数来对安装进行控制,比如代码:./configure –pr ...
- Yarn 生产环境核心参数配置案例
目录 Yarn 生产环境核心参数配置案例 需求 修改yarn-site.xml配置 分发 重启集群 执行WordCount程序 Yarn 生产环境核心参数配置案例 调整下列参数之前要拍摄Linux快照 ...
- SQLMAP参数介绍
转自:http://zhan.renren.com/bugpower?gid=3602888498044629629&checked=true SQLMAP参数介绍 sqlmap的使用方式:p ...
- G++ 参数介绍(转载)
g++参数介绍 From: http://www.cnblogs.com/lidan/archive/2011/05/25/2239517.html gcc and g++分别是gnu的c & ...
随机推荐
- python之gevent
gevent 是一个基于协程的 Python 网络库,它使用 Greenlet 库提供了一种高效的协程实现. 协程是一种轻量级的线程,允许并发执行,但没有真正的并行性.协程可 以在遇到 I/O 操作时 ...
- 浏览器实时查看日志系统-log.io
log.io 是一个实时日志监控工具,采用 node.js + socket.io 开发,使用浏览器访问,每秒可以处理超过5000条日志变动消息.有一点要指出来的是 log.io 只监视日志变动并不存 ...
- 进程管理工具之supervisor（完整版）*
Supervisor 介绍 Supervisor是用Python开发的一套通用的进程管理程序,能将一个普通的命令行进程变为后台daemon,并监控进程状态,异常退出时能自动重启.它是通过fork/ex ...
- ClickHouse 物化视图学习总结
物化视图 物化视图源表--基础数据源 创建源表,因为我们的目标涉及报告聚合数据而不是单条记录,所以我们可以解析它,将信息传递给物化视图,并丢弃实际传入的数据.这符合我们的目标并节省了存储空间,因此我们 ...
- docker安装指定版本的gitlab并配置ssl证书
安装gitlab,指定14.5.2版本,为便于与下篇文章:gitlab恢复做准备.如果不需要恢复,或不需要配置ssl证书,请自行精简以下操作. 1. 开启gitlab sh gitlab.sh doc ...
- Flutter Package: retry
Flutter package: retry 传送门 This package provides an easy way to retry asynchronous functions. This i ...
- Java多线程处理文件详解与代码示例
在Java编程中,文件处理是一项常见的任务.当需要处理大量文件或处理文件的时间较长时,单线程的处理方式可能会显得效率低下.为了提高文件处理的效率,我们可以使用多线程技术.本文将详细介绍如何使用Java ...
- 即时通讯技术文集（第15期）：IM跨平台和社交软件红包技术 [共19篇]
为了更好地分类阅读 52im.net 总计1000多篇精编文章,我将在每周三推送新的一期技术文集,本次是第15 期. [- 1 -] IM跨平台技术学习(一):快速了解新一代跨平台桌面技术--Elec ...
- 痞子衡嵌入式：Farewell, 我的写博故事2024
-- 题图:苏州周庄古镇双桥 2024 年的最后一天,照旧写个年终总结.今年工作上稳步发挥,但是在生活上收获了一个新的爱好,大家可能知道,痞子衡比较爱运动,一直有在打篮球羽毛球桌球.有感于公司乒乓球文 ...
- linux获取当前用户名
linux环境下获取当前登录用户名 方法1: whoami 命令 1 $whoami 2 输出:username 3 $sudo whoami 4 输出:root 注意:通过不同用户权限执行获取的用 ...