本文章经授权转载,原文链接: https://blog.csdn.net/MiaoSO/article/details/104770720 目录 2. 集群规划 2.1 集群配置 2.2 软件版本 2.3 集群规划 3. 环境准备 3.1 基础软件准备(必装项请自行安装) 3.2 pip.kazoo 安装 3.3 创建部署用户 3.4 对部署用户配置免密 3.5 dolphinscheduler 安装包下载 2. 集群规划 2.1 集群配置 略 2.2 软件版本 软件 版本 CDH Cloude…
本文章经授权转载,原文链接: https://blog.csdn.net/MiaoSO/article/details/104770720 目录 5. 使用与测试 5.1 安全中心(Security) 5.1.1 队列管理(Queue manage) 5.1.2 租户管理(Tenant Manage) 5.1.3 用户管理(User Manage) 5.1.4 告警组管理(Warning group manage) 5.1.5 Worker分组管理(Worker group manage) 5.…
本文章经授权转载,原文链接: https://blog.csdn.net/MiaoSO/article/details/104770720 目录 4. 软件部署 4.1 为 dolphinscheduler 创建 Mysql 数据库 4.2 解压 dolphinscheduler 安装包 4.2.1 dolphinscheduler-backend 4.2.2 dolphinscheduler-ui 4.3 dolphinscheduler-backend 部署 4.3.1 数据库配置 4.3.…
本文章经授权转载,原文链接: https://blog.csdn.net/MiaoSO/article/details/104770720 目录 附录.队列管理 附录.令牌管理 附录.队列管理 Q :DolphinScheduler 中的队列怎么用,用户队列和租户队列是什么意思A :DolphinScheduler 中的队列可以在用户或者租户上指定队列,用户指定的队列优先级是高于租户队列的优先级的.例如:对MR任务指定队列,是通过 mapreduce.job.queuename 来指定队列的.…
本文章经授权转载,原文链接: https://blog.csdn.net/MiaoSO/article/details/104770720 目录 7. 参数 7.1 系统参数 7.2 时间自定义参数 7.3 用户自定义参数 7. 参数 7.1 系统参数 ${system.biz.date} : 日常调度实例定时的定时时间前一天,格式为 yyyyMMdd,补数据时,该日期 +1 ${system.biz.curdate} : 日常调度实例定时的定时时间,格式为 yyyyMMdd,补数据时,该日期…
本文章经授权转载,原文链接: https://blog.csdn.net/MiaoSO/article/details/104770720 目录 6. 任务节点类型和参数设置 6.1 Shell节点 6.2 子流程节点 6.3 存储过程节点 6.4 SQL节点 6.4.1 Mysql 6.4.2 Hive 6.4.3 Other 6.5 SPARK节点 6.6 Flink节点 6.7 MapReduce(MR)节点 6.7.1 Java 程序 6.7.2 Python 程序 6.8 Python…
判断pdf.word文档.图片等文件类型(格式).大小的简便方法 很久没发文了,今天有时间就写一下吧. 关于上传文件,通常我们都需要对其进行判断,限制上传的类型,如果是上传图片,我们甚至会把图片转化成base64数据后,再进行上传.普遍的方法是直接写在上传按钮的触发方法里面,但是对于大型的项目而言,这必然是会重复着同一段代码,使得代码臃肿繁重,这样也不利于平台的优化以及后续的维护,于是,我便封装了一个小小的判断上传文件的类型,图片类型的简便方法,这样不紧节省了重复的劳动力,而且还可以更好的优化项…
以下是代码: using System; using System.Collections.Generic; using System.Linq; using System.Web; using System.Xml; namespace WebApplication2 {     /// <summary>     /// XMLHelper XML文档操作管理器     /// </summary>     public class XMLHelper     {       …
HTML+JS 代码: <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>javaScript获取文档中所有元素节点的个数</title> <script> function getElCount(n){ //定义文档元素统计函数 var num = 0; //初始化变量 if(n.nodeTy…
简介: 官网 http://flume.apache.org 文档 https://flume.apache.org/FlumeUserGuide.html hadoop 生态系统中,flume 的职责是收集数据,一般用作收集各种日志数据. Source -> Channel -> Sink 这是一个基本的工作流程. Source 定义了数据从哪里来,Channel 是一个数据暂存的位置 ( disk / mem ),Sink 定义将数据流向哪里! 一.flume 安装 shell >…