本文章经授权转载,原文链接: https://blog.csdn.net/MiaoSO/article/details/104770720 目录 4. 软件部署 4.1 为 dolphinscheduler 创建 Mysql 数据库 4.2 解压 dolphinscheduler 安装包 4.2.1 dolphinscheduler-backend 4.2.2 dolphinscheduler-ui 4.3 dolphinscheduler-backend 部署 4.3.1 数据库配置 4.3.…

本文章经授权转载,原文链接: https://blog.csdn.net/MiaoSO/article/details/104770720 目录 2. 集群规划 2.1 集群配置 2.2 软件版本 2.3 集群规划 3. 环境准备 3.1 基础软件准备(必装项请自行安装) 3.2 pip.kazoo 安装 3.3 创建部署用户 3.4 对部署用户配置免密 3.5 dolphinscheduler 安装包下载 2. 集群规划 2.1 集群配置 略 2.2 软件版本 软件 版本 CDH Cloude…

本文章经授权转载,原文链接: https://blog.csdn.net/MiaoSO/article/details/104770720 目录 5. 使用与测试 5.1 安全中心(Security) 5.1.1 队列管理(Queue manage) 5.1.2 租户管理(Tenant Manage) 5.1.3 用户管理(User Manage) 5.1.4 告警组管理(Warning group manage) 5.1.5 Worker分组管理(Worker group manage) 5.…

本文章经授权转载,原文链接: https://blog.csdn.net/MiaoSO/article/details/104770720 目录 附录.队列管理 附录.令牌管理 附录.队列管理 Q :DolphinScheduler 中的队列怎么用,用户队列和租户队列是什么意思A :DolphinScheduler 中的队列可以在用户或者租户上指定队列,用户指定的队列优先级是高于租户队列的优先级的.例如:对MR任务指定队列,是通过 mapreduce.job.queuename 来指定队列的.…

本文章经授权转载,原文链接: https://blog.csdn.net/MiaoSO/article/details/104770720 目录 7. 参数 7.1 系统参数 7.2 时间自定义参数 7.3 用户自定义参数 7. 参数 7.1 系统参数 ${system.biz.date} : 日常调度实例定时的定时时间前一天,格式为 yyyyMMdd,补数据时,该日期 +1 ${system.biz.curdate} : 日常调度实例定时的定时时间,格式为 yyyyMMdd,补数据时,该日期…

本文章经授权转载,原文链接: https://blog.csdn.net/MiaoSO/article/details/104770720 目录 6. 任务节点类型和参数设置 6.1 Shell节点 6.2 子流程节点 6.3 存储过程节点 6.4 SQL节点 6.4.1 Mysql 6.4.2 Hive 6.4.3 Other 6.5 SPARK节点 6.6 Flink节点 6.7 MapReduce(MR)节点 6.7.1 Java 程序 6.7.2 Python 程序 6.8 Python…

简介: 官网 http://flume.apache.org 文档 https://flume.apache.org/FlumeUserGuide.html hadoop 生态系统中,flume 的职责是收集数据,一般用作收集各种日志数据. Source -> Channel -> Sink 这是一个基本的工作流程. Source 定义了数据从哪里来,Channel 是一个数据暂存的位置 ( disk / mem ),Sink 定义将数据流向哪里! 一.flume 安装 shell >…

先来一下演示效果.和vue的官方文档几乎是一致的,页面内容都可自定义. 此教程部署后的效果预览. 在你跟着教程搭建好项目之后,你会收获: 快速搭建一个文档/博客,后期只需要修改markdown内容和导航参数,即可一键打包生成页面. 页面具有非常好的加载性能和搜索引擎优化(SEO),其他的页面则会只在用户浏览到的时候才按需加载. 自动生成全局搜索.记录上次修改时间等功能. 可嵌入vue组件或跳转至其他页面,可定制自己的样式模板便于扩展. 一键免费部署到 github.pages,无需服务器即可拥有…

1 前言 1.1 目的 为了正确的部署“ngix+memcached”特编写此部署手册,使安装人员可以通过部署手册知道如何部署系统,也为需要安装该系统的安装人员正确.快速的部署本系统提供帮助. 1.2 总体架构图 当一个请求结束时,session会被送回Memcached进行备份.当下一次请求开始时,本地Session可用,直接服务,请求结束后,session又被送回Memcached备份.如果下一次请求会被路由到其他Tomcat上.负责处理此此请求的Tomcat并不清楚Session的信息.此…

简介: Apache hive 是基于 Hadoop 的一个开源的数据仓库工具,可以将结构化的数据文件映射为一张数据库表, 并提供简单的sql查询功能,将 SQL 语句转换为 MapReduce 任务执行. Apache hive 数据库仓库工具管理着两类数据:MetaData ( 这里我们存储在远程 MySQL DataBase 中 ).Data 存储在 HDFS 之上! 一.MySQL # http://www.cnblogs.com/wangxiaoqiangs/p/5336048.htm…