Azkaban是什么?(一) Azkaban的功能特点(二) Azkaban的架构(三) Hadoop工作流引擎之Azkaban与Oozie对比(四) 不多说,直接上干货! http://www.cnblogs.com/zlslch/category/938837.html 准备这四个 Azkaban 2.5安装 系统时区设置 安装和配置mysql Azkaban Web Server 安装 Azkaban Executor Server安装 启动验证 Azkaban web server插件安…

1.软件介绍 Azkaban Web 服务器:azkaban-web-server-2.5.0.tar.gz Azkaban Excutor 执行服务器:azkaban-executor-server-2.5.0.tar.gz Azkaban 初始化脚本文件:azkaban-sql-script-2.5.0.tar.gz 2.软件下载 下载地址:http://azkaban.github.io/downloads.html 3.安装说明 将安装文件上传到集群,最好上传到安装 hive.sqoop…

官网地址:https://azkaban.readthedocs.io Azkaban 有三种部署方式:单服务模式.2个服务模式.分布式多服务模式 简单实用仅需单服务模式即可 2个服务模式,需要配置mysql, Azkaban使用MySQL来存储项目和执行 它具有如下功能特点: 1.Web用户界面 2.方便上传工作流 3.方便设置任务之间的关系 4.工作流调度 5.认证/授权 6.能够杀死并重启工作流 7.模块化和可插拔的插件机制 8.项目工作区 9.工作流和任务的日志记录和审计 一.下载编译软…

继上一篇博客CentOS7.4安装部署openstack [Liberty版] (一),本篇继续讲述后续部分的内容 一.添加块设备存储服务 1.服务简述: OpenStack块存储服务为实例提供块存储.存储的分配和消耗是由块存储驱动器,或者多后端配置的驱动器决定的.还有很多驱动程序可用:NAS/SAN,NFS,ISCSI,Ceph等等.块存储API和调度程序服务通常运行在控制节点上.取决于所使用的驱动程序,卷服务可以运行在控制,计算节点或者独立的存储节点上. OpenStack块存储服务(cin…

一 Hive的下载 软件下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/  这里下载的版本是:apache-hive-2.3.3-bin.tar.gz 官方安装配置文档:https://cwiki.apache.org/confluence/display/Hive/GettingStarted 二 Hive单用户安装 远程Metastore数据库 1  解压配置环境变量 #解压指定位置安装 [admin@node21 software…

2.3.3.azkaban两个服务模式安装 1.确认所需软件: Azkaban Web服务安装包 azkaban-web-server-0.1.0-SNAPSHOT.tar.gz Azkaban执行服务安装包 azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz 编译之后的sql脚本 create-all-sql-0.1.0-SNAPSHOT.sql C程序文件脚本 execute-as-user.c程序 2.数据库准备 进入mysql的客户端执行以下命令 mysq…

2. 工作流调度器azkaban 2.1 概述 azkaban官网: https://azkaban.github.io/ 2.1.1为什么需要工作流调度系统 l  一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序.hive脚本等 l  各任务单元之间存在时间先后及前后依赖关系 l  为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行: 例如,我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天都要对其…

一,拉取源码构建 git clone https://github.com/azkaban/azkaban.git cd azkaban; ./gradlew build installDist 二,创建数据库,将sql文件导入数据库 CREATE DATABASE azkaban; use azkaban; source /home/azkaban/azkaban-db/build/sql/create-all-sql-3.82.0-2-gd8a86ee.sql; 三,修改数据库数据包大小 v…

Docker centos7镜像安装nginx 1.安装docker 使用yum安装docker不再重复:见  Linux常用命令 2.pull centos 1)在docker仓库中搜索centos7镜像 docker search centos 2)执行docker pull centos ,拉取search到的镜像 docker pull centos 3)查看本地镜像docker images是否拉取成功 docker images 4)执行docker run 命令开启centos容器…

CentOS7/RHEL7安装Redis步骤详解 CentOS7/RHEL7安装Redis还是头一次测试安装了,因为centos7升级之后与centos6有比较大的区别了,下面我们就一起来看看CentOS7/RHEL7安装Redis步骤详解 方法一:使用命令安装(前提是已经安装了EPEL). 安装redis: yum -y install redis 启动/停止/重启 Redis启动服务:1systemctl start redis.service停止服务: systemctl stop red…

一,Ambari 是什么? Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目.目前最新的发布版本是 2.4.2.就 Ambari 的作用来说,就是创建.管理.监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等等),而并不仅是特指 Hadoop.用一句话来说,Ambari 就是为了让 Hadoop 以及相…

在我们使用linux的过程中,有很多程序是通过红帽官网给的系统中安装的,但是一般来说,系统更新的速度比较慢,如果这个时候我们又想用最新版的该怎么办呢?总不能一直等系统升级吧╮(╯﹏╰)╭所以,我们可以考虑用另一种思路去做,想象windows下我们装软件除了用各种软件管家以外,就是去百度软件的官网然后下载啦~linux下也是一样,可以去官网下载源代码,毕竟,linux是全开源的嘛,代码都是大家共享的(*･ω< ) 接下来我们就来说一说如何在centos7上安装源码包.我们以httpd为例. 一.查…

一.CentOS7下安装MySQL数据库 CentOS7默认的安装包里面已经没有 MySQL-Server安装包了,远程镜像中也没有了. 默认的是MariaDB (MySQL的一个分支,开发这个分支的原因之一是:甲骨文公司收购了MySQL后,有将MySQL闭源的潜在风险,因此社区采用分支的方式来避开这个风险 参照百度.开发基本相似). 参考文章:CentOS7 安装MySQL http://www.centoscn.com/mysql/2016/0315/6844.html 这里主要是安装MyS…

centos7上安装0penStack author:headsen chen 2017-10-09  20:41:54 个人原创,欢迎转载,请注明作者,出去,否则依法追究责任 一,准备工作(配置ip地址,主机名,yum包安装) -------------------------------------------------------------------------------------------------------------------------- [root@localh…

概念: git 是一种版本控制系统,是一个命令,是一种工具 gitlib 是用于实现git功能的开发库 github 是一个基于git实现的在线代码托管仓库,包含一个网站界面,向互联网开放 gitlab 是一个基于git实现的在线代码仓库托管软件,你可以用gitlab自己搭建一个类似于 github一样的系统,一般用于在企业.学校等内部网络搭建git私服 帮助文档:http://www.runoob.com/git/git-tutorial.html 使用教程:https://www.liaox…

下载mysql5.7,系统选择redhat,版本选择RHEL7,下载RPM Bundle后得到一个tar文件.这里得到文件mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar,接下来解出文件. tar -xf mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar 因为是离线环境,建议在使用yum命令前先用以下命令清除本地mirrorlist yum clean expire-cache 如果不执行上述命令系统会耗费大量时间尝试联网查找需要的…

本文介绍在centos7中安装.配置.验证.卸载redis等操作,以及在使用redis中的一些注意事项. 一 安装redis 1 创建redis的安装目录 利用以下命令,切换到/usr/local路径 cd /usr/local 键入以下命令,新建一个redis目录,用于放置redis软件. mkdir redis 2 下载并解压redis文件 下载redis安装包 wget http://download.redis.io/releases/redis-4.0.6.tar.gz   解压red…

Centos7上安装docker Docker从1.13版本之后采用时间线的方式作为版本号,分为社区版CE和企业版EE. 社区版是免费提供给个人开发者和小型团体使用的,企业版会提供额外的收费服务,比如经过官方测试认证过的基础设施.容器.插件等. 社区版按照stable和edge两种方式发布,每个季度更新stable版本,如17.06,17.09:每个月份更新edge版本,如17.09,17.10. 一.安装docker 1.Docker 要求 CentOS 系统的内核版本高于 3.10 ,查看本…

docker(一) Centos7下安装dockerdocker(二) windows10下安装dockerdocker(三) 镜像和容器常用命令 docker(四) 使用Dockerfile构建镜像 docker(五) 使用Docker Registry搭建镜像私服 docker(六) 使用docker-maven-plugin插件构建docker镜像(已过时) docker(七) 使用dockerfile-maven-plugin插件构建docker镜像 官方安装教程: Ubuntu下安装d…

官方安装文档: https://docs.docker.com/docker-for-windows/install/ https://docs.docker.com/docker-for-windows/ 关于windows容器的几点注意点: Windows Container 和 Docker:你需要知道的5件事 一.windows安装docker 系统要求: ①.Windows 10 64bit: Pro, Enterprise or Education (1607 Anniversary…

CentOS-7.2安装Ambari-2.6.1 一.Ambari 是什么? Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目.目前最新的发布版本是 2.6.1.就 Ambari 的作用来说,就是创建.管理.监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等等),而并不仅是特指 Hadoop.用一句话来…

Centos7 yum安装Chrome浏览器 https://www.cnblogs.com/ianduin/p/8727333.html以及https://blog.csdn.net/libaineu2004/article/details/82821405 注意安装完之后的目录是 /opt/google/chrome root用户启用 chrome 需要使用的命令是 cd /opt/google/chrome ./chrome --no-sandbox root用户下,必须带上参数--no-…

先把防火墙和selinux关闭: sytemctl stop firewalld setenforce 0 1.yum安装依赖: yum -y install wget openssl* gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-d…

centos7/rhel7安装较高版本ruby2.2/2.3/2.4+   环境需求:  在Centos7.3中,通过yum安装ruby的版本是2.0.0,但是如果有些应用需要高版本的ruby环境,比如2.2,2.3,2.4... 那就有点麻烦了,譬如:我准备使用redis官方给的工具:redis-trib.rb 这个工具构建redis集群的时候,报错了: “redis requires Ruby version >= 2.2.2” 网上搜索了一圈,概括为以下三种方法: ①添加yum源安装:Ce…

一.OpenStack简介 OpenStack是一个由NASA(美国国家航空航天局)和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目. OpenStack是一个开源的云计算管理平台项目,由几个主要的组件组合起来完成具体工作.OpenStack支持几乎所有类型的云环境,项目目标是提供实施简单.可大规模扩展.丰富.标准统一的云计算管理平台.OpenStack通过各种互补的服务提供了基础设施即服务(IaaS)的解决方案,每个服务提供API以进行集成. OpenS…

一.背景 因项目需要,要引入redis做缓存,就在centos7下亲自安装了一遍redis,刚好趁着这个机会就来把redis的概念以及单机版和集群版redis安装步骤记录下来,在此和大家一起分享. 二.Redis介绍 1.什么是Redis? Redis是用C语言开发的一个开源的高性能键值对(key-value)数据库.它通过提供多种键值数据类型来适应不同场景下的存储需求,目前为止Redis支持的键值数据类型有:字符串类型.散列类型.列表类型.集合类型.有序集合类型. 2.Redis的应用场景:…

目录 一.iSCSI 介绍 1. iSCSI 定义 2. 几种常见的 iSCSI Target 3. 优缺点比较 二.安装步骤 1. 关闭防火墙 2. 关闭selinux 3. 通过 yum 安装 tgt 4. 源码编译安装 tgt 三.使用 img 作为 target 1. 创建 img 2. 通过配置文件来创建 target 3. 查看激活的 target 四.使用 rbd 作为 target 1. 创建 rbd 池和 image 2. 通过命令来创建 target 3. 通过配置文件来创建…

Centos7 下安装MariaDB by:授客 QQ:1033553122 1.下载安装文件 rpm包为例,对于标准服务器安装,至少需要下载client,shared,serve文件(安装时如果少了,会有错误提示的 2.防止冲突,检查是否已经安装了MySQL rpm -qa 'mysql*' 如有必要,移除已安装数据库 3.安装 [root@localhost mnt]# rpm -ivh MariaDB-* warning: MariaDB-10.0.19-centos7-x86_64-cl…

CentOS7.2安装FTP(pure-ftpd-1.0.43) 原文链接: https://www.linuxidc.com/Linux/2016-10/135971.htm [日期:2016-10-12] 一.下载最新安装包并解压 cd /usr/local/src wget ftp://ftp.pureftpd.org/pub/pure-ftpd/releases/pure-ftpd-1.0.43.tar.gz     tar -vxf pure-ftpd-1.0.43.tar.gz  …

一.在centos7中安装node.js https://www.cnblogs.com/lpbottle/p/7733397.html 1.从源码下载Nodejs cd /usr/local/srcwget https://npm.taobao.org/mirrors/node/v8.7.0/node-v8.7.0.tar.gz 2.解压缩 nodejs 安装包 tar xvf node-v8.7.0.tar.gz 3.进入解压的node文件夹,安装必要的编译软件包 cd node-v8.7.…