一:介绍 1.官网 官网:http://gethue.com/ 下载:http://archive.cloudera.com/cdh5/cdh/5/,只能在这里下载,不是Apache的 手册:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html 2.支持的框架 ->job ->yarn ->mr1 ->oozie ->HDFS ->查文件 ->文件的管理 ->增删改查 -&…

http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html 一:框架 1.支持的框架 ->job ->yarn ->mr1 ->oozie ->HDFS ->查文件 ->文件的管理 ->增删改查 ->hive ->rdbms 二:安装 1.下载hue包 2.需要安装的依赖 3.检测依赖 4.安装依赖包 sudo yum install ant asciidoc cyr…

一:概述 1.大数据协作框架 2.Hadoop的任务调度 3.Oozie的三大功能 Oozie Workflow jobs Oozie Coordinator jobs Oozie Bundle 4.Oozie的架构 控制流节点 起始,分支,并发,汇合,结束 动作节点action 5.Oozie的实现 二:安装部署 1.上传 2.解压 3.配置Hadoop代理core-site.xml 4.启动Hadoop集群 5.解压hadooplib 将会生成:oozie-4.0.0-cdh5.3.6 6.…

一:介绍 1.概述 ->flume的三大功能 collecting, aggregating, and moving 收集 聚合 移动 数据源:web service                 RDBMS 采集: shell flume                   sqoop 清洗:mapreduce,hive 数据的保存:sqoop 监控与调度:hue,oozie 2.框图 3.架构特点 ->on streaming data flows 基于流式的数据 数据流:job->…

1.概述 ->flume的三大功能 collecting, aggregating, and moving 收集 聚合 移动 2.框图 3.架构特点 ->on streaming data flows 基于流式的数据 数据流:job->不断获取数据 任务流:job1->job2->job3&job4 ->for online analytic application. ->Flume仅仅运行在linux环境下 如果我的日志服务器是Windows? ->…

What  is  Zookeeper 是一个开源的分布式的,为分布式应用提供协作服务的Apache项目 提供一个简单的原语集合,以便与分布式应用可以在他之上构建更高层次的同步服务 设计非常简单易于编程,他使用的是类似于文件系统那样的树形数据结构. 目的就是将分布式服务不再需要有协作冲突而另外实现协作服务 从设计模式角度来看,是一个基于观察者设计模式的分布式服务管理框架. 先将节点上的服务都停止掉 在节点一上执行命令:sbin/stop-dfs.sh 然后在节点二上执行命令:  sbin/sto…

1.首先将运行在本地上的  zookeeper 给停止掉 2.到/opt/softwares 目录下  将  zookeeper解压到  /opt/app 目录下 命令:  tar -zxvf zookeeper-3.4.5.tar.gz -C /opt/app/ 3.修改配置文件 将文件   zoo_sample.cfg   重命名为   zoo.cfg 创建文件目录    mkdir -p data/zkData       完整的路径:/opt/app/zookeeper-3.4.5/da…

    大数据协作框架是一个桐城,就是Hadoop2生态系统中几个辅助的Hadoop2.x框架.主要如下: 1,数据转换工具Sqoop 2,文件搜集框架Flume 3,任务调度框架Oozie 4,大数据Web工具Hue 任务调度框架 1,Linux Crontab 2,Azkaban –https://azkaban.github.io/ 3,Ozie –http://oozie.apache.org/ 功能强大 难度大     工作流调度     协作调度(定时,数据可用性)     bind…

Sqoop框架基础 本节我们主要需要了解的是大数据的一些协作框架,也是属于Hadoop生态系统或周边的内容,比如: ** 数据转换工具:Sqoop ** 文件收集库框架:Flume ** 任务调度框架:Oozie ** 大数据Web工具:Hue 这些框架为什么成为主流,请自行百度谷歌,此处不再赘述. * CDH版本框架 Cloudera公司发布的CDH版本,在国内,很多大公司仍在使用,比如:一号店,京东,淘宝,百度等等.Cloudera公司发布的每一个CDH版本,其中一个最大的好处就是,帮我们解…

一:概述 1.大数据协作框架 2.Hadoop的任务调度 这个是常见的任务调度框架. 3.azkaban 4..Oozie的三大功能 Oozie Workflow jobs :工作流任务,可以生成DAG图 Oozie Coordinator jobs:可以定时调度 Oozie Bundle:多个coordinator的集合,或者多个workflow的集合 5.Oozie的架构 控制流节点 起始,分支,并发,汇合,结束 动作节点action 执行的job.例如,mapreduce action,h…