最近工作工作有用到hadoop 和storm,最近看到一个网站上例句的hadoop 和storm的知识体系。所以列出来供大家了解和学习。来自哪个网站就不写了以免以为我做广告额。

目录结构知识点还是挺全的,可以按照点学习。

一、Hadoop入门,了解什么是Hadoop 二、分布式文件系统HDFS,是数据库管理员的基础课程

1、Hadoop产生背景

2、Hadoop在大数据、云计算中的位置和关系

3、国内外Hadoop应用案例介绍

4、国内Hadoop的就业情况分析及课程大纲介绍

5、分布式系统概述

6、Hadoop生态圈以及各组成部分的简介

7、Hadoop核心MapReduce例子说明

1、分布式文件系统HDFS简介

2、HDFS的系统组成介绍

3、HDFS的组成部分详解

4、副本存放策略及路由规则

5、NameNode Federation

6、命令行接口

7、Java接口

8、客户端与HDFS的数据流讲解

9、HDFS的可用性(HA)

三、初级MapReduce,成为Hadoop开发人员的基础课程 四、高级MapReduce,高级Hadoop开发人员的关键课程

1、如何理解map、reduce计算模型

2、剖析伪分布式下MapReduce作业的执行过程

3、Yarn模型

4、序列化

5、MapReduce的类型与格式

6、MapReduce开发环境搭建

7、MapReduce应用开发

8、更多示例讲解,熟悉MapReduce算法原理

1、使用压缩分隔减少输入规模

2、利用Combiner减少中间数据

3、编写Partitioner优化负载均衡

4、如何自定义排序规则

5、如何自定义分组规则

6、MapReduce优化

7、编程实战

五、Hadoop集群与管理,是数据库管理员的高级课程 六、ZooKeeper基础知识,构建分布式系统的基础框架

1、Hadoop集群的搭建

2、Hadoop集群的监控

3、Hadoop集群的管理

4、集群下运行MapReduce程序

1、ZooKeeper体现结构

2、ZooKeeper集群的安装

3、操作ZooKeeper

七、HBase基础知识,面向列的实时分布式数据库 八、HBase集群及其管理

1、HBase定义

2、HBase与RDBMS的对比

3、数据模型

4、系统架构

5、HBase上的MapReduce

6、表的设计

1、集群的搭建过程讲解

2、集群的监控

3、集群的管理

九、HBase客户端 十、Pig基础知识,进行Hadoop计算的另一种框架

1、HBase Shell以及演示

2、Java客户端以及代码演示

1、Pig概述

2、安装Pig

3、使用Pig完成手机流量统计业务

十一、Hive,使用SQL进行计算的Hadoop框架 十二、Sqoop,Hadoop与rdbms进行数据转换的框架

1、数据仓库基础知识

2、Hive定义

3、Hive体系结构简介

4、Hive集群

5、客户端简介

6、HiveQL定义

7、HiveQL与SQL的比较

8、数据类型

9、表与表分区概念

10、表的操作与CLI客户端演示

11、数据导入与CLI客户端演示

12、查询数据与CLI客户端演示

13、数据的连接与CLI客户端演示

14、用户自定义函数(UDF)的开发与演示

1、配置Sqoop

2、使用Sqoop把数据从MySQL导入到HDFS中

3、使用Sqoop把数据从HDFS导出到MySQL中

十三、Storm

1、Storm基础知识:包括Storm的基本概念和Storm应用
     场景,体系结构与基本原理,Storm和Hadoop的对比

2、Storm集群搭建:详细讲述Storm集群的安装和安装时
     常见问题

3、Storm组件介绍: spout、bolt、stream groupings等

4、Storm消息可靠性:消息失败的重发

5、Hadoop 2.0和Storm的整合:Storm on YARN

6、Storm编程实战

十四、论坛日志分析项目

该项目的数据来自于某网站论坛的日志,它是为本课程量身定做的,非常适合我们Hadoop课程学习。有的同学觉得应该介绍更多项目,其实做过几个项目后,就会发现项目的思路是相同的,只是业务不同而已。

大家写过这个项目后,就对Hadoop的各个框架在项目中是如何使用的,以及Hadoop与JavaEE结合有一个比较清晰的认识与了解。

Hadoop storm大数据分析 知识体系结构的更多相关文章

  1. 《Hadoop金融大数据分析》读书笔记

    <Hadoop金融大数据分析> Hadoop for Finance Essentials 使用Hadoop,是因为数据量大数据量如此之多,以至于无法用传统的数据处理工具和应用来处理的数据 ...

  2. Storm实现实时大数据分析(storm介绍,与Hadoop比较,)

    一.storm与Hadoop对比 Hadoop: 全量数据处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞吐量大.自动容错等优点,在海量数据处理上得到了广泛的 ...

  3. 大数据分析系统Hadoop的13个开源工具

    Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构,最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来. 用户可以在不了解分布式底层细节的 ...

  4. 用Storm轻松实时大数据分析【翻译】

    原文地址 简单易用,Storm让大数据分析变得轻而易举. 如今,公司在日常运作中经常会产生TB(terabytes)级的数据.数据来源包括从网络传感器捕获的,到Web,社交媒体,交易型业务数据,以及其 ...

  5. 使用Storm实现实时大数据分析

    摘要:随着数据体积的越来越大,实时处理成为了许多机构需要面对的首要挑战.Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视,为我们演示了使用Sto ...

  6. 【大数据】了解Hadoop框架的基础知识

    介绍 此Refcard提供了Apache Hadoop,这是最流行的软件框架,可使用简单的高级编程模型实现大型数据集的分布式存储和处理.我们将介绍Hadoop最重要的概念,描述其架构,指导您如何开始使 ...

  7. Hadoop大数据分析应用场景

    J 为了满足日益增长的业务变化,京东的京麦团队在京东大数据平台的基础上,采用了hadoop等热门的开源大数据计算引擎,打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台. 一.Hadoop的应 ...

  8. 使用Storm实现实时大数据分析(转)

    原文链接:http://blog.csdn.net/hguisu/article/details/8454368 简单和明了,Storm让大数据分析变得轻松加愉快. 当今世界,公司的日常运营经常会生成 ...

  9. 使用Storm实现实时大数据分析!

    随着数据体积的越来越大,实时处理成为了许多机构需要面对的首要挑战.Shruthi Kumar和Siddharth Patankar在Dr.Dobb's上结合了汽车超速监视,为我们演示了使用Storm进 ...

随机推荐

  1. Java 源代码和 C 源代码的运行区别

    与其他程序的执行方式和编译方式不同. Java 源代码需要进行编译成字节码后在 Java 虚拟机上运行,这样 Java 程序能够保持独立性和跨平台功特性. 请参考下图. https://www.cwi ...

  2. Oracle11g温习-第一章 2、ORACLE 物理结构

    2013年4月27日 星期六 10:26 物理操作系统文件的集合.主要包括: 控制文件(参数文件init$ORACLE_SID.ora记录了控制文件的位置) 二进制文件,控制文件由参数control_ ...

  3. OC 类的本质和分类

    一.分类 (一)分类的基本知识  概念:Category  分类是OC特有的语言,依赖于类. 分类的作用:在不改变原来的类内容的基础上,为类增加一些方法. 添加一个分类: 文件结构图: 在分类中添加一 ...

  4. dubbo的ExtensionLoader

    了解4个概念:接口,实现类,wrapper,adaptive. 扩展是接口实现类被wrap之后的对象,adaptive扩展是动态生成的类(例如Dubbo$Adaptive类). dubbo框架为接口指 ...

  5. js实现个链表吧

    存储多个元素,最常用的数据结构是数组.但是数组有个一缺点,从数组中添加或移除项的成本很高,因为需要移动元素.链表也可以存储有序的元素集合,但是和数组不同,链表中的元素在内存中不是连续放置的.每个元素存 ...

  6. ural1469

    题解: 从左往右加入每一个点 判断一下和,pre,nxt是否相交 删除得时候也要判断 代码: #pragma GCC optimize(2) #include<cstdio> #inclu ...

  7. python 安装 scapy windows 10 64bit

    简介: 前段时间装的pypcap做嗅探.打包受阻.因为我都是在windows做的.也要打包到exe给别人用. 所以尝试了一下scapy,也可以嗅探,貌似功能更强大.先用sniff吧. 这个也不是在ve ...

  8. 《Python》反射、内置方法(__str__,__repr__)

    一.反射 通过字符串的形式操作对象相关的属性.(使用字符串数据类型的变量名来获取这个变量的值) Python中的一切事物都是对象(都可以使用反射) 反射类中的变量 反射对象中的变量 反射模板中的变量 ...

  9. 爬虫从网页中去取的数据中包含&nbsp;空格

    爬虫从网页中爬取的数据中带了一个 这样的空格,使用trim()函数和replace(" ", "")去掉不了,找了一下资料发现,空格有两种一种是从键盘输入的对应 ...

  10. 逆向路由器固件之敏感信息泄露 Part2

    之前的文章中详细介绍了各种解包路由器固件的工具.解包之后就获得了固件中的文件.下一步就是分析文件寻找漏洞了.这次分析的目标是Trendnet路由器,分析的漏洞是一个远程获取路由器权限的漏洞. 初步分析 ...