为了分享给你们,也为自己。

感谢下面的老师们!

1、王家林DT大数据梦工厂的大数据IMF传奇行动课程

总的目录是:

第一阶段:Linux和Java零基础企业级实战

第二阶段:Hadoop和Hive零基础企业级实战

第三阶段:Scala零基础企业级实战

第四阶段:从零基础到彻底精通第一个Spark实战程序

第五阶段:Spark Core实战、解析、性能优化

第六阶段:Spark SQL企业级实战

第七阶段:Kafka企业级实战

第八阶段:Spark Sreaming企业级实战

第九阶段:Spark图计算GraphX企业级实战

具体课程内容安排如下所示:
第一阶段:Linux和Java零基础企业级实战
  第1模块:Linux零基础光速速成(2小时)
  第2模块:Java面向对象实战(2小时)
  第3模块:范型与集合(2小时)
  第4模块:Java IO(1小时)
  第5模块:多线程与并发(1小时)
  第6模块:网络(1小时)
  第7模块: Java虚拟机内幕解密及性能优化(2小时)
第二阶段:Hadoop和Hive零基础企业级实战
  第1模块:Hadoop集群搭建零基础实战、Hadoop集群解析、Hadoop集群测试等(2小时)
  第2模块: Eclipse开发和打包运行Hadoop实战;(2小时)
  第3模块:第一个Hadoop MapReduce代码详解、Hadoop源码解读(2小时)
  第4模块:Yarn实战解密(1小时)
  第5模块:Hive集群安装和测试实战(2小时)
  第6模块:实战Hive分析搜索引擎的数据(2小时)
  第7模块:实战Hive分析电商的数据(2小时)
第三阶段:Scala零基础企业级实战
  第1模块:Scala动手实战入门(1小时)
  第2模块:Scala实战入门进阶(1小时)
  第3模块:Scala面向对象入门实战(1小时)
  第4模块:Scala面向对象进阶实战(2小时)
  第5模块:Scala函数式编程入门实战(2小时)
  第6模块:Scala函数式编程进阶实战(2小时)
  第7模块:Scala高级特性实战(3小时)
  第8模块:Scala的Actor 并发编程(2小时)
第四阶段:从零基础到彻底精通第一个Spark实战程序
  第1模块:精通Spark集群搭建与测试(2小时)
  第2模块:实战解析Spark运行原理和RDD解密(2小时)
  第3模块:彻底实战详解使用IDE开发Spark程序(1小时)
  第4模块:彻底实战详解 IntelliJ IDEA下的Spark程序开发(0.5小时)
  第5模块:底实战详解使用Java开发Spark程序(0.5小时)
  第6模块:彻底解密WordCount运行原理(2小时)
  第7模块:HA下的Spark集群工作原理解密(2小时)

第五阶段:Spark Core实战、解析、性能优化
  第1模块:Spark内核架构解密(2小时)
  第2模块:Spark RDD解密(2小时)
  第3模块:RDD创建内幕彻底解密(1小时)
  第4模块:RDD实战(RDD基本操作实战及Transformation流程图)(2小时)
  第5模块:RDD案例(join、cogroup、reduceByKey、groupByKey等)(1小时)
  第6模块:RDD持久化、广播、累加器.(2小时)
  第7模块:Spark高级排序彻底解秘(1小时)
  第8模块:Top N彻底解秘(1小时)
  第9模块:从Spark架构和物理执行中透视Job(4小时)
  第10模块:Spark Hash Shuffle内幕彻底解密及性能调优(2小时)
  第11模块: Spark Sort-Based Shuffle内幕工作机制、案例实战、源码剖析、优缺点及改进方式等彻底解密(3小时)
  第12模块:Spark on Yarn彻底解密(1小时)
  第13模块:Master HA彻底解密(1小时)
  第14模块:Spark 1.6 RPC内幕解密:运行机制、源码详解、Netty与Akka等(2小时)
  第15模块:Spark Tungsten内幕彻底解密(3个小时)
  第16模块:Spark Unified Memory Management内幕解密及由此引发的性能调优实践(2个小时)
第六阶段:Spark SQL企业级实战
  第1模块:Spark SQL和DataFrame的本质
  第2模块:DataFrame的使用
  第3模块:使用反射方式将RDD转换为DataFrame
  第4模块:使用编程方式将RDD转换为DataFrame
  第5模块:数据源之通用的load和save操作
  第6模块:Parquet数据源之使用编程方式加载数据
  第7模块:Parquet数据源之自动分区推断
  第8模块:Parquet数据源之合并元数据
  第9模块:JSON数据源复杂综合案例实战
  第10模块:Hive数据源复杂综合案例实战
  第11模块:JDBC数据源复杂综合案例实战
  第12模块:内置函数以及案例实战
  第13模块:开窗函数以及案例实战
  第14模块:UDF自定义函数实战
  第15模块:UDAF自定义聚合函数实战
  第16模块:工作原理剖析以及性能优化
  第18模块:核心源码深度剖析(DataFrame lazy特性、Optimizer优化策略等)
  第19模块: Hive On Spark深度解密
  第20模块: Hive On Spark 商业案例实战

额外增加:使用Spark SQL商业案例处理基因数据匹配;
第七阶段:Kafka企业级实战
  第1模块:Kafka分布式消息队列、Kafka原理解析(1小时)
  第2模块:Kafka安装配置(1小时)
  第3模块:Kafka集群在ZooKeeper里的彻底解密(1小时)
  第4模块:Producer、Controller、Broker、Consumer彻底解密(2小时)
  第5模块:Kafka与Spark集成开发实战(2小时)
第八阶段:Spark Sreaming企业级实战
  第1模块:Spark Sreaming架构原理深度剖析(2小时)
  第2模块:DStream以及基本工作原理(1小时)
  第3模块:实时wordcount程序开发(1小时)
  第4模块:StreamingContext详解(1小时)
  第5模块:输入DStream和Receiver详解(1小时)
  第6模块:输入DStream之基础数据源以及基于HDFS的实时WordCount案例实战(1小时)
  第7模块:基于Receiver的方式输入DStream之Kafka数据源实战(1小时)
  第8模块:基于Direct的方式输入DStream之Kafka数据源实战(1小时)
  第9模块:DStream的transformation操作详解狮子含(1小时)
  第10模块:updateStateByKey以及基于缓存的实时WordCount案例实战(1小时)
  第11模块:Transform以及广告计费日志实时黑名单过滤案例实战(1小时)
  第12模块:Window滑动窗口以及热点搜索词滑动统计案例实战(1小时)
  第13模块:DStream的output操作以及foreachRDD性能优化详解(1小时)
  第14模块:与Spark SQL结合使用之top3热门商品实时统计案例实战(1小时)
  第15模块:缓存与持久化机制详解(1小时)
  第16模块:Checkpoint机制详解(1小时)
  第17模块:部署、升级和监控实时应用程序(1小时)
  第18模块:容错机制以及事务语义详解(1小时)
  第19模块:StreamingContext初始化与Receiver启动原理剖析与源码分析(2小时)
  第20模块:数据接收原理剖析与源码分析(2小时)
  第21模块:数据处理原理剖析与源码分析(2小时)
  第22模块:性能调优详解(2小时)
第九阶段:Spark图计算GraphX企业级实战
  第1模块:Spark GraphX实战体验和架构解密
  第2模块: Table Operators详解和实战
  第3模块: Graph Operators详解和实战
  第4模块: GraphX各种常见算法解析和实战
  商业实战案例:基于婚恋社交网站的商业案例通过Spark图计算多维度分析婚恋社交网站的数据,提供管理决策和商业运维支持,内容用户网络的社区发现、用户影响力、能量传播、人群划分、年龄段预测、商品交易时序跳转等

2、王家林DT大数据梦工厂的大数据Spark“蘑菇云”行动课程

陆续推送...

一些推荐的spark/hadoop课程的更多相关文章

  1. 北风风hadoop课程体系

    课程一.基于Linux操作系统平台下的Java语言开发(20课时)课程简介本套课程主要介绍了Linux系统下的Java环境搭建及最基础的Java语法知识.学习Linux操作系统下Java语言开发的好处 ...

  2. Windows下搭建Spark+Hadoop开发环境

    Windows下搭建Spark+Hadoop开发环境需要一些工具支持. 只需要确保您的电脑已装好Java环境,那么就可以开始了. 一. 准备工作 1. 下载Hadoop2.7.1版本(写Spark和H ...

  3. Spark集群搭建【Spark+Hadoop+Scala+Zookeeper】

    1.安装Linux 需要:3台CentOS7虚拟机 IP:192.168.245.130,192.168.245.131,192.168.245.132(类似,尽量保持连续,方便记忆) 注意: 3台虚 ...

  4. 【Todo】找出共同好友 & Spark & Hadoop面试题

    找了这篇文章看了一下面试题<Spark 和hadoop的一些面试题(准备)> http://blog.csdn.net/qiezikuaichuan/article/details/515 ...

  5. Spark&Hadoop:scala编写spark任务jar包,运行无法识别main函数,怎么办?

    昨晚和同事一起看一个scala写的程序,程序都写完了,且在idea上debug运行是ok的.但我们不能调试的方式部署在客户机器上,于是打包吧.打包时,我们是采用把外部引入的五个包(spark-asse ...

  6. Spark+Hadoop问题小结

    1.spark执行./start-all.sh报"WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting ...

  7. Hadoop课程介绍

    一.课程简介 1. Hadoop是什么? Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架.它支持在商品硬件构建的大型集群上运行的应用程序.H ...

  8. 大牛博客!Spark / Hadoop / Kafka / HBase / Storm

    在这里,非常感谢下面的著名大牛们,一路的帮助和学习,给予了我很大的动力! 有了Hadoop,再次有了Spark,一次又一次,一晚又一晚的努力相伴! HBase简介(很好的梳理资料) 1. 博客主页:h ...

  9. 微博广告推荐中有关Hadoop的那些事

    一.背景 微博,一个DAU上亿.每日发博量几千万的社交性产品,拥有庞大的数据集.如何高效得从如此规模的数据集中挖掘出有价值的信息,以增强用户粘性,提高信息传播速度,就成了重中之重.因此,我们引入了ha ...

随机推荐

  1. 【转载】两军问题与Paxos算法 & 动画讲解Paxos算法

    http://harry.me/blog/2014/12/27/neat-algorithms-paxos/ 这篇文章里面有用JS写的Paxos过程,有助理解.但是没怎么仔细看,没时间. 这篇文章用两 ...

  2. SOCKSify Ruby

    http://socksify.rubyforge.org/ What is it? SOCKSify Ruby redirects any TCP connection initiated by a ...

  3. C# Winform 获取天气情况

    WebServices(http://www.webxml.com.cn/WebServices/WeatherWebService.asmx)来实现天气预报,该天气预报 Web 服务,数据来源于中国 ...

  4. poj 2192 (DP)

    这个题题目意思是给你三个字符串str1,str2,str3.将str3从左自右扫描,去匹配str1和str2中的元素,不可重复,若存在一种匹配方法使得str1和str2都被匹配完全了,则输出yes,否 ...

  5. UVa 10791 Minimum Sum LCM【唯一分解定理】

    题意:给出n,求至少两个正整数,使得它们的最小公倍数为n,且这些整数的和最小 看的紫书--- 用唯一分解定理,n=(a1)^p1*(a2)^p2---*(ak)^pk,当每一个(ak)^pk作为一个单 ...

  6. 【转载】Windows 7下使用bcdedit删除多余启动项的命令

    在Windows  7中是使用bcdedit来代替Windows XP中的boot.ini bcdedit位置:C:\Windows\System32 (直接使用命令bcdedit即可) bcdedi ...

  7. BZOJ 4198 荷马史诗

    哈夫曼树. 如果要最大的深度最小,再按h排序即可. #include<iostream> #include<cstdio> #include<cstring> #i ...

  8. erl0005 - mnesia 分布式部署

    http://www.iteye.com/topic/643187 1.启动两个互通的节点a.b: 2.在a节点net_adm:ping(b) 查看ab之间是否联通(nodes()). 3.在保持通的 ...

  9. css3 :nth-child 常用用法

    前端的哥们想必都接触过css中一个神奇的玩意,可以轻松选取你想要的标签并给与修改添加样式,是不是很给力,它就是“:nth-child”. 下面我将用几个典型的实例来给大家讲解:nth-child的实际 ...

  10. Eziriz.Net.Reactor使用注意事项

    1) 保护参数配置 2) 注册表访问 using System.Security.Permissions; [RegistryPermissionAttribute(SecurityAction.Pe ...