Spark目录
1. Spark1.0.0 应用程序部署工具spark-submit
2. Spark Streaming的编程模型
3. 使用java api操作HDFS文件
4. 用SBT编译Spark的WordCount程序
5. 在Spark上运行TopK程序
6. 在Spark上运行WordCount程序
7. Spark一个简单案例
8. Spark源码分析
9. Spark SQL
10. HDFS常用命令
11. Spark SQL之调优
12. Spark调优
13. Spark学习视频整合
14. HDFS命令行工具
15. MapReduce调度器
16. 在Spark程序中使用压缩
17. Spark集群基于Zookeeper的HA搭建部署笔记(转)
18. 使用 Kafka 和 Spark Streaming 构建实时数据处理系统(转)
19. spark streaming 接收 kafka 数据java代码WordCount示例
20. Spark+Kafka的Direct方式将偏移量发送到Zookeeper实现(转)
21. 使用Spark读写CSV格式文件(转)
22. 在Spark中尽量少使用GroupByKey函数(转)
23. Spark应用程序运行的日志存在哪里(转)
24. Spark Streaming性能调优详解(转)
25. 在Spark中自定义Kryo序列化输入输出API(转)
26. Spark Streaming中空batches处理的两种方法(转)
27. 【采集层】Kafka 与 Flume 如何选择(转)
28. Spark RDD API扩展开发
29. Storm和Spark Streaming框架对比(转)
30. Spark源码分析:多种部署方式之间的区别与联系(转)
31. Spark入门实战系列--6.SparkSQL(上)--SparkSQL简介
32. sparkSQL1.1入门之一:为什么sparkSQL
33. Spark Streaming:大规模流式数据处理的新贵(转)
34. HBase系统架构及数据结构(转)
35. 错误Name node is in safe mode的解决方法 (转)
36. flume学习(三):flume将log4j日志数据写入到hdfs(转)
37. Spark中加载本地(或者hdfs)文件以及SparkContext实例的textFile使用
38. Spark从HDFS上读取JSON数据
39. Spark向HDFS中存储数据
40. Spark GraphX图处理编程实例
41. GraphX中Pregel单源点最短路径(转)
Spark亚太研究院系列丛书——Spark实战高手之路 从零开始_读书频道_51CTO.COM_领先的中文IT技术网站
http://book.51cto.com/art/201408/448416.htm
Spark目录的更多相关文章
- Spark运行模式与Standalone模式部署
上节中简单的介绍了Spark的一些概念还有Spark生态圈的一些情况,这里主要是介绍Spark运行模式与Spark Standalone模式的部署: Spark运行模式 在Spark中存在着多种运行模 ...
- Spark on YARN的部署
Spark on YARN的原理就是依靠yarn来调度Spark,比默认的Spark运行模式性能要好的多,前提是首先部署好hadoop HDFS并且运行在yarn上,然后就可以开始部署spark on ...
- Spark快速入门 - Spark 1.6.0
Spark快速入门 - Spark 1.6.0 转载请注明出处:http://www.cnblogs.com/BYRans/ 快速入门(Quick Start) 本文简单介绍了Spark的使用方式.首 ...
- 在 Azure HDInsight 中安装和使用 Spark
Spark本身用Scala语言编写,运行于Java虚拟机(JVM).只要在安装了Java 6以上版本的便携式计算机或者集群上都可以运行spark.如果您想使用Python API需要安装Python解 ...
- Mac 配置Spark环境scala+python版本(Spark1.6.0)
1. 从官网下载Spark安装包,解压到自己的安装目录下(默认已经安装好JDK,JDK安装可自行查找): spark官网:http://spark.apache.org/downloads.html ...
- 使用sbt构建spark 程序
今日在学习scala和spark相关的知识.之前在eclipse下编写了wordcount程序.但是关于导出jar包这块还是很困惑.于是学习sbt构建scala. 关于sbt的介绍网上有很多的资料,这 ...
- Windows下Spark单机环境配置
1. 环境配置 a) java环境配置: JDK版本为1.7,64位: 环境变量配置如下: JAVA_HOME为JDK安装路径,例如D:\software\workSoftware\JAVA 在pa ...
- spark on centos6.5 安装
第一步在centos 6.5上安装java 运行环境 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-18 ...
- Spark:利用Eclipse构建Spark集成开发环境
前一篇文章“Apache Spark学习:将Spark部署到Hadoop 2.2.0上”介绍了如何使用Maven编译生成可直接运行在Hadoop 2.2.0上的Spark jar包,而本文则在此基础上 ...
随机推荐
- PySpark调用自定义jar包
在开发PySpark程序时通常会需要用到Java的对象,而PySpark本身也是建立在Java API之上,通过Py4j来创建JavaSparkContext. 这里有几点是需要注意的 1. Py4j ...
- 在Spring MVC中使用注解的方式校验RequestParams
概述 Spring MVC支持Bean Validation,通过这个验证技术,可以通过注解方式,很方便的对输入参数进行验证,之前使用的校验方式,都是基于Bean对象的,但是在@RequestPa ...
- js混淆工具
1\ http://www.jasob.com 2\ http://developer.yahoo.com/yui/compressor
- 基于Storm 分布式BP神经网络,将神经网络做成实时分布式架构
将神经网络做成实时分布式架构: Storm 分布式BP神经网络: http://bbs.csdn.net/topics/390717623 流式大数据处理的三种框架:Storm,Spark和Sa ...
- permission denied部署django 遇到没有python_egg_cache的问题解决
检查/etc/httpd/logs/error_log,看是否有如下错误: [Errno 13] Permission denied: '/var/www/.python-eggs' 这时候需要编辑“ ...
- 第三百六十天 how can I 坚持
看了两集linux视频,有点懵啊,下班还想走去天安门,想啥呢,太远了. 居住证没法办,哎,要入职两年. 考研要是也不能考,这一年也太.. 点不会那么背吧. 好像没啥了,睡觉.
- 第二百三十一天 how can I 坚持
哎,蛋疼的一天,一点破问题搞了一下午,还没搞利索. 他们要组织出去玩,我没有参加啊,随便找了个借口. 博客园的字体怎么变小了呢,看着好难受啊,昨天传照片传的? 睡觉.外边下着雨呢,喜欢下雨的夏天还有下 ...
- html5 +css3 第一章学习和笔记
各位同学.身为本版的斑竹.,希望各位童鞋都能学到Html5 .特此没两天更新一个学习笔记和大家一起学习Html5.... 语法改变 1.新增的元素和废除的元素 2.新增的属性和 ...
- SPI移位寄存器
spi移位寄存器即是spi的数据寄存器,在stm32中数据手册是这样描述的:
- yii缓存设置使用
'filecache'=>array( 'class'=>'system.caching.CFileCache', 'directoryLevel'=>'3',), //在main. ...