Spark目录
1. Spark1.0.0 应用程序部署工具spark-submit
2. Spark Streaming的编程模型
3. 使用java api操作HDFS文件
4. 用SBT编译Spark的WordCount程序
5. 在Spark上运行TopK程序
6. 在Spark上运行WordCount程序
7. Spark一个简单案例
8. Spark源码分析
9. Spark SQL
10. HDFS常用命令
11. Spark SQL之调优
12. Spark调优
13. Spark学习视频整合
14. HDFS命令行工具
15. MapReduce调度器
16. 在Spark程序中使用压缩
17. Spark集群基于Zookeeper的HA搭建部署笔记(转)
18. 使用 Kafka 和 Spark Streaming 构建实时数据处理系统(转)
19. spark streaming 接收 kafka 数据java代码WordCount示例
20. Spark+Kafka的Direct方式将偏移量发送到Zookeeper实现(转)
21. 使用Spark读写CSV格式文件(转)
22. 在Spark中尽量少使用GroupByKey函数(转)
23. Spark应用程序运行的日志存在哪里(转)
24. Spark Streaming性能调优详解(转)
25. 在Spark中自定义Kryo序列化输入输出API(转)
26. Spark Streaming中空batches处理的两种方法(转)
27. 【采集层】Kafka 与 Flume 如何选择(转)
28. Spark RDD API扩展开发
29. Storm和Spark Streaming框架对比(转)
30. Spark源码分析:多种部署方式之间的区别与联系(转)
31. Spark入门实战系列--6.SparkSQL(上)--SparkSQL简介
32. sparkSQL1.1入门之一:为什么sparkSQL
33. Spark Streaming:大规模流式数据处理的新贵(转)
34. HBase系统架构及数据结构(转)
35. 错误Name node is in safe mode的解决方法 (转)
36. flume学习(三):flume将log4j日志数据写入到hdfs(转)
37. Spark中加载本地(或者hdfs)文件以及SparkContext实例的textFile使用
38. Spark从HDFS上读取JSON数据
39. Spark向HDFS中存储数据
40. Spark GraphX图处理编程实例
41. GraphX中Pregel单源点最短路径(转)
Spark亚太研究院系列丛书——Spark实战高手之路 从零开始_读书频道_51CTO.COM_领先的中文IT技术网站
http://book.51cto.com/art/201408/448416.htm
Spark目录的更多相关文章
- Spark运行模式与Standalone模式部署
上节中简单的介绍了Spark的一些概念还有Spark生态圈的一些情况,这里主要是介绍Spark运行模式与Spark Standalone模式的部署: Spark运行模式 在Spark中存在着多种运行模 ...
- Spark on YARN的部署
Spark on YARN的原理就是依靠yarn来调度Spark,比默认的Spark运行模式性能要好的多,前提是首先部署好hadoop HDFS并且运行在yarn上,然后就可以开始部署spark on ...
- Spark快速入门 - Spark 1.6.0
Spark快速入门 - Spark 1.6.0 转载请注明出处:http://www.cnblogs.com/BYRans/ 快速入门(Quick Start) 本文简单介绍了Spark的使用方式.首 ...
- 在 Azure HDInsight 中安装和使用 Spark
Spark本身用Scala语言编写,运行于Java虚拟机(JVM).只要在安装了Java 6以上版本的便携式计算机或者集群上都可以运行spark.如果您想使用Python API需要安装Python解 ...
- Mac 配置Spark环境scala+python版本(Spark1.6.0)
1. 从官网下载Spark安装包,解压到自己的安装目录下(默认已经安装好JDK,JDK安装可自行查找): spark官网:http://spark.apache.org/downloads.html ...
- 使用sbt构建spark 程序
今日在学习scala和spark相关的知识.之前在eclipse下编写了wordcount程序.但是关于导出jar包这块还是很困惑.于是学习sbt构建scala. 关于sbt的介绍网上有很多的资料,这 ...
- Windows下Spark单机环境配置
1. 环境配置 a) java环境配置: JDK版本为1.7,64位: 环境变量配置如下: JAVA_HOME为JDK安装路径,例如D:\software\workSoftware\JAVA 在pa ...
- spark on centos6.5 安装
第一步在centos 6.5上安装java 运行环境 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-18 ...
- Spark:利用Eclipse构建Spark集成开发环境
前一篇文章“Apache Spark学习:将Spark部署到Hadoop 2.2.0上”介绍了如何使用Maven编译生成可直接运行在Hadoop 2.2.0上的Spark jar包,而本文则在此基础上 ...
随机推荐
- MySQL 插入与自增主键值相等的字段 与 高并发下保证数据准确的实验
场景描述: 表t2 中 有 自增主键 id 和 字段v 当插入记录的时候 要求 v与id 的值相等(按理来说这样的字段是需要拆表的,但是业务场景是 只有某些行相等 ) 在网上搜的一种办法是 先获取 ...
- elang 字符处理
%%% %%% 判断是否是字符串 %%% 从文件中提取中文 %%% %%% %%% %%-------------------------------------------------------- ...
- c++ List、Vector、Stack、Queue使用
一.List使用 引入头文件#include <list> List基本函数Lists将元素按顺序储存在链表中. 与 向量(vectors)相比, 它允许快速的插入和删除,但是随机访问却比 ...
- [转]比较 Rational Unified Process (RUP) 和 Microsoft Solutions Framework (MSF)
文档选项 将此页作为电子邮件发送 级别: 初级 Sandra Sergi Santos, 软件工程专家, IBM 2007 年 6 月 15 日 本文来自于 Rational Edge:Micro ...
- string 与char* char[]之间的转换 2015-04-09 11:30 29人阅读 评论(0) 收藏
1.首先必须了解,string可以被看成是以字符为元素的一种容器.字符构成序列(字符串).有时候在字符序列中进行遍历,标准的string类提供了STL容器接口.具有一些成员函数比如begin().en ...
- vim显示历史命令
[vim显示历史命令] q: 进入命令历史编辑.类似的还有 q/ 可以进入搜索历史编辑.注意 q 后面如果跟随其它字母,是进入命令记录. 可以像编辑缓冲区一样编辑某个命令,然后回车执行.也可以用 ct ...
- 实时监控mysql数据库变化
对于二次开发来说,很大一部分就找找文件和找数据库的变化情况 对于数据库变化.还没有发现比较好用的监控数据库变化监控软件. 今天,我就给大家介绍一个如何使用mysql自带的功能监控数据库变化 1.打开数 ...
- 第三次作业之Calculator项目随笔
附:Github的链接:https://github.com/mingyueanyao/object-oriented/tree/master/Calculator 1.初见题目: 第一眼看到题目最大 ...
- ZOJ 3597 Hit the Target! (线段树扫描线 -- 矩形所能覆盖的最多的点数)
ZOJ 3597 题意是说有n把枪,有m个靶子,每把枪只有一发子弹(也就是说一把枪最多只能打一个靶子), 告诉你第 i 把枪可以打到第j个靶, 现在等概率的出现一个连续的P把枪,在知道这P把枪之后,你 ...
- UI进阶 科大讯飞(2) 语音合成(文字转换成语音)
科大讯飞开放平台.SDK下载.添加静态库.初始化见UI进阶 科大讯飞(1) 语音听写(语音转换成文字) 实现语音合成 功能实现步骤: 导入头文件 创建文字识别对象 指定文字识别后的回调代理对象 开启文 ...