Part1. 各种参数的意义及如何配置

Spark官方文档——Spark Configuration(Spark配置)
http://www.cnblogs.com/vincent-hv/p/3316502.html

Standalone spark-env.sh 配置
http://www.sxt.cn/u/2839/blog/4730

spark1.0.0属性配置
http://blog.csdn.net/book_mmicky/article/details/29472439

spark-submit提交脚本中各项参数的配置
http://blog.csdn.net/book_mmicky/article/details/25714545

spark配置指南(全):
http://database.51cto.com/art/201407/445881.htm

Part2. 不同的部署方式:standlone yarn

Spark源码分析:多种部署方式之间的区别与联系
http://www.tuicool.com/articles/jAZZZf

Spark不同部署方式:
http://developer.51cto.com/art/201309/410276_3.htm

Part3. 资源调度相关

Spark Executor Driver资源调度小结
http://blog.csdn.net/oopsoom/article/details/38763985

Spark任务调度executors分配问题 in yarn
http://www.cnblogs.com/jh818012/p/3936286.html

Spark技术内幕之任务调度:从SparkContext开始
http://www.tuicool.com/articles/VrqqYne

Part4. 性能调优

spark性能调优
http://itindex.net/detail/50670-spark-spark-%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98

spark参数配置调优
http://blog.csdn.net/chenxingzhen001/article/details/11835399

Spark:Master High Availability(HA)高可用配置的2种实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=10823

spar性能调优
http://spark-config.readthedocs.org/en/latest/

spark性能相关参数http://blog.csdn.net/colorant/article/details/38681627

Part5. Something else

spark编程指南
http://my.oschina.net/kingwjb/blog/304945

Spark技术内幕:Executor分配详解
http://www.sxt.cn/u/2521/blog/3823

Part6. Some issues

centos6.2 spark cluster问题(持续追加)
http://blog.csdn.net/qianlong4526888/article/details/22899355

Spark fail when running pi.py example with yarn-client mode
http://stackoverflow.com/questions/27792839/spark-fail-when-running-pi-py-example-with-yarn-client-mode

How do I set spark.akka.frameSize in spark-shell?
http://stackoverflow.com/questions/27215288/how-do-i-set-spark-akka-framesize-in-spark-shell

Spark link集合的更多相关文章

  1. spark转换集合为RDD

    SparkContext可以通过parallelize把一个集合转换为RDD def main(args: Array[String]): Unit = { val conf = new SparkC ...

  2. 资料Link集合

    Spark RDD API详解(一) Map和Reduce|  scala中Iterator的比较| 使用sbt构建scala应用| sbt常用命令| sbt更改默认ivy仓库位置| linux手动安 ...

  3. Spark:scala集合转化为DS/DF

    scala集合转化为DS/DF case class TestPerson(name: String, age: Long, salary: Double) val tom = TestPerson( ...

  4. Spark 常见问题集合

    一.Spark 为什么比 MapReduce 要高效? 举一个例子: select a.state,count(*),AVERAGE(c.price) from a join b on (a.id=b ...

  5. 牛客网Java刷题知识点之Java 集合框架的构成、集合框架中的迭代器Iterator、集合框架中的集合接口Collection(List和Set)、集合框架中的Map集合

    不多说,直接上干货! 集合框架中包含了大量集合接口.这些接口的实现类和操作它们的算法. 集合容器因为内部的数据结构不同,有多种具体容器. 不断的向上抽取,就形成了集合框架. Map是一次添加一对元素. ...

  6. SPARK 数据统计程序性能优化。

    昨天写完R脚本 没测试就发到博客里, 结果实际运行发现很慢,运行时间在2小时以上, 查看spark控制台, 大量时间消耗在count上, 产生的stage多大70多个 . 分析原因. 1  selec ...

  7. Learning Spark中文版--第六章--Spark高级编程(1)

    Introduction(介绍) 本章介绍了之前章节没有涵盖的高级Spark编程特性.我们介绍两种类型的共享变量:用来聚合信息的累加器和能有效分配较大值的广播变量.基于对RDD现有的transform ...

  8. 5.5 Selenium2中的元素定位

    WebDriver的更加面向对象的方式大大降低了Selenium的入门门槛,对Web元素的操作也非常之简单易学.实际项目用起来,工作量最大的部分就是你如何解析定位到你的目标项目页面中的各种元素.好比你 ...

  9. 用sparkR, 分析上亿条订单数据的脚本。

    上周我们这个10人的小团队开发的推荐拉新系统, 日拉新人数已接近4万人.过去几个月这个系统从无到有, 拉新从日增几千稳步增长到日增几万, 同事们几个月来,每天工作13个小时以上,洗澡时间都没有, 有时 ...

随机推荐

  1. PCB设计备忘录

    在PCB设计过程中,常常有很多细节只有在实践中才能体会到其重要性,本人记性不好,索性把相关的注意点记录下来,也顺便希望能够给读者朋友们一些帮助. 接插件以及连接器比较常用的针脚之间间距有2.54mm/ ...

  2. 用MarkDown来排版写作

    Latex排版系统太复杂,MD很好用,微软开源了一套Madoko的开源在线MD编辑器,它提供了一台MD扩展,可以生成PDF(中间先生成Tex,再生成的PDF),幻灯片还有html.非常方便.写作,写p ...

  3. google开源的C++性能分析工具 - gperftools

    gperftools是Google提供的一套工具,其中的一个功能是CPU profiler,用于分析程序性能,找到程序的性能瓶颈. 安装 gperftools:http://code.google.c ...

  4. Android通过长按图片设置为壁纸

    用imageview控件为他添加长按事件: imageview.setOnLongClickListener(new OnLongClickListener(){ public boolean onL ...

  5. HDU_2041——走楼梯,递推

    Problem Description 有一楼梯共M级,刚开始时你在第一级,若每次只能跨上一级或二级,要走上第M级,共有多少种走法?   Input 输入数据首先包含一个整数N,表示测试实例的个数,然 ...

  6. [转]10款 Web 开发常备工具

    文章地址:https://my.oschina.net/u/2903254/blog/798135 工欲善其事,必先利其器.如今 Web 开发标准越来越高,Web 开发者也在不断寻找途径提升自己的技能 ...

  7. javascript 缓冲运动demo

    <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...

  8. [原创作品] 对获取多层json值的封装

    今天篇头不废话了,交流加群:164858883 在我们接收后端返回的json数据的时候,在数据缺失的时候,如果直接接收会导致致命错误的发生.可能有些同学会说通常都会有,不用判断直接获取也行.之前我也是 ...

  9. DB2 错误编码 查询(一)(转)

    size=medium][/size]本节列示 SQLSTATE 及其含义.SQLSTATE 是按类代码进行分组的:对于子代码,请参阅相应的表. 表 2. SQLSTATE 类代码 类代码含义 要获得 ...

  10. Unity3D性能优化总结

    一.程序方面 01.务必删除脚本中为空或不须要的默认方法: 02.仅仅在一个脚本中使用OnGUI方法. 03.避免在OnGUI中对变量.方法进行更新.赋值,输出变量建议在Update内. 04.同一脚 ...