Spark link集合
Part1. 各种参数的意义及如何配置
Spark官方文档——Spark Configuration(Spark配置)
http://www.cnblogs.com/vincent-hv/p/3316502.html
Standalone spark-env.sh 配置
http://www.sxt.cn/u/2839/blog/4730
spark1.0.0属性配置
http://blog.csdn.net/book_mmicky/article/details/29472439
spark-submit提交脚本中各项参数的配置
http://blog.csdn.net/book_mmicky/article/details/25714545
spark配置指南(全):
http://database.51cto.com/art/201407/445881.htm
Part2. 不同的部署方式:standlone yarn
Spark源码分析:多种部署方式之间的区别与联系
http://www.tuicool.com/articles/jAZZZf
Spark不同部署方式:
http://developer.51cto.com/art/201309/410276_3.htm
Part3. 资源调度相关
Spark Executor Driver资源调度小结
http://blog.csdn.net/oopsoom/article/details/38763985
Spark任务调度executors分配问题 in yarn
http://www.cnblogs.com/jh818012/p/3936286.html
Spark技术内幕之任务调度:从SparkContext开始
http://www.tuicool.com/articles/VrqqYne
Part4. 性能调优
spark性能调优
http://itindex.net/detail/50670-spark-spark-%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98
spark参数配置调优
http://blog.csdn.net/chenxingzhen001/article/details/11835399
Spark:Master High Availability(HA)高可用配置的2种实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=10823
spar性能调优
http://spark-config.readthedocs.org/en/latest/
spark性能相关参数http://blog.csdn.net/colorant/article/details/38681627
Part5. Something else
spark编程指南
http://my.oschina.net/kingwjb/blog/304945
Spark技术内幕:Executor分配详解
http://www.sxt.cn/u/2521/blog/3823
Part6. Some issues
centos6.2 spark cluster问题(持续追加)
http://blog.csdn.net/qianlong4526888/article/details/22899355
Spark fail when running pi.py example with yarn-client mode
http://stackoverflow.com/questions/27792839/spark-fail-when-running-pi-py-example-with-yarn-client-mode
How do I set spark.akka.frameSize in spark-shell?
http://stackoverflow.com/questions/27215288/how-do-i-set-spark-akka-framesize-in-spark-shell
Spark link集合的更多相关文章
- spark转换集合为RDD
SparkContext可以通过parallelize把一个集合转换为RDD def main(args: Array[String]): Unit = { val conf = new SparkC ...
- 资料Link集合
Spark RDD API详解(一) Map和Reduce| scala中Iterator的比较| 使用sbt构建scala应用| sbt常用命令| sbt更改默认ivy仓库位置| linux手动安 ...
- Spark:scala集合转化为DS/DF
scala集合转化为DS/DF case class TestPerson(name: String, age: Long, salary: Double) val tom = TestPerson( ...
- Spark 常见问题集合
一.Spark 为什么比 MapReduce 要高效? 举一个例子: select a.state,count(*),AVERAGE(c.price) from a join b on (a.id=b ...
- 牛客网Java刷题知识点之Java 集合框架的构成、集合框架中的迭代器Iterator、集合框架中的集合接口Collection(List和Set)、集合框架中的Map集合
不多说,直接上干货! 集合框架中包含了大量集合接口.这些接口的实现类和操作它们的算法. 集合容器因为内部的数据结构不同,有多种具体容器. 不断的向上抽取,就形成了集合框架. Map是一次添加一对元素. ...
- SPARK 数据统计程序性能优化。
昨天写完R脚本 没测试就发到博客里, 结果实际运行发现很慢,运行时间在2小时以上, 查看spark控制台, 大量时间消耗在count上, 产生的stage多大70多个 . 分析原因. 1 selec ...
- Learning Spark中文版--第六章--Spark高级编程(1)
Introduction(介绍) 本章介绍了之前章节没有涵盖的高级Spark编程特性.我们介绍两种类型的共享变量:用来聚合信息的累加器和能有效分配较大值的广播变量.基于对RDD现有的transform ...
- 5.5 Selenium2中的元素定位
WebDriver的更加面向对象的方式大大降低了Selenium的入门门槛,对Web元素的操作也非常之简单易学.实际项目用起来,工作量最大的部分就是你如何解析定位到你的目标项目页面中的各种元素.好比你 ...
- 用sparkR, 分析上亿条订单数据的脚本。
上周我们这个10人的小团队开发的推荐拉新系统, 日拉新人数已接近4万人.过去几个月这个系统从无到有, 拉新从日增几千稳步增长到日增几万, 同事们几个月来,每天工作13个小时以上,洗澡时间都没有, 有时 ...
随机推荐
- uva 10012
题目意思: 给定m个圆的半径,现在要求找到一个矩形使得每一个球都以地面相切,要求输出最小的矩阵的长度 #include <iostream> #include <algorithm ...
- 神舟飞船上的计算机使用什么操作系统,为什么是自研发不是 Linux?
中国航天用的SpaceOS主要内容是仿造美国风河系统公司的VxWorks653(653是产品名,并非版本号). 先解释为什么用这个系统不用Linux: 航天器的内存和CPU都非常弱,弱到什么程度呢:天 ...
- rsyslog 日志服务器接收日志权限问题
rsyslog 权限: 默认 [root@dr-mysql01 zjzc_log]# ls -ltr zj-frontend0*-access*27 -rw------- 1 root root 32 ...
- Android新浪微博客户端(一)——主框架搭建
原文出自:方杰| http://fangjie.info/?p=62 转载请注明出处 提前声明的是,我是按照Ivan的这套教程学下来的. 首先,对于任何应用我们都需要建立一套消息处理机制,就是当用户在 ...
- Vanya and Triangles 暴力枚举
枚举法: 枚举法是利用计算机速度快, 精度高的特点, 对要解决的问题所有可能情况进行霸道的, 一个不漏检验, 从中找出符合要求的答案. 特点: 1. 得到的结果一定正确. 2. 可能做了很多无用功,效 ...
- Bozo排序
Bogo的变种,继续卖萌... Bogo每次都随机打乱数组,而Bozo每次随机选择两个位置,然后交换这两个位置的值.相同的是不断靠概率不断查看有序了没... public static void bo ...
- 转:史上最全最强SpringMVC详细示例实战教程
一.SpringMVC基础入门,创建一个HelloWorld程序 1.首先,导入SpringMVC需要的jar包. 2.添加Web.xml配置文件中关于SpringMVC的配置 <!--conf ...
- 关于数据表命名为mysql保留的时候的操作
今天操作数据表的时候,发现order数据表无法进行操作,必须加上反单引号才能进行操作,查了一下原因: 反引号是用来区别mysql关键字的,比如,如果你有一个表名叫select,你就必须写成`selec ...
- Java 泛型数组
Java 不支持泛型数组.也就是说, List<String>[] ls = new ArrayList<String>[10]; 是不支持的,而 List<String ...
- Face recognition using Histograms of Oriented Gradients
Face recognition using Histograms of Oriented Gradients 这篇论文的主要内容是将Hog算子应用到人脸识别上. 转载请注明:http://blog. ...