spark一些入门资料

A Scala Tutorial for Java Programmers

http://docs.scala-lang.org/tutorials/scala-for-java-programmers.html

学习资源(视频教程,书,样例等)

spark.apache.org/documentation.html

入门指南

spark.apache.org/docs/latest/quick-start.html

编程指南

spark.apache.org/docs/latest/programming-guide.html

官网自带样例(极好,有local版。有spark版)

https://github.com/apache/spark/tree/master/examples/src/main/scala/org/apache/spark/examples

运行spark应用(利用spark-submit命令。事实上最底层是java调用)

spark.apache.org/docs/latest/submitting-applications.html

./spark-submit --class"SimpleApp" --master local[4] /home/linger/scala_target/SimpleApp.jar

运行官网自带的example能够利用run-example。该脚本封装了spark-submit命令。

./run-example SparkPi

run-example脚本有这么一句 EXAMPLE_MASTER=${MASTER:-"local[*]"}默认master是local[*]。

依据这句shell,能够有一个方法改变着master。

在调用该脚本之前,export MASTER=local(或者其它)。

眼下不知道是否还有其它方法传递MASTER这个变量。

spark 开发环境搭建(不错)

http://blog.csdn.net/wankunde/article/details/41843217

http://bit1129.iteye.com/blog/2172164

设置完毕后,Error视图报错。说Eclipse依赖的Scala库有两份,一个是系统安装的Scala(C:\Scala_2.11.4,一个是spark-assembly-1.2.0-hadoop2.4.0.jar中,而spark-assembly-1.2.0-hadoop2.4.0.jar中的版本号是2.10.4。因此两个版本号不一致而导致冲突

由于我们的代码是在Spark中执行。而Spark使用的Scala版本号是2.10.4。所以。开发环境中的Scala也应该是2.10.4。因此将2.11.4这个Scala库从Java Build Path删除掉

删除了之后。Eclipse继续报错,例如以下所看到的,也就是说。项目依赖的Scala版本号不如IDE的Scala版本号新。解决的方法例如以下

右击前面建的Scala项目,在右键弹出菜单中。选择Scala。然后在级联菜单中,选择Set Scala Installation,在弹出的对话框中选择,Fixed Scala Installation:2.10.4(bundled)

clean整个项目,Scala IDE的环境到此就配置完毕了。

scala-eclipse执行出现错误

java.lang.ClassNotFoundException

scala-ide

http://scala-ide.org/download/sdk.html

sbt是scala的构建工具

www.scala-sbt.org/documentation.html

sbt安装有点坑啊,安装完之后启动sbt还要下载东西

http://www.zhihu.com/question/23245141

SBT免FQ手冊

http://afoo.me/posts/2014-11-05-how-make-sbt-jump-over-GFW.html

离线环境下构建sbt项目

http://shzhangji.com/blog/2014/11/07/sbt-offline/

Scala SBT 第一次执行时下载文件失败

http://mooc.guokr.com/note/5879/

http://segmentfault.com/blog/zhongl/1190000002474507

加速 SBT 下载依赖库的速度

http://ju.outofmemory.cn/entry/74281

问候sbt一千遍之:加入全局镜像库

spark和机器学习技术博客

http://www.cnblogs.com/fxjwind/

http://blog.csdn.net/sunbow0

--------------------------------------------------------------------------------------------------------------------

Spark执行调试方法与学习资源汇总

http://blog.csdn.net/melodyishere/article/details/32353929

IntelliJ IDEA 安装scala插件。建立scalawith sbt project 的方法

http://8liang.cn/intellijidea-install-scala-plugin-create-with-sbt-project/

Apache spark的IntelliJ IDEA 开发环境搭建

http://8liang.cn/intellij-idea-spark-development/

Spark作业代码(源代码)IDE远程调试

http://www.iteblog.com/archives/1192

利用eclipse构建spark集成开发环境

http://datalab.int-yt.com/archives/505

Apache Spark学习:利用Eclipse构建Spark集成开发环境

http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/

spark一些配置信息

http://spark.apache.org/docs/latest/configuration.html

本文作者:linger

本文链接:http://blog.csdn.net/lingerlanlan/article/details/46430915

spark一些入门资料的更多相关文章

  1. Spark快速入门

    Spark 快速入门   本教程快速介绍了Spark的使用. 首先我们介绍了通过Spark 交互式shell调用API( Python或者scala代码),然后演示如何使用Java, Scala或者P ...

  2. 【转载】Spark学习——入门

    要学习分布式以及数据分析.机器学习之类的,觉得可以通过一些实际的编码项目入手.最近Spark很火,也有不少招聘需要Spark,而且与传统的Hadoop相比,Spark貌似有一些优势.所以就以Spark ...

  3. Git入门资料汇总

    Git是一个非常好用的版本控制工具,同时,它也是一个相对比较复杂的工具,想要掌握它还是需要花一番功夫的.网络上关于Git的入门资料已经很多了,我就不再重复了,直接把我学习的文章放在这里. Git详解 ...

  4. Spark快速入门 - Spark 1.6.0

    Spark快速入门 - Spark 1.6.0 转载请注明出处:http://www.cnblogs.com/BYRans/ 快速入门(Quick Start) 本文简单介绍了Spark的使用方式.首 ...

  5. 【原创 Hadoop&Spark 动手实践 5】Spark 基础入门,集群搭建以及Spark Shell

    Spark 基础入门,集群搭建以及Spark Shell 主要借助Spark基础的PPT,再加上实际的动手操作来加强概念的理解和实践. Spark 安装部署 理论已经了解的差不多了,接下来是实际动手实 ...

  6. 转:UFLDL_Tutorial 笔记(deep learning绝佳的入门资料 )

    http://blog.csdn.net/dinosoft/article/details/50103503 推荐一个deep learning绝佳的入门资料 * UFLDL(Unsupervised ...

  7. spark streaming 入门例子

    spark streaming 入门例子: spark shell import org.apache.spark._ import org.apache.spark.streaming._ sc.g ...

  8. GIT(2)----入门资料,分支管理,冲突解决

    最近一直使用者GIT发现使用起来确实很不错,最近做些整理总结,发现了一些很不错的资料,收集在这里,以备忘. GIT入门挺简单的,之前有些过一篇文章,关于GIT的,但是都是一些生硬的操作,并没有系统的学 ...

  9. Spark高速入门指南(Quick Start Spark)

    版权声明:本博客已经不再更新.请移步到Hadoop技术博客:https://www.iteblog.com https://blog.csdn.net/w397090770/article/detai ...

随机推荐

  1. Uboot优美代码赏析1:目录结构和malkefile分析

    Uboot优美代码赏析1:目录结构和malkefile分析 关于Uboot自己选的版本是目前最新的2011.06,官方网址为:http://www.denx.de/wiki/U-Boot/WebHom ...

  2. Python socket通信之FTP

    Python中利用socket进行server端和client端通信是网络编程的基础,是最简单的传输范例. (懂网络的请自动跳过这一部分) 首先,要想通信,必须建立连接,建立连接的过程,需要clien ...

  3. How-to-quick-getting-started-for-Frontend

    一转眼已一年多不专注前端方面的开发工作,这一年前端方面的技术又是新天地,偶然接到内部团队邀请我给他们做一个前端的讲座,希望能帮助他们快速.且深刻了解前端这个行业以及行业内的知识,这可真有点让我为难,由 ...

  4. visual studio 2015将已有项目添加到码云(gitee)

    visual studio 2015将已有项目添加到码云的步骤包括:gitee新建项目.清空项目及VS发布项目 1.gitee新建项目 2.清空项目 清空项目则会将vs项目的master分支发布到gi ...

  5. 第九章 Servlet API

    第九章 Servlet API Servlet API 定义了Servlet和服务器之间的一个标准接口,这使得Servlet具有跨应用服务器的特性,通过使用Servlet API,开发人员不必关心服务 ...

  6. HDU1061_Rightmost Digit【高速幂取余】

    Rightmost Digit Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others) ...

  7. mydumper安装及安装故障汇总

     mydumper是针对mysql数据库备份的一个轻量级第三方的开源工具,备份方式术语逻辑备份.它支持多线程.备份速度远高于原生态的mysqldump以及众多优异特性. 因此该工具是DBA们的不二选 ...

  8. ARIMA模型实例讲解——网络流量预测可以使用啊

    ARIMA模型实例讲解:时间序列预测需要多少历史数据? from:https://www.leiphone.com/news/201704/6zgOPEjmlvMpfvaB.html   雷锋网按:本 ...

  9. CxImage学习

    官方下载地址是:http://www.xdp.it/cximage/ 打开工程后可以看到下例这些工程: - CxImage - CxImageCrtDll - CxImageMfcDll - dome ...

  10. Linux安装软件的几种方式

    Linux下软件安装的方式主要有源码安装,rpm安装,yum安装,而常用的安装包主要有以下三种: tar包:例如software-1.2.3-1.tar.gz.它是使用UNIX系统的打包工具tar打包 ...