http://jingpin.jikexueyuan.com/article/47043.html 新的scala 编译器idea使用 https://www.jetbrains.com/idea/help/creating-and-running-your-scala-application.html 遇到问题,解决:spark 1.5.2只与scala 2.10.*系列兼容 建立SBT project,scala code一定写在src/main/scala下面,如果没写main,就exte…

转载地址:http://jingpin.jikexueyuan.com/article/47043.html 本文先叙述如何配置eclipse中maven+scala的开发环境,之后,叙述如何实现spark的本地运行.最后,成功运行scala编写的spark程序. 刚开始我的eclipse+maven环境是配置好的. 系统:win7 eclipse版本:Luna Release(4.4.0) maven是从EclipseMarket中安装的,如图1. 当初构建eclipse+maven环境时,仅…

前提条件 下载安装Scala IDE build of Eclipse SDK 构建工程 1.新建maven工程 2.配置项目信息 3.新建scala对应的Source Folder 4.添加scala对应Archetype 5.配置pom.xml添加依赖包 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <v…

准备条件 我用的Eclipse版本 Eclipse Java EE IDE for Web Developers. Version: Luna Release (4.4.0) 我用的是Eclipse for Java EE, 这个和Eclipse 是一样的 最好是用高版本的Eclipse,版本太低的话不支持Scala-IDE 1.安装Scala-IDE 在Eclipse中开发Scala程序需要有scala插件,我们现在安装scala插件 下面是安装过程截图 Scala IDE用于提供scala语…

说明,由于spark是用scala写的.因此,不管是在看源码还是在写spark有关的代码的时候,都最好是用scala.那么作为一个程序员首先是必须要把手中的宝剑给磨砺了.那就是创建好编写scala的代码环境.在这里由于我个人之前比较熟悉eclipse(虽然觉得他有点掉档次,踏实工具嘛,当然最好是选择自己最熟悉的辣).好了,那么我想实现的就是在eclipse中创建maven工程来管理spark的scala的代码.在这个过程中,遇到了几个问题: 1.如何在eclipse中安装scala的插件 安装s…

参考:spark开发环境搭建(基于idea 和maven) 安装JDK 从这里下载Java 8的JDK 设置JAVA_HOME环境变量,在Mac上它大概会是/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/这个样子 我选择的是在~/.bash_profile文件里添加一句: export JAVA_HOME=/path/to/JDK,路径换成自己的JDK路径 安装Maven Mac下用Brew安装即可: brew i…

学习用Eclipse+Maven来构建并打包一个简单的单词统计的例程. 本项目源码已托管于Github –>[Spark-wordcount] 第一步 在EclipseIDE中安装Scala插件在Eclipse中安装Scala插件 第二步 创建Scala Project创建Scala 项目 第三步 给Scala项目注入maven依赖将Scala 项目 转为 Maven 项目 pom.xml <project xmlns="http://maven.apache.org/POM/4.0…

最近重新搭建了一下maven+Scala的环境,发现很多东西都不记得了,于是重新记录一遍. 嫌搭建麻烦的话也可以直接下载Scala官方做好的环境http://scala-ide.org/download/sdk.html   里面包含了很多常用的插件,但是并没有用到maven而是sbt,但是在国内由于一些原因sbt速度非常慢,没有FQ的话还是用maven好了.如果用这个IDE的话,可以直接从3开始 1.第一步当然是下载eclipse了,我在luna以上的版本使用过,以下的就不知道了   之后就是…

http://blog.csdn.net/xiefu5hh/article/details/51707529 Spark+ECLIPSE+JAVA+MAVEN windows开发环境搭建及入门实例[附详细代码] 标签: SparkECLIPSEJAVAMAVENwindows 2016-06-18 22:35 405人阅读 评论(0) 收藏 举报  分类: spark(5)  版权声明:本文为博主原创文章,未经博主允许不得转载.   目录(?)[+]     前言 本文旨在记录初学Spark时,…

如何一步一步地在Intellij IDEA使用Maven搭建spark开发环境,并基于scala编写简单的spark中wordcount实例. 1.准备工作 首先需要在你电脑上安装jdk和scala以及开发工具Intellij IDEA,本文中使用的是win7系统,环境配置如下: jdk1.7.0_15 scala2.10.4 scala官网下载地址:http://www.scala-lang.org/download/ 如果是windows请下载msi安装包. 这两个可以在官网上下载jdk和s…