MacOS使用IDEA+Maven+Scala+Spark进行本地调试
安装JDK
- 从这里下载Java 8的JDK
- 设置
JAVA_HOME
环境变量,在Mac上它大概会是/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/
这个样子
我选择的是在~/.bash_profile
文件里添加一句:
export JAVA_HOME=/path/to/JDK
,路径换成自己的JDK路径
安装Maven
Mac下用Brew
安装即可:
brew install maven
Intellij IDEA
以下基本跟spark开发环境搭建(基于idea 和maven)一样,详细可以去这里看
下载和安装
这个……去官网下载即可,学生可以申请学生账号,挺方便的
配置Intellij IDEA
安装scala插件: 打开Intellij IDEA右下角的
Configure
,然后选择Plugins
,搜索scala
插件并安装,安装完之后重启IDE。设置全局JDK: 在我的IDEA版本里是选择
Structure for New Projects
,在弹出的界面依次选择Project-New-JDK
,把目录设置成跟JAVA_HOME
一样的目录设置全局
Scala SDK
: 还是刚刚Structure for New Projects
的界面,在Global Libraries
选项卡下点+
后选择Scala SDK
,然后会弹出一个界面如下:
我不像那位Po主一样有
System
选项,所以需要选择Download
去下载一个SDK。!!!!!!!!这里有一个要点!!!!!!!!
注意一下你的Spark
是什么版本的,比如我用的Spark 2.1.2
,在官网上有这么一句:
所以下载的时候选择
2.11
版本的scala即可,太高和太低都有可能出问题= =,我之前下了2.13
出现跟这里一样的错误。下载完之后
Global Libraries
里就有这个sdk啦,然后在这个sdk上右键,点击Copy to Project Libraries
新建Maven项目
点新建项目,然后选择Maven项目,在右侧Project SDK
看看是不是成功配置了我们的JDK,然后设置好GroupId
,ArtifactId
和Version
运行scala程序
可以把main\java
, main\resources
和 test
都暂时删掉,它们的作用见这篇文章
将Scala的框架添加到这个项目中,方法是在左侧栏中的项目名称上右键菜单中点击
Add Framework Support…
,然后在打开的对话框左侧边栏中,勾选Scala
前面的复选框,然后点击确定即可。
我是不用单独再导入这个框架,直接做下一步就可以了
在
main
文件夹中建立一个名为scala
的文件夹,并右键点击scala
文件夹,选择Make Directory as
,然后选择Sources Root
,这里主要意思是将 scala 文件夹标记为一个源文件的根目录,然后在其内的所有代码中的 package ,其路径就从这个根目录下开始算起。
这一步非常重要!!!!! 不做这个下一步可能凉凉
在已经标记好为源文件根目录的 scala 文件夹 上,右键选择
New
,然后选择Scala Class
,随后设置好程序的名称,并且记得将其设置为一个Object
(类似于Java中含有静态成员的静态类),正常的话,将会打开这个Object
代码界面,并且可以看到IntelliJ IDEA自动添加了一些最基本的信息;
在Object元素内 输入:def main(args: Array[String]):Unit = {
println("Hello World!")
}
然后就可以Run
它,会输出结果。
调试Spark
首先要修改pom.xml
里导入相关依赖,注意scala和spark的版本要写对。每次修改完pom.xml
之后记得Import Changes
。点击右上角的Edit Configurations
:
设置一下VM参数:
然后就可以正常Run
了,理论上应该不会报错,如果有问题可以试试在terminal
里输入mvn clean
和mvn install
安装需要的依赖。
MacOS使用IDEA+Maven+Scala+Spark进行本地调试的更多相关文章
- windows下Idea结合maven开发spark和本地调试
本人的开发环境: 1.虚拟机centos 6.5 2.jdk 1.8 3.spark2.2.0 4.scala 2.11.8 5.maven 3.5.2 在开发和搭环境时必须注意版本兼容的问题 ...
- Eclipse+maven+scala+spark环境搭建
准备条件 我用的Eclipse版本 Eclipse Java EE IDE for Web Developers. Version: Luna Release (4.4.0) 我用的是Eclipse ...
- eclipse构建maven+scala+spark工程 转载
转载地址:http://jingpin.jikexueyuan.com/article/47043.html 本文先叙述如何配置eclipse中maven+scala的开发环境,之后,叙述如何实现sp ...
- eclipse构建maven+scala+spark工程
前提条件 下载安装Scala IDE build of Eclipse SDK 构建工程 1.新建maven工程 2.配置项目信息 3.新建scala对应的Source Folder 4.添加scal ...
- Eclipse + Idea + Maven + Scala + Spark +sbt
http://jingpin.jikexueyuan.com/article/47043.html 新的scala 编译器idea使用 https://www.jetbrains.com/idea/h ...
- <Spark Streaming><本地调试>
写在前面 因为本地电脑没装flume,nginx各种.所以之前写Streaming程序的时候,都是打包了放到集群上跑.就算我在程序代码里不停地logger,调试起来也hin不方便. 于是本地写了两个程 ...
- Intellij IDEA使用Maven搭建spark开发环境(scala)
如何一步一步地在Intellij IDEA使用Maven搭建spark开发环境,并基于scala编写简单的spark中wordcount实例. 1.准备工作 首先需要在你电脑上安装jdk和scala以 ...
- spark之scala程序开发(本地运行模式):单词出现次数统计
准备工作: 将运行Scala-Eclipse的机器节点(CloudDeskTop)内存调整至4G,因为需要在该节点上跑本地(local)Spark程序,本地Spark程序会启动Worker进程耗用大量 ...
- 在IntelliJ IDEA中创建和运行java/scala/spark程序
本文将分两部分来介绍如何在IntelliJ IDEA中运行Java/Scala/Spark程序: 基本概念介绍 在IntelliJ IDEA中创建和运行java/scala/spark程序 基本概念介 ...
随机推荐
- 字符串属性转变List属性存入数据库
项目中有系统IP字段,现将string转List存入数据库,每个功能块持久层实现方法不一样(分为jpa和mp) jpa: @Convert(converter = JpaConverterListJs ...
- 【Python】数据处理分析,一些问题记录
不用造轮子是真的好用啊 python中单引号双引号的区别 和cpp不一样,cpp单引号表示字符,双引号表示字符串,'c'就直接是ascii值了 Python中单引号和双引号都可以用来表示一个字符串 单 ...
- JavaFile I/O流
Java 流(Stream).文件(File)和IO Java.io 包几乎包含了所有操作输入.输出需要的类.所有这些流类代表了输入源和输出目标. Java.io 包中的流支持很多种格式,比如:基本类 ...
- Nginx HTTP块配置
1 配置块的嵌套 http { upstream {...} split_clients {...} map {...} geo {...} server { if () {...} location ...
- GIT基本使用理解
基本区域介绍 git是一种代码管理工具,所以我们需要知道代码所在位置.分为4个区域: Workspace:工作区 Index / Stage:暂存区 Repository:本地仓库 Remote:远程 ...
- 安装Redis5.0.8教程图解
文档:安装Redis5.0.8教程图解.note 链接:http://note.youdao.com/noteshare?id=737620a0441724783c3f8ef14ab8a453& ...
- glViewport()函数和glOrtho()函数的理解
glViewport()函数和glOrtho()函数的理解 OpenGL中有两个比较重要的投影变换函数,glViewport和glOrtho. glOrtho是创建一个正交平行的视景体. 一般 ...
- GDB调试增强篇
GDB中应该知道的几个调试方法 七.八年前写过一篇<用GDB调试程序>, 于是,从那以后,很多朋友在MSN上以及给我发邮件询问我关于GDB的问题,一直到今天,还有人在问GDB的相关问题.这 ...
- CF140D New Year Contest 题解
Content 小 G 想打一场跨年比赛,比赛从下午 \(18:00\) 开始一直持续到次日清晨 \(6:00\),一共有 \(n\) 道题目.小 G 在比赛开始之前需要花费 10 分钟考虑这些题目的 ...
- java 输入输出IO流 RandomAccessFile文件的任意文件指针位置地方来读写数据
RandomAccessFile的介绍: RandomAccessFile是Java输入输出流体系中功能最丰富的文件内容访问类,它提供了众多的方法来访问文件内容,它既可以读取文件内容,也可以向文件输出 ...