Eclipse+maven+scala2.11.8+spark2.0.0的环境部署
主要在maven-for-scalaIDE纠结了,因为在eclipse版本是luna4.x 里面有自己带有的maven。
根据网上面无脑的下一步下一步,出现了错误,在此讲解各个插件的用途,以此新人看见了,少走一些弯路。
其实主要的问题是自己独立去下载scala插件,把scala依赖包拷贝到eclipse的plugins和features里面,然后maven也是自己下载手动修改了
Installations里面我在add加入我自己下载的maven的路径,然后修改了maven里面confg配置文件里面的settings.xml文件,加入了
还是别自己为难自己,直接用工具自身的就好。所以上面就不要用。
还有因为maven已经是整合到eclipse(eclipse luna 4. 为高版本)不要用eclipse-》help-》
以此开始分割线------------------------------------------------------------------------------开始步骤
首先在eclipse-》help-》Eclipse Marketpalce 里面搜索scala,(这是在安装scala的IDE scala运行环境),我是借鉴别的安装的@
下面是复制别人的,和他做的没有太大的出入。就是我的是spark2.0.0和scala 2.11.8 版本有点不一样而已
准备条件
我用的Eclipse版本
Eclipse Java EE IDE for Web Developers.
Version: Luna Release (4.4.0)
我用的是Eclipse for Java EE, 这个和Eclipse 是一样的
最好是用高版本的Eclipse,版本太低的话不支持Scala-IDE
1.安装Scala-IDE
在Eclipse中开发Scala程序需要有scala插件,我们现在安装scala插件
下面是安装过程截图
Scala IDE用于提供scala语言的开发环境。直接在Marketplace下载安装,安装后如下图所示
2.安装m2e-scala插件
m2e-scala用来支持scala开发中对maven的一些定制功能。通过eclipse的Install New Software安装。
安装过程
1.Help->Install New Software
2.输入m2e-scala下载的url
这一步我是跳过的,之前每次进行完这一步,我的Eclipse的maven插件反而找不到了,这个Eclipse自带的是
m2e-eclipse插件,每次一安装m2e-scala插件后就找不到maven了,索性我就没进行这一步,用Eclipse自带的 m2e-eclipse.
如下图
url为:http://alchim31.free.fr/m2e-scala/update-site/
这里可以仅勾选第三项(图中红框所示)
3.安装完成后,可在Help->Installation Details中查看
3.新建Eclipse+scala+maven工程
新建maven工程
此时的maven的Archetype需要设置为 org.scala-tools.archetypes
如果没有安装Scala-IDE的话,会找不到org.scala-tools.archetypes这个类别
然后Finish
此时创建的工程还不是scala的工程,在项目名称上点击右键
点击 Add Scala Nature后项目才转换为scala-maven项目
然后pom.xml报下图中的错误,解决办法
在 plugins 的外层加标签
解决方法:
此时又报错
意思是我有多个scala-library库的构建路径
一个是scala-IDE插件带的,一个是maven库中的
并且maven中自动设置的是scala版本是2.7.0的
解决方法:
把pox.xml中的scala-version改成和scala-IDE的版本一样
这时候还是提示有多个scala-library的构建路径,但是不报错了
我们用一个构建路径,把其余的一个去掉
这里我把pom.xml中的scala-library 注释掉,只用scala-IDE的库
最后把自带的‘App.scala中的代码删除
这样maven+scala的项目就成功搭建了。
4. Eclipse+maven+scala+spark
在pom.xml中加入spark的依赖
我的spark的版本是
这个版本的依赖
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>1.2.1</version>
</dependency>
我刚开始用的是 spark-core_2.10 ,结果报错,后来换成spark-core_2.11才合适,2.11是对应的scala版本
然后一阵狂下在spark的依赖,最后是这个样子滴
终于把scala+maven+spark的环境搭建成功了,之前被maven那一步折腾的快疯了,最后索性没使用maven-for-scalaIDE
Eclipse+maven+scala2.11.8+spark2.0.0的环境部署的更多相关文章
- 【J2EE】struts-2.3.16.3+apache-tomcat-8.0.9开发环境部署,“Hello World”的实现。
1.在官网下载Struts2的开发包 下载链接如下: http://120.203.229.30/5ff/2bc79/5ff16ae8698e1c321758a8f03a1bc0939892bc79/ ...
- 11: Django + gunicorn + Nginx 的生产环境部署
1.1 gunicorn介绍 1.Gunicorn 1. Gunicorn是使用Python实现的WSGI服务器, 直接提供了http服务, 并且在woker上提供了多种选择, gevent, e ...
- Scala2.11.8 spark2.3.1 mongodb connector 2.3.0
import java.sql.DriverManager import com.mongodb.spark._ import org.apache.spark.SparkConf import or ...
- MooseFS 3.0 集群环境部署过程
1 准备好6台虚拟机:(centos7) Master server: 192.168.242.135 Cgi server: 192.168.242.135 meta ...
- Vue.2.0.5-生产环境部署
删除警告 为了减少文件大小,Vue 精简独立版本已经删除了所有警告,但是当你使用 Webpack 或 Browserify 等工具时,你需要一些额外的配置实现这点. Webpack 使用 Webpac ...
- spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse和IntelliJ IDEA皆适用)(以spark2.2.0源码包为例)(图文详解)
不多说,直接上干货! 前言 其实啊,无论你是初学者还是具备了有一定spark编程经验,都需要对spark源码足够重视起来. 本人,肺腑之己见,想要成为大数据的大牛和顶尖专家,多结合源码和操练编程. ...
- Hadoop 3.1.2(HA)+Zookeeper3.4.13+Hbase1.4.9(HA)+Hive2.3.4+Spark2.4.0(HA)高可用集群搭建
目录 目录 1.前言 1.1.什么是 Hadoop? 1.1.1.什么是 YARN? 1.2.什么是 Zookeeper? 1.3.什么是 Hbase? 1.4.什么是 Hive 1.5.什么是 Sp ...
- Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装
Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apac ...
- Ubuntu 12.04下spark1.0.0 集群搭建(原创)
spark1.0.0新版本的于2014-05-30正式发布啦,新的spark版本带来了很多新的特性,提供了更好的API支持,spark1.0.0增加了Spark SQL组件,增强了标准库(ML.str ...
随机推荐
- Python先合并再排序
前几天遇到的美团笔试题 题目:大概要求输入两组数字,对这两组数值排序然后输出结果 思路:输入两组数,合并两组数,排序 list1 = raw_input("input some number ...
- 快速创建一个springboot项目
创建一个maven项目(springboot.mybatis-plus) 目标:可以访问ftl页面.对象(json字符串),可以进行单元测试 1.新建一个maven项目,选择模板maven-arche ...
- git用.gitignore忽略指定文件
.gitignore 配置文件用于配置不需要加入版本管理的文件,配置好该文件可以为我们的版本管理带来很大的便利,以下是个人对于配置 .gitignore 的一些心得. 1.配置语法: 以斜杠“/”开头 ...
- C/C++ 结构体 指针 函数传递
#include <stdio.h> #include <stdlib.h> struct student{ int num; ]; double dec; }; void s ...
- Vim命令
多行缩进: shift+v >或者< 撤销: :u
- Easy Tag Write(3.1)
package skyseraph.android.util; import skyseraph.easytagwrite.R; import android.app.Dialog; import a ...
- 源代码编译安装Python3.5.2
由于没有找到Python3.5的rpm安装包,因此进行源代码编译安装 1.下载Python3.5.2 [root@seastar ~]# cd /usr/local/src [root@seastar ...
- apt-get update : pulic key error
apt-get update 出现 这种错误 Reading package lists... Done W: There is no public key available for the fo ...
- 基于海明距离的加权平均值人职匹配模型(Sqlserver2014/16内存表实现)
最近给某大学网站制作一个功能,需要给全校所有的学生提供就业单位发布职位的自动匹配,学生登陆就业网,就可以查看适合自己的职位,进而可以在线投递. 全校有几万名学生,注册企业发布的职位也有上万,如何在很短 ...
- spring 属性注入
Spring的核心技术室依赖注入,下面是依赖注入之属性注入的实现过程,牛刀小试,请看效果. 1.首先添加Spring.Web引用.本例中是使用分层思想来演示的,下面是项目的结构和UserModel类的 ...