以下内容部分来自于https://zhuanlan.zhihu.com/p/23141509,我尝试了一遍,然后添加了一些图片.. 其实我觉得在IDEA中使用scala插件然后创建project的时候直接用sbt就好了,但是由于某些网络的原因一直失败,然后就很麻烦,所以我干脆就用maven吧 我现在只试了一个小小的示例,因为我不想在虚拟机里安装IDEA所以我是在windows下装的IDEA,从这里我们就能推测其实IDEA只是一个写代码的地方,运行还是需要spark来运行的.所以我就是build好

转载地址:http://jingpin.jikexueyuan.com/article/47043.html 本文先叙述如何配置eclipse中maven+scala的开发环境,之后,叙述如何实现spark的本地运行.最后,成功运行scala编写的spark程序. 刚开始我的eclipse+maven环境是配置好的. 系统:win7 eclipse版本:Luna Release(4.4.0) maven是从EclipseMarket中安装的,如图1. 当初构建eclipse+maven环境时,仅

准备条件 我用的Eclipse版本 Eclipse Java EE IDE for Web Developers. Version: Luna Release (4.4.0) 我用的是Eclipse for Java EE, 这个和Eclipse 是一样的 最好是用高版本的Eclipse,版本太低的话不支持Scala-IDE 1.安装Scala-IDE 在Eclipse中开发Scala程序需要有scala插件,我们现在安装scala插件 下面是安装过程截图 Scala IDE用于提供scala语

解惑:在Ubuntu18.04.2的idea上运行Scala支持的spark程序遇到的问题 一.前言 最近在做一点小的实验,用到了Scala,spark这些东西,于是在Linux平台上来完成,结果一个最简单的入门程序搞了一两天,出了汗颜之外,对于这些工具的难用性也有了深刻的认知,难怪Hadoop的几个公司会渐渐走向衰落. 二.解惑 如果大家看过我之前的博客就知道,我是用过Hadoop,spark的,当时就遇到了非常多的麻烦,这些产品迭代的比较快,每个版本对于之前的兼容性可以说是微乎其微,因此版本

CAS (13) -- CAS 使用Maven Profile支持多环境编译 摘要 CAS 使用Maven Profile支持多环境编译 版本 tomcat版本: tomcat-8.0.29 jdk版本: jdk1.8.0_65 cas版本: 4.1.3 cas4.1.3 (4.x还在开发过程中不是很稳定,迭代比较快,也会有些bug) cas-client-3.4.1 maven版本: 3.3.9 主要内容 准备 以项目github上CAS项目为例进行扩充 参考文章 CAS (1) -- Mac

http://docs.scala-lang.org/tutorials/scala-with-maven.html https://github.com/davidB/scala-archetype-simple mvn archetype:generate net.alchim31.maven:scala-archetype-simple mvn package -Dmaven.test.skip=true mvn dependency:copy-dependencies mvn scala

前提条件 下载安装Scala IDE build of Eclipse SDK 构建工程 1.新建maven工程 2.配置项目信息 3.新建scala对应的Source Folder 4.添加scala对应Archetype 5.配置pom.xml添加依赖包 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <v

1.配置 orcale jdbc 对于一个Maven项目,使用Mysql时,可直接添加如下依赖: <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.11</version> </dependency> 但是对于Orcale来说,由于Orcale对Maven的授权问题,j

学习用Eclipse+Maven来构建并打包一个简单的单词统计的例程. 本项目源码已托管于Github –>[Spark-wordcount] 第一步 在EclipseIDE中安装Scala插件在Eclipse中安装Scala插件 第二步 创建Scala Project创建Scala 项目 第三步 给Scala项目注入maven依赖将Scala 项目 转为 Maven 项目 pom.xml <project xmlns="http://maven.apache.org/POM/4.0

使用SGD算法逻辑回归的垃圾邮件分类器 package com.oreilly.learningsparkexamples.scala import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.mllib.classification.LogisticRegressionWithSGD import org.apache.spark.mllib.feature.HashingTF import org.ap

组建信息 组件 版本 下载地址 maven 3.6.1 https://maven.apache.org/ jdk jdk1.8.0 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html Scala 2.11.7 https://www.scala-lang.org/download/all.html IDEA 最新版本 http://www.jetbrains.com/idea/

参考:spark开发环境搭建(基于idea 和maven) 安装JDK 从这里下载Java 8的JDK 设置JAVA_HOME环境变量,在Mac上它大概会是/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/这个样子 我选择的是在~/.bash_profile文件里添加一句: export JAVA_HOME=/path/to/JDK,路径换成自己的JDK路径 安装Maven Mac下用Brew安装即可: brew i

pom.xml 点击查看代码 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> &l

 1.在<profiles>元素内增加如下内容   <profile>     <id>jdk17</id>     <activation>     <activeByDefault>true</activeByDefault>     <jdk>1.7</jdk>     </activation>     <properties>     <maven.compi

http://jingpin.jikexueyuan.com/article/47043.html 新的scala 编译器idea使用 https://www.jetbrains.com/idea/help/creating-and-running-your-scala-application.html 遇到问题,解决:spark 1.5.2只与scala 2.10.*系列兼容 建立SBT project,scala code一定写在src/main/scala下面,如果没写main,就exte

<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 htt

默认情况maven不支持scala 所以需要安装maven-scala插件 更新地址:http://alchim31.free.fr/m2e-scala/update-site/ (m2eclipse-scala http://scala-ide.org/docs/tutorials/m2eclipse/) 不过,学习scala,建议使用sbt构建工具. 因为maven更适合构建Java程序,而scala本身就是用sbt来构建的. 而且使用sbt还可以很方便地在一个项目中同时开发java和sca

eclipse安装scala插件和m2e-scala并不是支持的很好,因此使用maven创建scala工程的时候,IDEA可谓是最好的开发利器. 1. 创建工程之前的准备 2. IDEA界面创建Scala的Maven项目 创建工程之前的准备 IntelliJ IDEA Scala plugin for IDEA Maven IDEA界面创建Scala的Maven项目 1. 创建Maven工程,勾选右侧的Create from archetype选项,然后选中下方的scala-archetype-

本文先叙述如何配置eclipse中maven+scala的开发环境,之后,叙述如何实现spark的本地运行.最后,成功运行scala编写的spark程序. 刚开始我的eclipse+maven环境是配置好的. 系统:win7 eclipse版本:Luna Release(4.4.0) maven是从EclipseMarket中安装的,如图1. 当初构建eclipse+maven环境时,仅仅安装了第一个. 这里可以先不用急着安装maven,下面在安装maven for scala时,也提供了mav

1. 创建Maven工程,勾选右侧的Create from archetype选项,然后选中下方的scala-archetype-simple选项,如图所示:2. 填写相应的GroupId.ArtifactId内容,一般情况下GroupId是实际的项目名称,ArtifactId对应实际项目的一个模块,对应maven项目3. 配置Maven相关的环境,如图所示:4. 为项目取一个名字,然后完成项目创建5. 右键Project,点击Add FrameWork Support,在打开的栏框中添加Sca

下载Java 8并确保你的Eclipse版本是Kepler SR2. 选择菜单:"Help > Eclipse Marketplace-". 在搜索框中输入"Java 8 Kepler". 安装Java 8 support for Eclipse Kepler SR2插件. 安装其他可选插件: Java EE扩展支持:Java 8 Facet for Web Tools for Eclipse Kepler SR2 Maven扩展支持:Java 8 suppo