学习用Eclipse+Maven来构建并打包一个简单的单词统计的例程. 本项目源码已托管于Github –>[Spark-wordcount] 第一步 在EclipseIDE中安装Scala插件在Eclipse中安装Scala插件 第二步 创建Scala Project创建Scala 项目 第三步 给Scala项目注入maven依赖将Scala 项目 转为 Maven 项目 pom.xml <project xmlns="http://maven.apache.org/POM/4.0…

准备条件 我用的Eclipse版本 Eclipse Java EE IDE for Web Developers. Version: Luna Release (4.4.0) 我用的是Eclipse for Java EE, 这个和Eclipse 是一样的 最好是用高版本的Eclipse,版本太低的话不支持Scala-IDE 1.安装Scala-IDE 在Eclipse中开发Scala程序需要有scala插件,我们现在安装scala插件 下面是安装过程截图 Scala IDE用于提供scala语…

前言 在国内编译Spark项目需要从Maven源下载很多依赖包,官方源在国内大环境下的下载速度大家都懂得,那个煎熬啊,简直是浪费生命. 如果你的下载速度很快,你现在就可以无视这篇文章了. 阿里云给国内开发者提供了一个非常的良心的服务:提供了一个国内Maven镜像,可以让我们拜托这种煎熬. 地址信息 阿里云的Maven也是基于nexus构建. 地址:http://maven.aliyun.com/ 仓库地址:http://maven.aliyun.com/nexus/content/groups/…

Spark练习之通过Spark Streaming实时计算wordcount程序 Java版本 Scala版本 pom.xml Java版本 import org.apache.spark.SparkConf; import org.apache.spark.api.java.function.FlatMapFunction; import org.apache.spark.api.java.function.Function2; import org.apache.spark.api.java…

配置Hadoop1.2.1+eclipse(Juno版)开发环境,并运行WordCount程序 一.   需求部分 在ubuntu上用Eclipse IDE进行hadoop相关的开发,需要在Eclipse上安装hadoop的开发插件.最新释放出的hadoop包含源码的包,以 hadoop-1.X为例,包含相关的eclipse插件的源码,因此可以针对自己的eclipse版本来编译一个合适hadoop的eclipse插件.下面将详细介绍插件的编译安装过程,以及在Eclipse上配置hadoop开发插…

编译打包 Spark支持Maven与SBT两种编译工具,这里使用了Maven进行编译打包: 在执行make-distribution脚本时它会检查本地是否已经存在Maven还有当前Spark所依赖的Scala版本,如果不存在它会自动帮你下载到build目录中并解压使用:Maven源最好配置成OSChina的中央库,这下载依赖包比较快: 耐心等待,我编译过多次所以没有下载依赖包,大概半个小时左右编译完成:注意:如果使用的是Java 1.8需要给JVM配置堆与非堆内存,如:export MAVEN_…

0 前提准备 0.1 安装java开发环境 0.2 安装maven工具 1 maven项目基本结构 如图所示,整个maven项目有业务文件.测试文件.POM依赖管理文件:其实还有一个资源文件resources: 代码文件和测试文件都是放在src文件中,src文件成为源文件:业务文件和测试文件处于src中同一级目录: 资源文件管理文件分为测试资源文件和业务资源文件,分别位于main目录和test目录,此处没有进行创建. 2 maven项目搭建 2.1 创建maven项目结构 安装maven规范的目…

在目录/home/hadoop/2016113012下有文件words.txt hello scala hello java hello python hello wujiadong 上传该文件到hdfs hadoop@slave01:~/2016113012$ hadoop fs -put /home/hadoop/2016113012/words.txt /student/2016113012/spark hadoop@slave01:~/2016113012$ hadoop fs -lsr…

wordcount程序 文件wordcount.txt hello wujiadong hello spark hello hadoop hello python 程序示例 package wujiadong_sparkCore import org.apache.spark.{SparkConf, SparkContext} /** * Created by Administrator on 2017/2/25. */ object LocalSpark { def main(args: Ar…

项目环境:idea16+jdk1.7+maven-3.3.9 项目说明:编写简单的java类,使用maven命令生成jar包,然后执行------->"java  -classpath  jar所在路径  main类名称" 注意:使用idea16工具的maven命令生成的jar包可能不包含第三方依赖 1.编写pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> 4.0.0spark-j…

pom.xml 点击查看代码 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> &l…

项目右键-> Maven ->  Update Maven Project 选中 :Force update 复选框…

http://blog.chinaunix.net/uid-26959955-id-3248053.html http://blog.csdn.net/wilsonke/article/details/44929825 http://www._zuidaima.com/blog/1618180875144192.htm…

转载地址:http://jingpin.jikexueyuan.com/article/47043.html 本文先叙述如何配置eclipse中maven+scala的开发环境,之后,叙述如何实现spark的本地运行.最后,成功运行scala编写的spark程序. 刚开始我的eclipse+maven环境是配置好的. 系统:win7 eclipse版本:Luna Release(4.4.0) maven是从EclipseMarket中安装的,如图1. 当初构建eclipse+maven环境时,仅…

主要在maven-for-scalaIDE纠结了,因为在eclipse版本是luna4.x 里面有自己带有的maven. 根据网上面无脑的下一步下一步,出现了错误,在此讲解各个插件的用途,以此新人看见了,少走一些弯路. 其实主要的问题是自己独立去下载scala插件,把scala依赖包拷贝到eclipse的plugins和features里面,然后maven也是自己下载手动修改了 Installations里面我在add加入我自己下载的maven的路径,然后修改了maven里面confg配置文件里…

大数据生态圈中风头正旺的Spark项目完全是采用Scala语言开发的,不懂Scala的话,基本上就没法玩下去了.Scala与Java编译后的class均可以运行于JVM之上,就好象.NET中F#与C#的关系.下面进入正题: 1.下载scala sdk http://www.scala-lang.org/download/ 直接到这里下载sdk,目前最新的稳定版为2.11.7,下载后解压就行 (后面在intellij idea中创建.scala后缀源代码时,ide会智能感知并提示你设置scala…

http://www.tuicool.com/articles/NBzAzy 江湖传闻,scala开发的最佳利器乃 JetBrains 的神作 IntelliJ IDEA ,外加构建工具sbt 是也. 但因历史原因,项目组成员对 Eclipse + Maven 组合更为熟悉,为了快速实现项目原型,不增加不确定因素带来的风险,搭建一套 Eclipse + Maven + Scala-IDE 的开发环境. 基本原则是,必须完全满足但不限于以下几点内容: 方便重构,方便调试,支持热部署. 可直接使用已…

我写的是maven项目,pom文件为: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"…

这几天是被java的环境搞疯了,我先是搭了一个spring+springmvc+mybatis的工程,在家里跑了一下,没有问题,把工程带到公司里用,却一直不能使用. 按常理来说,只要工程发生一点变化,tomcat都会自动重启,自动重新reload.但是我发现我在公司无论怎么改,tomcat没有一点变化,都是之前的工程状态. 原因是因为之前,我把Build Automaticlly给去掉了.导致了eclipse不能及时的把编译文件build到指定目录中去. 勾上了就能同步上去了. 后来,我想了一下…

场景:在导入Maven项目时候遇到如下错误. 1 问题描述及解决 Eclipse Maven 开发一个 jee 项目时,编译时遇到以下错误:Description Resource Path Location TypeDynamic Web Module 3.1 requires Java 1.7 or newer. bdp line 1 Maven Java EE Configuration Problem Description Resource Path Location TypeOne…

下载hudson ,安装部署http://hudson-ci.org/ 将下载的hudson-3.3.3.war放到tomcat的webapps目录下并启动tomcat,输入地址访问 点击Install安装Hudson核心插件 安装过程比较慢 完成后点击Finish 配置安全管理 点击 "系统管理"-->"Configure Security" 如下 点击注册填写如下信息注册一个系统管理员账户 添加插件 点击 "系统管理"-->&qu…

参考:spark开发环境搭建(基于idea 和maven) 安装JDK 从这里下载Java 8的JDK 设置JAVA_HOME环境变量,在Mac上它大概会是/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/这个样子 我选择的是在~/.bash_profile文件里添加一句: export JAVA_HOME=/path/to/JDK,路径换成自己的JDK路径 安装Maven Mac下用Brew安装即可: brew i…

一个maven web project工程目录: 资源管理器中的目录层级如下: 导出为war包之后的目录层级为: 我们会发现,其实并没有如下的这些目录层级: 所以这两个目录层级只是IDE为我们添加的,便于编程而添加的.Java Resource 目录是Source Folder,该目录下的资源都会被打包到:WEB-INF/classes 文件夹下.注意:你会发现在Java Resource下的文件夹下创建的jsp,html等网页文件都会被自动放置到src/main/webapp文件夹下,因为在这…

在 Eclipse 中创建 Maven web 项目的时候使用 maven-artchetype-webapp 骨架,但是这个 catalog 比较老,用的 servlet 还是 2.3 在 Project Facets 里面修改 Dynamic web module 为 3.0 的时候会报错 如下 解决办法: 第一步 在 navigator 视图中修改 .settings/org.eclipse.wst.common.project.facet.core.xml 文件 设置 Dynamic W…

一.错误Dynamic Web Module 3.0 requires Java 1.6 or newer 解决办法,在pom.xml文件中增加JAVA版本的属性配置,如下 <!-- add by wxj --> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version&…

  eclipse maven Cannot change version of project facet Dynamic web module to 3.0 (eclipse 修改maven项目的Dynamic web moudule) CreationTime--2018年6月8日08点22分 Author:Marydon 1.前言 百度出来一大堆,要么方法过于麻烦,改了很多不必要的修改:要么就解决不了你的问题,特写此文!!! 2.情景再现 通过maven创建的javaWeb项目无法修改的…

Eclipse Maven 开发一个 jee 项目时,编译时遇到以下错误:Description Resource Path Location TypeDynamic Web Module 3.0 requires Java 1.6 or newer. bdp line 1 Maven Java EE Configuration Problem Description Resource Path Location TypeOne or more constraints have not been…

步骤:1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven (下载Windows版本,在Windows里安装使用.) 1.安装配置JDK ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html ②运行安装包,第一次选择JDK安装路径,第二次选择JRE安装路径…

If you want to use version 3.1 you need to use the following schema: http://xmlns.jcp.org/xml/ns/javaee/web-app_3_1.xsd Note that 3.0 and 3.1 are different: in 3.1 there's no Sun mentioned, so simply changing 3_0.xsd to 3_1.xsd won't work <? xml vers…

在某些情况下,maven无法下载依赖的jar,或者依赖的m2会非常的大,上G那是随随便便的事.为了方便修改和编译,在打出的war包基础上,或者直接把tomcat的webapps下的项目拿出来,就可以用WEB-INF/lib下面的jar包,这样就可以直接引用了.但是,这些jar包如何与maven工程结合,使用mvn clean compile package等命令时,如何能正确的运行,下面解释一下. 一.在maven工程中引用 打开任一项目的Java Build Path对话框,在Librarie…