一.概述 1.1 为什么要学Scala? Spark是新一代的内存级大数据的计算框架,是大数据学习的重要内容.随着Spark的兴起,同时也带动了Scala的学习,因为Spark就是Scala编写的.为了更好的学习Spark,首先学习Scala就是必不可少的. 1.2 Scala和Java的关系? 一般来说,学习Scala的人都了解Java.Scala是基于Java的,它包含了Java的部分类库并进行了包装,同时也有它特有的类库. 1.3 Scala的语言特点 Scala是一门以Java虚拟机(J

.net项目架构改造之搭建基于java环境配置一览[上]   最近公司做了一个项目,需要嵌套在千牛的客户端上,项目代码必须上阿里的聚石塔,全程采用基于docker的自动化部署,我们的项目是基于.net架构.很遗憾 的是基于windows的docker上部署在访问淘宝自身的api接口,总是会时不时的各种超时,阿里小二也整个一个星期没解决,给出的理由很简单,基于windows的docker 的服务也才引入不久,还有稳定性问题. 在选择docker镜像时把自己技术的tomcat顶的高高在上,卧槽,双重

最近公司做了一个项目,需要嵌套在千牛的客户端上,项目代码必须上阿里的聚石塔,全程采用基于docker的自动化部署,我们的项目是基于.net架构.很遗憾 的是基于windows的docker上部署在访问淘宝自身的api接口,总是会时不时的各种超时,阿里小二也整个一个星期没解决,给出的理由很简单,基于windows的docker 的服务也才引入不久,还有稳定性问题. 在选择docker镜像时把自己技术的tomcat顶的高高在上,卧槽,双重1w点暴击,预计.net架构用在这上面后面会有各种坑... 改

电脑重装系统了,所以需要重新配置环境变量. 首先必备工具:jak.eclipse.maven.tomcat 首先配置Java运行环境. 在系统环境变量中新建变量JAVA_HOME:jdk所在的路径,PATH:%JAVA_HOME%\bin;,CLASSPATH:.;%JAVA_HOME%\bin;%JAVA_HOME%\bin\tools.jar; 配置完成后,在cmd命令符中打上java -version,有版本信息说明配置成功. 这时eclipse就可以启动了. 接下来配置maven,mav

一.java环境中基于jvm的两大语言:scala,groovy 可以在java项目里混编这两种语言: scala:静态语言,多范式语言,糅合了面向对象.面向过程:可以与java和net互操作:融汇了众多的语言特性,包括类似net的闭包.lambda表达式:正是语言特性较多,语言复杂度也较高~~ groovy:动态语言,既可作为面向对象语言又可做脚本语言:拥有动态语言的好处:语法简单~~ scala.groovy都是作为java的替代语言,基于jdk1.6可以使用起来像jdk1.8的高级语法特性

这篇博客 是在Scala IDEA for Eclipse里手动创建scala代码编写环境. Scala IDE for Eclipse的下载.安装和WordCount的初步使用(本地模式和集群模式) 本博文,教大家,用maven来创建. 第一步:安装scala插件 因为,我win7下的scala环境是2.10.4 所以,选择下载的是,这个 下载好之后,解压缩以后把plugins和features复制到eclipse目录,重启eclipse以后即可. 重启eclipse以后即可. 然后, Win

不多说,直接上干货! 为什么要写这篇博客? 首先,对于spark项目,强烈建议搭建,用Intellij IDEA(Ultimate版本),如果你还有另所爱好尝试Scala IDEA for Eclipse,有时间自己去玩玩.但最好追随大流. 对于hadoop项目,强烈建议用eclipse.   其次,出于有博友给我留言的索求需要,为了更高效率和高质量帮助大家,梳理写下这篇博客. 这篇博客 是在Scala IDEA for Eclipse里手动创建scala代码编写环境. Scala IDE fo

--------------------- 前言 --------------------- 项目关系,希望用Spark GraphX做数据分析及图像展示,但前提是得会spark:spark是基于scala的,scala是基于JAVA的……所以,要想用Spark GraphX,技术堆栈大体上应该是这样的:Java -> Scala -> Spark -> Spark GraphX.   JAVA都这么多年了……就不说了,我们从学习Scala开始.   ------------------

前言:基于Windows系统下的Kafka环境搭建:以及使用.NET 6环境进行开发简单的生产者与消费者的演示. 一.环境部署 Kafka是使用Java语言和Scala语言开发的,所以需要有对应的Java环境,以及Scala语言环境. Java环境配置,如果不清楚的,可以查看鄙人的另一篇博客: https://www.cnblogs.com/weskynet/p/14852471.html 1.Scala环境安装,需要先下载Scala语言包,下载地址: https://www.scala-lan

集成环境:jdk1.7 + tomcat1.7+ eclipse mars + maven + testng6.14.2 + selenium-java2.40.0 + reportng1.1.4 + Jenkins2.19 1.Java集成环境:jdk1.7 + tomcat1.7+ eclipse mars + maven 1) jdk1.7 : 第一种方式:下载jdk安装包,安装并配置环境(下载地址:http://www.oracle.com/technetwork/java/javase

[系统环境] 1.宿主机OS:Win10 64位 2.虚拟机软件:VMware WorkStation 12 3.虚拟机OS:Ubuntu16.04 4.三台虚拟机 5.JDK文件:jdk-8u201-linux-x64.tar.gz 6.操作账号:hadoop [安装操作步骤]     1.上传jdk-8u201-linux-x64.tar.gz到宿主机hadoop账号的根目录下 2.解压,拷贝到目标文件夹,目标文件夹:/usr/local/java sudo tar -zxvf jdk-8u

本文先叙述如何配置eclipse中maven+scala的开发环境,之后,叙述如何实现spark的本地运行.最后,成功运行scala编写的spark程序. 刚开始我的eclipse+maven环境是配置好的. 系统:win7 eclipse版本:Luna Release(4.4.0) maven是从EclipseMarket中安装的,如图1. 当初构建eclipse+maven环境时,仅仅安装了第一个. 这里可以先不用急着安装maven,下面在安装maven for scala时,也提供了mav

      变量 String yourPast = "Good Java Programmer"; val yourPast : String = "Good Java Programmer" val yourPast = "Good Java Programmer" var yourFuture = "Good Java Programmer" 自动类型推断:可变.不可变变量 class Money(amount:Int)

在这个信息相当繁杂的互联网时代,我们已经学会了如何利用搜索引擎这个强大的利器来找寻目标信息,比如你会在Google上搜索情人节如何讨女朋友欢心,你也会在百度上寻找正规的整容医疗机构(尽管有很大一部分广告骗子).那么如果在你自己开发的网站系统中需要能让用户搜索一些重要的信息,并且能以结构化的结果展现给用户,下面分享的这9款Java搜索引擎框架或许就可以帮助到你了. 1.Java 全文搜索引擎框架 Lucene 毫无疑问,Lucene是目前最受欢迎的Java全文搜索框架,准确地说,它是一个全文检索引

这里整理了基于java平台的常用资源 翻译 from :akullpp | awesome-java 大家一起学习,共同进步. 如果大家觉得有用,就mark一下,赞一下,或评论一下,让更多的人知道.thanks. 构建 这里搜集了用来构建应用程序的工具. Apache Maven:Maven使用声明进行构建并进行依赖管理,偏向于使用约定而不是配置进行构建.Maven优于Apache Ant.后者采用了一种过程化的方式进行配置,所以维护起来相当困难. Gradle:Gradle采用增量构建.Gra

在开发部标GPS平台中,部标808GPS服务器是系统的核心关键,决定了部标平台的稳定性和行那个.Linux服务器是首选,为了跨平台,开发语言选择Java自不待言. 我们为客户开发的部标服务器基于Mina + Spring + Hibernate + Swing桌面系统开发,整个服务器的架构特点: 1.通信层:基于Java Mina通信框架进行GPS服务器开发,可以使得整个系统架构清晰,开发者可以专注于协议解析.业务和数据处理. 2.GPS终端协议层:而为了对于扩展终端的接入能力,协议层要具有很好

这里整理了基于java平台的常用资源 翻译 from :akullpp | awesome-java 大家一起学习,共同进步. 如果大家觉得有用,就mark一下,赞一下,或评论一下,让更多的人知道.thanks. 构建 这里搜集了用来构建应用程序的工具. Apache Maven:Maven使用声明进行构建并进行依赖管理,偏向于使用约定而不是配置进行构建.Maven优于Apache Ant.后者采用了一种过程化的方式进行配置,所以维护起来相当困难. Gradle:Gradle采用增量构建.Gra

1.安装JDK及配置java环境变量 本文使用版本为jdk1.7.0_79,过程略 2.安装scala 本文使用版本为2.11.8,过程略 3.安装spark 本文使用版本为spark-2.0.1-bin-hadoop2.7,解压后路径:D:\spark-2.0.1-bin-hadoop2.7,注意:Spark的文件目录路径名,不能出现空格,类似于"Program Files"这样的文件夹名是不被允许的. 配置环境变量: SPARK_HOME=D:\spark-2.0.1-bin-ha

作者:枫雪庭 出处:http://www.cnblogs.com/FengXueTing-px/ 欢迎转载 Java学习心得之 Linux下搭建Java环境 1.前言2.JDK安装3.配置环境变量4.Eclipse安装 一.前言 本篇博文记录了Linux下Java环境的安装过程 本文内容基于以下文章: http://developer.51cto.com/art/200906/129164.htm  (手把手教你Linux下的Java安装)http://www.cnblogs.com/caosi

大数据生态圈中风头正旺的Spark项目完全是采用Scala语言开发的,不懂Scala的话,基本上就没法玩下去了.Scala与Java编译后的class均可以运行于JVM之上,就好象.NET中F#与C#的关系.下面进入正题: 1.下载scala sdk http://www.scala-lang.org/download/ 直接到这里下载sdk,目前最新的稳定版为2.11.7,下载后解压就行 (后面在intellij idea中创建.scala后缀源代码时,ide会智能感知并提示你设置scala