一.scala安装 1. 安装jdk 有mac专用的jdk安装包,这里下载安装jdk1.8 2. 安装scala 2.1下载scala 2.2解压到指定目录 tar -zxvf /Users/lodestar/Desktop/临时/scala-2.12.15.tar -C /Users/lodestar/software 2.3环境变量配置 vi ./bash_profile 我本机装过python和maven,这里再加入scala配置 PATH="/Library/Frameworks/Pyt…

一.前言 近几年大数据是异常的火爆,今天小编以java开发的身份来会会大数据,提高一下自己的层面! 大数据技术也是有很多: Hadoop Spark Flink 小编也只知道这些了,由于Hadoop,存在一定的缺陷(循环迭代式数据流处理:多 并行运行的数据可复用场景效率不行).所以Spark出来了,一匹黑马,8个月的时间从加入 Apache,直接成为顶级项目!! 选择Spark的主要原因是: Spark和Hadoop的根本差异是多个作业之间的数据通信问题 : Spark多个作业之间数据 通信是基…

一.JDK环境构建 在指定用户的根目录下编辑.bashrc文件,添加如下部分: # .bashrc # Source global definitions if [ -f /etc/bashrc ]; then . /etc/bashrc fi # User specific aliases and functions JAVA_HOME=/data01/java/jdk1.8.0_121 PATH=$JAVA_HOME/bin:$PATHexport PATH JAVA_HOME 运行sour…

1 Eclipse-oxygen下载地址 http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/oxygen/1a/eclipse-java-oxygen-1a-linux-gtk-x86_64.tar.gz 2 上传以RHEL7.2主机上 [hadoop@hadoop02 ~]$ pwd /hadoop [hadoop@hadoop02 ~]$ ls -lrt | grep ec…

紧接上一篇,继续安装hadoop相关环境 JDK安装:     1. 下载,下面这两个地址在网上找的,可以直接下载:         http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-x64.tar.gz         http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-x64.rpm     2. 安装,使用rz工具上传下载下来的jdk,解压至/usr/local…

Scala 介绍 Step 1: 安装 Java开发环境 Scala 版本与Java版本的兼容关系 从Oracle网站下载JDK URL: http://www.oracle.com/technetwork/java/javase/downloads/index.html Java 安装请参考 todo Step 2: 安装SBT (Simple Build Tools) 从通用安装包安装 1)下载安装包 下载 ZIP 包 或者 TGZ 包 并解压. 2) 设置环境变量 a) 如果你需要使用ht…

Linux下安装Scala和Windows下安装类似,步骤如下: 1.首先访问下载链接:http://www.scala-lang.org/download/默认这里下载的是Windows版本,这时点击上面的All downloads进入所有的版本下载页面: 进入后拉到页面下方,选择Mac OSX,Unix版本的二进制包下载即可 2.下载之后,上传至服务器,准备安装 首先建立scala存放目录: mkdir /usr/local/scala 然后释放scala并安装至指定目录: tar -xvz…

http://blog.csdn.net/whaoxysh/article/details/17755555 虚拟机安装 我安装的虚拟机版本是VMware Workstation 8.04,自己电脑上安装的有的话直接在虚拟机安装Linux操作系统,没有的话这里有我的一个百度云网盘虚拟机安装共享文件 http://pan.baidu.com/s/1c0Ie1cG 虚拟机的具体安装不再详细说明了. Linux操作系统安装调试 安装说明 本次采用的操作系统的Linux CentOS(Linux的一个版…

ubuntu环境下eclipse的安装以及hadoop插件的配置 一.eclipse的安装 在ubuntu桌面模式下,点击任务栏中的ubuntu软件中心,在搜索栏搜索eclipse 注意:安装过程需要输入用户密码. 二.eclipse的配置 待eclipse安装好以后,在命令行输入whereis eclipse 找到eclipse的安装路径 在文件目录下找到eclipse中的插件目录 然后在打开一个文件目录窗口找到hadoop/contrib/eclipse-plugin中的eclipse插件—…

(安装scala的前提是已经安装好了jdk) 1.下载scala的安装包 wget https://scala-lang.org/files/archive/scala-2.11.0-M2.tgz 2.解压缩scala压缩包 tar zxvf scala-2.11.0-M2.tgz 3.修改环境变量 vi /etc/profile   并在文件的末尾增加以下配置 export PATH="$PATH:/usr/local/share/scala/bin" 增加以上配置之后使用命令sou…