win10下Spark的环境搭建
win10下Spark的环境搭建
2018-08-19 18:36:45
一、jdk 1.8.0 安装与配置
二、scala 2.11.8 安装与配置http://www.scala-lang.org/download/2.11.8.html
上面两步见《win10下安装scala》
三、spark 2.3.0 安装与配置
1、下载spark:官网地址:http://spark.apache.org/downloads.html
2、下载完成后解压到D盘根目录下即可。D:\spark-2.3.0-bin-hadoop2.6。
3、配置Path:将D:\spark-2.3.0-bin-hadoop2.6\bin添加到Path中。
4、通过spark-shell进入到spark交互式命令行模式下
上面可以看见安装的scala版本、jdk版本、spark版本。
注意:上面出现了异常信息,是由于hadoop导致的。所以还要下载安装hadoop进行相关配置。
四、hadoop 2.6.4 安装与配置
1、下载hadoop:官方地址:http://hadoop.apache.org/releases.html
2、解压到D盘根目录下。
3、配置环境变量:HADOOP_HOME 和 Path。
4、winutils下载:https://github.com/steveloughran/winutils
下载对应版本的bin目录将hadoop文件夹中的bin目录替换掉。
5、再次spark-shell,就不会出现异常信息了。
6、访问webUI:
这样win10环境下本地的spark环境就搭建完成了!!!
下面就可以编程学习了。。。。。
https://blog.csdn.net/u011513853/article/details/52896230 ( IDEA和maven)
win10下Spark的环境搭建的更多相关文章
- 【Spark机器学习速成宝典】基础篇01Windows下spark开发环境搭建+sbt+idea(Scala版)
注意: spark用2.1.1 scala用2.11.11 材料准备 spark安装包 JDK 8 IDEA开发工具 scala 2.11.8 (注:spark2.1.0环境于scala2.11环境开 ...
- macbook 下 spark开发环境搭建(基于idea 和maven)及spark单机写运行jar
参见链接 https://blog.csdn.net/u012373815/article/details/53266301 运行jar包: 将写好的项目打成jar,上传到服务器,进入SPARK_HO ...
- 全网最新方法:Win10下如何安装和搭建appium自动化测试环境
为了方便大家,下面是本人安装和搭建appium所需要的软件,自取. 链接:https://pan.baidu.com/s/1wl5Xnos4BmnSZsBRd6B5YA#list/path=%2F ...
- windows7 spark单机环境搭建及pycharm访问spark
windows7 spark单机环境搭建 follow this link how to run apache spark on windows7 pycharm 访问本机 spark 安装py4j ...
- windows下spark开发环境配置
http://www.cnblogs.com/davidwang456/p/5032766.html windows下spark开发环境配置 --本篇随笔由同事葛同学提供. windows下spark ...
- Spark认识&环境搭建&运行第一个Spark程序
摘要:Spark作为新一代大数据计算引擎,因为内存计算的特性,具有比hadoop更快的计算速度.这里总结下对Spark的认识.虚拟机Spark安装.Spark开发环境搭建及编写第一个scala程序.运 ...
- Spark编译及spark开发环境搭建
最近需要将生产环境的spark1.3版本升级到spark1.6(尽管spark2.0已经发布一段时间了,稳定可靠起见,还是选择了spark1.6),同时需要基于spark开发一些中间件,因此需要搭建一 ...
- spark-windows(含eclipse配置)下本地开发环境搭建
spark-windows(含eclipse配置)下本地开发环境搭建 >>>>>>注意:这里忽略JDK的安装,JDK要求是1.8及以上版本,请通过 java ...
- Spark编程环境搭建及WordCount实例
基于Intellij IDEA搭建Spark开发环境搭建 基于Intellij IDEA搭建Spark开发环境搭——参考文档 ● 参考文档http://spark.apache.org/docs/la ...
随机推荐
- 如何理解<base href="<%=basePath%>"
原文链接http://316325524.blog.163.com/blog/static/6652052320111118111620897/ "base href " 今天在写 ...
- Eclipse中将web项目自动发布到Tomcat webapps下(转)
A:FileàDynamic Web Project[工程名:test] B:右键WebContent,New-->Jsp File C:右键test,Run AsàRun on Serverà ...
- Linux之常识小结[版本]
1 linux内核版本 major.minor.patchlevel 主版本号.次版本号.修补次数 次版本号的意义:偶数稳定版,奇数不稳定版 注意:查看系统版本信息 方法1.uname -a 方法2. ...
- 基于json文件实现的gearman任务自动重启
一:在gearman任务失败后,调用task_failed def task_failed(task, *args): info = '\n'.join(args) datetime = local_ ...
- B. ZgukistringZ
题目链接:http://codeforces.com/contest/551/problem/B 题目大意:给你三个字符串,s1,s2,s3. s1任意两个字符串之间可以互相交换. 问,在s1中s2 ...
- shiroWeb项目-登陆与退出实现(九)
原理 使用FormAuthenticationFilter过虑器实现 ,原理如下: 将用户没有认证时,请求loginurl进行认证,用户身份和用户密码提交数据到loginurl FormAuthent ...
- 重新学习Servlet二
重新学习Servlet public abstract class HttpServlet extends GenericServlet package com.xh.test.api; import ...
- Ubuntu16.04+CUDA8.0+cudnn6
按之前的方法给TITAN X安装cuda8.0会发生循环登录的问题,因此换了一种安装方法 参考:https://www.jianshu.com/p/002ece426793,http://blog.c ...
- ll(ls -l) 列属性
文件属性 文件数 拥有者 所属的group 文件大小 建档日期 文件名 drwx------ 2 Guest users 1024 Nov 21 21:05 Mail
- 提高CPU使用率100%
直接上脚本: #!/bin/bash while true do echo 2^2^20 | bc & >/dev/null done 查看CPU使用率用top命令即可 释放CPU: p ...