Mac配置Scala和Spark最详细过程 原文链接: http://www.cnblogs.com/blog5277/p/8567337.html 原文作者: 博客园--曲高终和寡 一,准备工作 1.下载Scala http://www.scala-lang.org/download/ 拖到最下面,下载for mac的版本 2.下载Spark http://spark.apache.org/downloads.html 记得选版本啊,如果你是按照我之前的 Mac配置Hadoop最详细过程 配置…

1.创建scala maven项目 选择骨架的时候为org.scala-tools.archetypes:scala-aechetype-simple 1.2 2.导入包,进入spark官网Documentation选择第二个-选择自己的spark版本-选择programming guides-选择第二个-查看spark版本对应的依赖的版本 将pom中的内容为: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xs…

1 下载idea  路径https://www.jetbrains.com/idea/download/#section=windows 2安装spark  spark-2.1.0-bin-hadoop2.7 3安装scala  scala-2.11.8 注意spark和scala版本问题 4 添加spark jar到idea 5 添加scala到idea 6 将spark中的log4j.properties拷贝到scala项目中的src下面 log4j.rootCategory=ERROR,…

1. 新建maven project 2. Group id : org.scala-tools.archetypes Artifact id : scala-archetype-simple Version : 1.2 3. 修改pom.xml文件(添加Hadoop client 及spark core 依赖) http://mvnrepository.com/ Hadoop client. 查找对应的Hadoop版本的文件 同理, spark client copy以上文件到pom.xml中…

# 写在前面: 准备开始学spark,于是准备在IDE配一个spark的开发环境. 嫌这篇格式不好的看这里链接 用markdown写的,懒得调格式了,么么哒 # 相关配置: ## 关于系统 * mac os10.12 * intellj IDEA ## 关于我 * scala&函数式编程零基础 * 会hadoop, java, maven # 失败的经验1 * 脑子一热,用sbt替换了maven.但事实是 1. 国内的sbt自动下载慢哭(用maven配国内镜像简直快到飞起,感谢阿里爸爸 2. s…

注:笔记旨在记录,配置方式每个人多少有点不同,但大同小异,以下是个人爱好的配置方式. 目录 一.配置jdk 二.配置ssh 三.配置hadoop 四.配置scala 五.配置spark 平台:win10下的ubuntu虚拟机内 所用到的文件: hadoop-2.7.3.tar jdk-11.0.7_linux-x64_bin.tar.gz scala-2.11.12.zip spark-2.4.5-bin-hadoop2.7_Working_Config.zip 下载请点这里 :s81k 预先步…

使用scala开发spark入门总结 一.spark简单介绍 关于spark的介绍网上有很多,可以自行百度和google,这里只做简单介绍.推荐简单介绍连接:http://blog.jobbole.com/89446/ 1.    spark是什么? Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架.一般配合hadoop使用,可以增强hadoop的计算性能. 2.    Spark的优点有哪些? Sp…

在MacOs上配置hadoop和spark环境 Setting up Hadoop with Spark on MacOs Instructions 准备环境 如果没有brew,先google怎样安装brew 先uninstall老版本的Hadoop brew cleanup hadoop 然后更新homebrew formulae brew update brew upgrade brew cleanup 检查版本信息 brew info hadoop brew info apache-spa…

1.安装IntelliJ IDEA IDEA 全称 IntelliJ IDEA,是java语言开发的集成环境,IntelliJ在业界被公认为最好的java开发工具之一,尤其在智能代码助手.代码自动提示.重构.J2EE支持.Ant.JUnit.CVS整合.代码审查.创新的GUI设计等方面的功能可以说是超常的.IDEA是JetBrains公司的产品,这家公司总部位于捷克共和国的首都布拉格,开发人员以严谨著称的东欧程序员为主. IDEA每个版本提供Community和Ultimate两个版本,如下图所…

使用Scala编写Spark程序求基站下移动用户停留时长TopN 1. 需求:根据手机基站日志计算停留时长的TopN 我们的手机之所以能够实现移动通信,是因为在全国各地有许许多多的基站,只要手机一开机,就会和附近的基站尝试建立连接,而每一次建立连接和断开连接都会被记录到移动运营商的基站服务器的日志中. 虽然我们不知道手机用户所在的具体位置,但是根据基站的位置就可以大致判断手机用户的所处的地理范围,然后商家就可以根据用户的位置信息来做一些推荐广告. 为了便于理解,我们简单模拟了基站上的一些移动用户…