在安装Spark之前,我们需要在自己的系统当中先安装上jdk和scala 可以去相应的官网上下载: JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html scala:http://www.scala-lang.org/download/ 下载完成后可以得到这样两个压缩包  安装JDK 首先我们先来安装jdk, sudo mkdir /usr/lib/jdk 1 用这条语句来创…

Spark涉及的几个概念:RDD:Resilient Distributed Dataset(弹性分布数据集).DAG:Direct Acyclic Graph(有向无环图).SparkContext.Transformations.Actions. 1 Spark简介 1.1 什么是spark Spark:基于内存计算的大数据并行计算框架,用于构建大型的.低延迟的数据分析应用程序. Spark特点: 运行速度快:使用先进的DAG(有向无环图)执行引擎,以支持循环数据流与内存计算,基于内存的执行…

Spark源码编译与环境搭建 Note that you must have a version of Spark which does not include the Hive jars; Spark编译: git clone https://github.com/apache/spark.git spark_src cd spark_src export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512…

移步新博客... win10子系统linux.ubuntu开发环境搭建…

最近搞了一下Nexus 5的MultiRom Manger,体验了一把Ubuntu Touch和Android L,总体感觉还不错,不过Android L的NFC驱动还有问题,Ubuntu Touch优化还不足,画面有点卡,而且无法关背光.于是萌生了参与Ubuntu Touch驱动开发的念头,也算是把工作当成一种兴趣吧. Ubuntu Touch for Nexus 5是非官方的,官方的只有Nexus 4,7,10.我们从MultiRom Manager可以直接下载到for Nexus 5的最新…

Ubuntu 开发环境搭建教程 本文原始地址:https://sitoi.cn/posts/18425.html 更新 sudo apt upgrade sudo apt update 生成本机密钥 ssh-keygen -t rsa -C "shitao0418@gamil.com" 默认位置: ~/.ssh/ 安装 vim sudo apt install vim 免 sudo 密码 echo -e 'Defaults:shitao !requiretty\nshitao ALL…

Spark环境搭建 下载包 所需Spark包:我选择的是2.2.0的对应Hadoop2.7版本的,下载地址:https://archive.apache.org/dist/spark/spark-2.2.0/ Spark 集群高可用搭建 对于 Spark Standalone 集群来说, 当 Worker 调度出现问题的时候, 会自动的弹性容错, 将出错的 Task 调度到其它 Worker 执行 但是对于 Master 来说, 是会出现单点失败的, 为了避免可能出现的单点失败问题, Spark…

大数据情结 还记得上次跳槽期间,与很多猎头都有聊过,其中有一个猎头告诉我,整个IT跳槽都比较频繁,但是相对来说,做大数据的比较"懒"一些,不太愿意动.后来在一篇文中中也证实了这一观点,分析说大数据领域从业者普遍认为这是一个有前景,有潜力的方向,大多数希望有所积累,所以跳槽意愿不是很强烈. 14年的时候开始接触Hadoop,在Windows下搭了好几次环境,单机版.伪分布式和分布式都搭建过.那时候需要在Windows下装个虚拟机,在虚拟机中再装个Ubuntu,之后在Ubuntu上开始装j…

Spark摘说 Spark的环境搭建涉及三个部分,一是linux系统基础环境搭建,二是Hadoop集群安装,三是Spark集群安装.在这里,主要介绍Spark在Centos系统上的准备工作--linux系统基础环境搭建.这个主要包括: 运行环境说明:硬软件环境.集群网络环境.Linux使用工具(xshell和xftp) 样板机环境搭建:安装操作系统及创建hadoop用户.设置系统环境(机器名,IP地址,Host映射文件,关闭防火墙.SElinux).配置运行环境(更新OpenSSL--可选,修改…

linux开发不得不用虚拟机,为了节省系统资源.决定采用Ubuntu Server逐步搭建出具有图形界面的开发环境. ubuntu server 安装英文版 安装选择选generic,不要LVM选项. (我选择了LVM在需求机里面启动不起来,LVM安装说明是把影片上的小碎片空间集合成一个逻辑上的大磁盘空间的服务) 启用root用户sudo passwd root 安装x serverapt-get install xinit 安装cinnamon桌面add-apt-repository ppa:…