spark.yarn.archive需要手动将spark应用依赖jar上传到hdfs,该属性可以避免每一次运行spark应用时都重复打zip包上传到hdfs. 官网http://spark.apache.org/docs/latest/running-on-yarn.html#spark-properties中的描述:要使YARN端可以访问Spark运行时jar,可以指定spark.yarn.archive或spark.yarn.jars.如果既未指定也spark.yarn.archive未sp…

将Java的class文件生成为可执行的Java应用程序.Java应用程序有三种:完全在本机执行的Jar(例如本机的GUI可执行程序):完全在服务器端远程执行的(例如浏览器来进行存取):介于两者之间的组合(例如客户端在本地,与远程服务器交互)   将class文件生成JAR   指定编译时class类文件的存储目录 打JAR(JavaArchiveFile)包仅需要编译后的class类文件,不需要源代码.java文件.可以通过-d指定编译结果输出的class存放目录 例如:java -d ../…

import org.apache.spark.sql.SparkSession import org.apache.spark.sql.Dataset import org.apache.spark.sql.Row import org.apache.spark.sql.DataFrame import org.apache.spark.sql.DataFrameReader import org.apache.spark.rdd.RDD object SparkStop { def main…

应用场景:实时仪表盘(即大屏),每个集团下有多个mall,每个mall下包含多家shop,需实时计算集团下各mall及其shop的实时销售分析(区域.业态.店铺TOP.总销售额等指标)并提供可视化展现,之前时候一直在Strom实现,现在改为Spark2.3.2实现. 1.数据源:首先数据源来自于MQ.Socket.Flume和DFS等,一般Kafka.RocketMQ等居多,此处示例代码用的是RocketMQ: 2.实时计算框架:Storm(实时计算,Spout发射Tuple到各个Bolt,来一…

跑一下这个结果 参考代码 package com.spark.test import org.apache.spark.sql.SparkSession import org.apache.spark.{SparkConf, SparkContext} object Test { def main(args: Array[String]): Unit = { val spark= SparkSession .builder .master("local[2]") .appName(&q…

我们选择在线安装 这个是windows下的scala,直接双击安装就可以了 安装好之后可以验证一下 这个是我本地的jdk1.8安装包,直接双击安装 安装完成后可以验证一下 https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/ 解压 我的本地是win10系统 配置好环境变量我们可以验证一下 修改这个文件 这个是默认的 改成这样子 把本地的maven配置进来 接下来就是等待自动把相应的架包下载下来 把scala添加进来了 接下来我…

[hxsyl@CentOSMaster spark-2.0.2-bin-hadoop2.6]# ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.0.2.jar 注意在hxsyl下,在root下运行提示hdfs上的historyserverforSpark没有权限,擦,好奇怪啊,另外运行后在hdfs上查看结果spark的用户…

ch03 [Thu Aug 18 2016 11:22:26 GMT+0800] 对象变量与对象之间是指代关系,对象变量并不能完全说明有无对象可用.这种指代关系是通过赋值运算建立起来的.对象变量保存的值是对象的指代关系,即就是对象在内存中的内存首地址.对象变量之间的赋值事实上只是赋值了指代关系(String 类型除外)!(因为对象变量只保存对象的内存空间地址,并不保存整个对象的内存空间).Java中的对象的本质之一就是是指针(一块内存的首地址). null表示某一数组变量或类的对象变量指向一个不…

首先讲讲EhCache.在默认情况下,即在用户未提供自身配置文件ehcache.xml或ehcache-failsafe.xml时,EhCache会依据其自身Jar存档包含的ehcache-failsafe.xml文件所定制的策略来管理缓存.如果用户在classpath下提供了ehcache.xml或ehcache-failsafe.xml文件,那么EhCache将会应用这个文件.如果两个文件同时提供,那么EhCache会使用ehcache.xml文件的配置.EhCache内容如下: <ehca…

说在前面的话   重新试多几次.编译过程中会出现下载某个包的时间太久,这是由于连接网站的过程中会出现假死,按ctrl+c,重新运行编译命令. 如果出现缺少了某个文件的情况,则要先清理maven(使用命令 mvn clean) 再重新编译.  Spark源码编译的3大方式 1.Maven编译 2.SBT编译  (暂时没) 3.打包编译make-distribution.sh 前言 Spark可以通过SBT和Maven两种方式进行编译,再通过make-distribution.sh脚本生成部署包.…