spark 获取applicationID

在编写spark 程序时,有时需要获取job id 进行记录. 只需在程序中加入: sc.applicationId res0: String = app-- 每个job提交后, 均有自己的监控页面. 采用spark restful api 监控job时,如: curl 127.0.0.1:4040/api/v1/applications 时, 只能获取一个application的状态,这是因为,同时提交多个任务的的时候,默认的端口是从4040开始递增的, 即,第二个application 的…

Spark（四十四）：使用Java调用spark-submit.sh(支持 --deploy-mode client和cluster两种方式)并获取applicationId

之前也介绍过使用yarn api来submit spark任务,通过提交接口返回applicationId的用法,具体参考<Spark2.3(四十):如何使用java通过yarn api调度spark app,并根据appId监控任务,关闭任务,获取任务日志>; 但是我更喜欢使用该篇文章中介绍的使用java来调用spark-submit.sh shell提交任务,并从spark-sbumit.sh执行界面获取applicationId的方案.使用hadoop api方式需要配置好环境,以及根据…

Spark获取DataFrame中列的方式--col，$，column，apply

Spark获取DataFrame中列的方式--col,$,column,apply 1.官方说明 2.使用时涉及到的的包 3.Demo 原文作者:大葱拌豆腐原文地址:Spark获取DataFrame中列的几种姿势–col,$,column,apply 1.官方说明 df("columnName") // On a specific DataFrame. col("columnName") // A generic column no yet associated…

spark获取时间

在spark 中获取时间用到java.util.{Calendar,Date} 以及java.text.SimpleDateFormat来对时间输出格式作规范首先先导入包 import java.text.SimpleDateFormat import java.util.{Calendar, Date} 获取当前时间 def getNowTime(): String = { //实例化一个Date对象并且获取时间戳 val time = new Date().getTime //设置时间格式…

Spark获取某个手机号在某个基站下停留的时间和当前手机所在的位置的案例

1.业务需求在拥有手机号在每个基站处停留时间日志和基站信息的算出某个手机号的(所在基站,停留时间),(当前所在经度,当前所在纬度) 其中手机连接基站产生的日志信息类似如下: 18688888888,20160327082400,16030401EAFB68F1E3CDF819735E1C66,1 18611132889,20160327082500,16030401EAFB68F1E3CDF819735E1C66,1 18688888888,20160327170000,16030401…

Spark获取DataFrame中列的几种姿势--col，$，column，apply

1.doc上的解释(https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/sql/Column.html) df("columnName") // On a specific DataFrame. col("columnName") // A generic column no yet associated with a DataFrame. …

Spark on Yarn

Spark on Yarn 1. Spark on Yarn模式优点与其他计算框架共享集群资源(eg.Spark框架与MapReduce框架同时运行,如果不用Yarn进行资源分配,MapReduce分到的内存资源会很少,效率低下):资源按需分配,进而提高集群资源利用率等. 相较于Spark自带的Standalone模式,Yarn的资源分配更加细致 Application部署简化,例如Spark,Storm等多种框架的应用由客户端提交后,由Yarn负责资源的管理和调度,利用Container作为…

从0到1进行Spark history分析

一.总体思路以上是我在平时工作中分析spark程序报错以及性能问题时的一般步骤.当然,首先说明一下,以上分析步骤是基于企业级大数据平台,该平台会抹平很多开发难度,比如会有调度日志(spark-submit日志).运维平台等加持,减少了开发人员直接接触生成服务器命令行的可能,从物理角度进行了硬控制,提高了安全性. 下面我将带领大家从零到一,从取日志,到在Spark WebUI进行可视化分析相关报错.性能问题的方法. 二.步骤 (一)获取applicationID 1.从调度日志获取一般企业级大…

spark（三）从hbase取数据

前言通过spark获取hbase数据的过程中,遇到了InputFormat.文章主要围绕InputFormat介绍.会牵扯到spark,mapreduce,hbase相关内容 InputFormat InputFormat是mapreduce提供的数据源格式接口,也就是说,通过该接口可以支持读取各种各样的数据源(文件系统,数据库等),从而进行mapreduce计算. 在有这个概念的基础上分析InputFormat的源码. public abstract class InputFormat<K,…

Spark源码分析之七：Task运行（一）

在Task调度相关的两篇文章<Spark源码分析之五:Task调度(一)>与<Spark源码分析之六:Task调度(二)>中,我们大致了解了Task调度相关的主要逻辑,并且在Task调度逻辑的最后,CoarseGrainedSchedulerBackend的内部类DriverEndpoint中的makeOffers()方法的最后,我们通过调用TaskSchedulerImpl的resourceOffers()方法,得到了TaskDescription序列的序列Seq[Seq[Tas…

使用 Spark SQL 高效地读写 HBase

Apache Spark 和 Apache HBase 是两个使用比较广泛的大数据组件.很多场景需要使用 Spark 分析/查询 HBase 中的数据,而目前 Spark 内置是支持很多数据源的,其中就包括了 HBase,但是内置的读取数据源还是使用了 TableInputFormat 来读取 HBase 中的数据.这个 TableInputFormat 有一些缺点: 一个 Task 里面只能启动一个 Scan 去 HBase 中读取数据: TableInputFormat 中不支持 BulkG…

大规模数据处理Apache Spark开发

大规模数据处理Apache Spark开发 Spark是用于大规模数据处理的统一分析引擎.它提供了Scala.Java.Python和R的高级api,以及一个支持用于数据分析的通用计算图的优化引擎.它还支持一组丰富的高级工具,包括用于SQL和DataFrames的Spark SQL.用于机器学习的MLlib.用于图形处理的GraphX以及用于流处理的结构化流. https://github.com/apache/spark https://spark.apache.org/ Online Doc…

Mapreduce执行过程分析(基于Hadoop2.4)——(一)

1 概述该瞅瞅MapReduce的内部运行原理了,以前只知道个皮毛,再不搞搞,不然怎么死的都不晓得.下文会以2.4版本中的WordCount这个经典例子作为分析的切入点,一步步来看里面到底是个什么情况. 2 为什么要使用MapReduce Map/Reduce,是一种模式,适合解决并行计算的问题,比如TopN.贝叶斯分类等.注意,是并行计算,而非迭代计算,像涉及到层次聚类的问题就不太适合了. 从名字可以看出,这种模式有两个步骤,Map和Reduce.Map即数据的映射,用于把一组键值对映射成另…

Mapreduce运行过程分析(基于Hadoop2.4)——(一)

1 概述该瞅瞅MapReduce的内部执行原理了,曾经仅仅知道个皮毛,再不搞搞,不然怎么死的都不晓得.下文会以2.4版本号中的WordCount这个经典样例作为分析的切入点.一步步来看里面究竟是个什么情况. 2 为什么要使用MapReduce Map/Reduce.是一种模式,适合解决并行计算的问题,比方TopN.贝叶斯分类等. 注意.是并行计算,而非迭代计算,像涉及到层次聚类的问题就不太适合了. 从名字能够看出,这样的模式有两个步骤,Map和Reduce. Map即数据的映射,用于把一组键值…

Xamarin+Prism小试牛刀：定制跨平台Outlook邮箱应用

通过本文你将学会如下内容: 1,如何使用Xamarin开发跨平台(Windows,Android,iOS)应用. 2,如何使用微软的登录界面登入Microsoft账号. 3,如何使用Outlook邮箱API. 4,了解MVVM思想. 5,了解Prism框架. 原代码地址:https://github.com/NewBLife/MyOutlook Xamarin概述 Xamarin由开源项目Mono发展而来,是一套跨平台的移动开发工具,开发人员可以使用 C# 为iOS,Android, Mac以及…