println("--------------------"+data.rdd.getNumPartitions) // 获取DF中partition的数目

     val partitions = data.rdd.glom().collect() // 获取所有data下所有的partition，返回一个partition的集合

     for(part <- partitions){

       println(part.getClass.getName + "::::::::" + part.length) // 每个partition中的数据量

     }

结果：

--------------------100

[Lorg.apache.spark.sql.Row;::::::::61516

[Lorg.apache.spark.sql.Row;::::::::61656

[Lorg.apache.spark.sql.Row;::::::::61991

[Lorg.apache.spark.sql.Row;::::::::61269

[Lorg.apache.spark.sql.Row;::::::::61654

[Lorg.apache.spark.sql.Row;::::::::61780

[Lorg.apache.spark.sql.Row;::::::::62059

[Lorg.apache.spark.sql.Row;::::::::61675

[Lorg.apache.spark.sql.Row;::::::::61339

[Lorg.apache.spark.sql.Row;::::::::61783

[Lorg.apache.spark.sql.Row;::::::::61620

[Lorg.apache.spark.sql.Row;::::::::61883

[Lorg.apache.spark.sql.Row;::::::::61631

[Lorg.apache.spark.sql.Row;::::::::61930

[Lorg.apache.spark.sql.Row;::::::::61451

[Lorg.apache.spark.sql.Row;::::::::61797

[Lorg.apache.spark.sql.Row;::::::::61367

[Lorg.apache.spark.sql.Row;::::::::61647

[Lorg.apache.spark.sql.Row;::::::::61488

[Lorg.apache.spark.sql.Row;::::::::61584

[Lorg.apache.spark.sql.Row;::::::::61733

[Lorg.apache.spark.sql.Row;::::::::61491

[Lorg.apache.spark.sql.Row;::::::::61809

[Lorg.apache.spark.sql.Row;::::::::61062

[Lorg.apache.spark.sql.Row;::::::::61658

[Lorg.apache.spark.sql.Row;::::::::61599

[Lorg.apache.spark.sql.Row;::::::::61911

[Lorg.apache.spark.sql.Row;::::::::61602

[Lorg.apache.spark.sql.Row;::::::::61348

[Lorg.apache.spark.sql.Row;::::::::61677

[Lorg.apache.spark.sql.Row;::::::::61722

[Lorg.apache.spark.sql.Row;::::::::61482

[Lorg.apache.spark.sql.Row;::::::::61714

[Lorg.apache.spark.sql.Row;::::::::61241

[Lorg.apache.spark.sql.Row;::::::::61737

[Lorg.apache.spark.sql.Row;::::::::62015

[Lorg.apache.spark.sql.Row;::::::::62062

[Lorg.apache.spark.sql.Row;::::::::61557

[Lorg.apache.spark.sql.Row;::::::::61607

[Lorg.apache.spark.sql.Row;::::::::61175

[Lorg.apache.spark.sql.Row;::::::::61653

[Lorg.apache.spark.sql.Row;::::::::61460

[Lorg.apache.spark.sql.Row;::::::::61705

[Lorg.apache.spark.sql.Row;::::::::61492

[Lorg.apache.spark.sql.Row;::::::::61340

[Lorg.apache.spark.sql.Row;::::::::61767

[Lorg.apache.spark.sql.Row;::::::::61756

[Lorg.apache.spark.sql.Row;::::::::61793

[Lorg.apache.spark.sql.Row;::::::::61417

[Lorg.apache.spark.sql.Row;::::::::61376

[Lorg.apache.spark.sql.Row;::::::::62039

[Lorg.apache.spark.sql.Row;::::::::61571

[Lorg.apache.spark.sql.Row;::::::::61849

[Lorg.apache.spark.sql.Row;::::::::61553

[Lorg.apache.spark.sql.Row;::::::::61612

[Lorg.apache.spark.sql.Row;::::::::61980

[Lorg.apache.spark.sql.Row;::::::::61714

[Lorg.apache.spark.sql.Row;::::::::62376

[Lorg.apache.spark.sql.Row;::::::::61884

[Lorg.apache.spark.sql.Row;::::::::61273

[Lorg.apache.spark.sql.Row;::::::::61669

[Lorg.apache.spark.sql.Row;::::::::61695

[Lorg.apache.spark.sql.Row;::::::::61515

[Lorg.apache.spark.sql.Row;::::::::61247

[Lorg.apache.spark.sql.Row;::::::::61909

[Lorg.apache.spark.sql.Row;::::::::61879

[Lorg.apache.spark.sql.Row;::::::::61913

[Lorg.apache.spark.sql.Row;::::::::61199

[Lorg.apache.spark.sql.Row;::::::::61678

[Lorg.apache.spark.sql.Row;::::::::61619

[Lorg.apache.spark.sql.Row;::::::::61909

[Lorg.apache.spark.sql.Row;::::::::61406

[Lorg.apache.spark.sql.Row;::::::::61775

[Lorg.apache.spark.sql.Row;::::::::61559

[Lorg.apache.spark.sql.Row;::::::::61773

[Lorg.apache.spark.sql.Row;::::::::61888

[Lorg.apache.spark.sql.Row;::::::::61634

[Lorg.apache.spark.sql.Row;::::::::61786

[Lorg.apache.spark.sql.Row;::::::::61666

[Lorg.apache.spark.sql.Row;::::::::61519

[Lorg.apache.spark.sql.Row;::::::::61563

[Lorg.apache.spark.sql.Row;::::::::61481

[Lorg.apache.spark.sql.Row;::::::::61295

[Lorg.apache.spark.sql.Row;::::::::61343

[Lorg.apache.spark.sql.Row;::::::::61750

[Lorg.apache.spark.sql.Row;::::::::61328

[Lorg.apache.spark.sql.Row;::::::::61650

[Lorg.apache.spark.sql.Row;::::::::61541

[Lorg.apache.spark.sql.Row;::::::::61397

[Lorg.apache.spark.sql.Row;::::::::61505

[Lorg.apache.spark.sql.Row;::::::::61761

[Lorg.apache.spark.sql.Row;::::::::61795

[Lorg.apache.spark.sql.Row;::::::::62291

[Lorg.apache.spark.sql.Row;::::::::61566

[Lorg.apache.spark.sql.Row;::::::::61213

[Lorg.apache.spark.sql.Row;::::::::62028

[Lorg.apache.spark.sql.Row;::::::::62634

[Lorg.apache.spark.sql.Row;::::::::61838

[Lorg.apache.spark.sql.Row;::::::::61243

[Lorg.apache.spark.sql.Row;::::::::61585

样例：

--------------------100
[Lorg.apache.spark.sql.Row;::::::::61516

[Lorg.apache.spark.sql.Row;::::::::61656

[Lorg.apache.spark.sql.Row;::::::::61991

[Lorg.apache.spark.sql.Row;::::::::61269

[Lorg.apache.spark.sql.Row;::::::::61654

[Lorg.apache.spark.sql.Row;::::::::61780

spark查看DF的partition数目及每个partition中的数据量【集群模式】的更多相关文章

  1. Spark集群模式&Spark程序提交

    Spark集群模式&Spark程序提交 1. 集群管理器 Spark当前支持三种集群管理方式 Standalone-Spark自带的一种集群管理方式,易于构建集群. Apache Mesos- ...

  2. 【待补充】Spark 集群模式 && Spark Job 部署模式

    0. 说明 Spark 集群模式 && Spark Job 部署模式 1. Spark 集群模式 [ Local ] 使用一个 JVM 模拟 Spark 集群 [ Standalone ...

  3. Spark Tachyon编译部署（含单机和集群模式安装）

    Tachyon编译部署 编译Tachyon 单机部署Tachyon 集群模式部署Tachyon 1.Tachyon编译部署 Tachyon目前的最新发布版为0.7.1,其官方网址为http://tac ...

  4. Spark Streaming揭秘 Day31 集群模式下SparkStreaming日志分析（续）

    Spark Streaming揭秘 Day31 集群模式下SparkStreaming日志分析(续) 今天延续昨天的内容,主要对为什么一个处理会分解成多个Job执行进行解析. 让我们跟踪下Job调用过 ...

  5. Spark Streaming揭秘 Day30 集群模式下SparkStreaming日志分析

    Spark Streaming揭秘 Day30 集群模式下SparkStreaming日志分析 今天通过集群运行模式观察.研究和透彻的刨析SparkStreaming的日志和web监控台. Day28 ...

  6. Spark集群模式概述

    作者:foreyou出处:http://www.foreyou.net/2015/06/22/spark-cluster-mode-overview/声明:本文采用以下协议进行授权: 署名-非商用|C ...

  7. Apache Spark 2.2.0 中文文档 - 集群模式概述 | ApacheCN

    集群模式概述 该文档给出了 Spark 如何在集群上运行.使之更容易来理解所涉及到的组件的简短概述.通过阅读 应用提交指南 来学习关于在集群上启动应用. 组件 Spark 应用在集群上作为独立的进程组 ...

  8. Spark 官方文档（2）——集群模式

    Spark版本:1.6.2 简介:本文档简短的介绍了spark如何在集群中运行,便于理解spark相关组件.可以通过阅读应用提交文档了解如何在集群中提交应用. 组件 spark应用程序通过主程序的Sp ...

  9. Spark学习笔记3（IDEA编写scala代码并打包上传集群运行）

    Spark学习笔记3 IDEA编写scala代码并打包上传集群运行 我们在IDEA上的maven项目已经搭建完成了,现在可以写一个简单的spark代码并且打成jar包 上传至集群,来检验一下我们的sp ...

随机推荐

  1. iOS逆向开发（0）：修改二进制代码与重签名 | hopper | codesigh

    小白:小程,你知道有些iOS程序是没人性的吗?老是不按我的意愿来运行! 小程:我怎么知道你的意愿就是有人性的? 本文解决一个问题:修改别人的二进制程序并运行起来. 让别人的程序按你的意愿来运行,文明一 ...

  2. 基于vue与vux做的可滑动tab组件（附源码）

    背景 前不久,刚完成了一个商品列表+购物车功能的页面,因为一级商品分类在顶部tab中显示,可滑动,间距可定制,如下图所示: 定制的tab需求如下: 1. 每个tab-item的间距是相同的,可定制 2 ...

  3. 【Javascript系列】变量作用域

    问题描述 本篇文章主要讲解javascript变量及其作用域. 1   内容区 在js中,变量大致可分为全局变量(全局作用域)和局部变量(局部作用域): 用关键字var定义变量(全局变量,可以省略va ...

  4. YTKNetwork网络封装

    本篇是答应在端午写iOS网络-四篇源码解析以及封装的最后一篇,是针对上一篇YTKNetwork源码解析后的一次封装,也是自己实际项目中所使用过的.在对YTKNetwork封装的时候,还是需要对YTKN ...

  5. 【转载】C#生成图片的缩略图

    图片处理是C#程序开发中时常会涉及到的一个业务,除了图像的上传.保存以及下载等功能外,根据上传的图片生成一个缩略图也是常见业务,在C#语言中,可以通过Image类提供的相关方法对图片进行操作,如指定宽 ...

  6. C# Redis安装 使用教程

    前言:lz自打工作以来第一次遇到电脑问题需要重装系统,全盘格式化.打击是沉痛的.特别伤.  然后需要重新在本地部署 redis.这是写这篇博客的原因.希望对大家有所帮助,安装资源和引用DLL可以引用 ...

  7. 解决命名空间“System.Web.Mvc”中不存在类型或命名空间名称“Ajax”(是否缺少程序集引用?)

    解决命名空间“System.Web.Mvc”中不存在类型或命名空间名称“Ajax”(是否缺少程序集引用?) 1.右击引用中的System.Web.MVC,点击“属性” 把"复制本地" ...

  8. mysql写注释的几种方法

    MySQL的注释风格总的来说有三种.它们分别是 1.单行注释可以用"#" select 1 as cname; #this is a comment +-------+ | cna ...

  9. [PHP] 算法-选择排序的PHP实现

    选择排序: 1.数组分成前后两个部分,前部分是排序的,后部分是无序的 2.两层循环,先假定当前循环的第一个索引为最小值,内部循环找比该索引还小的值,找到交换 for i;i<len;i++ mi ...

  10. php 函数小技巧(一)

    密码加密与验证 password_hash — 创建密码的哈希(hash) string password_hash ( string $password , integer $algo [, arr ...