基本概念 RDD spark最大的亮点是提出RDD(Resilient Distributed Dataset)的概念,也就是可伸缩的分布式数据集合,本身只读,可恢复.spark本身不做物理储存,通过保存足够的信息去实际的储存中计算出RDD RDD只要通过四种途径获取: 1.从共享的文件系统,比如HDFS 2.在驱动程序里的并行scala集合(例如数组),会发到多个节点上 3.从已存在的RDD转换 4.通过改变现有的RDD持久性.rdd是一个懒散,短暂的. 改变一个RDD的持久化通过两个动作:…

一.概述 1.轻:(1)采用语言简洁的scala编写:(2)利用了hadoop和mesos的基础设施   2.快:spark的内存计算.数据本地性和传输优化.调度优化,使其在迭代机器学习,ad-hoc query.图计算等方面是hadoop的MapReduce.hive和Pregel无法比拟的   3.灵: (1)实现层:完美演绎了Scala trait动态混入策略(如可更换的集群调度器.序列化库): (2)原语层:允许款站新的数据算子(operator).新的数据源.新的language bi…

import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.{Row, SparkSession} import org.apache.spark.sql.hive._ /** * Created by soyo on 17-10-12. */ case class Persons(name:String,age:Int) case class Record(key: Int, value: Stri…

本文介绍基本的 SQL 语句,包括查询.过滤.排序.分组.联结.视图.插入数据.创建操纵表等.入门系列,不足颇多,望诸君指点. 注意本文某些例子只能在特定的DBMS中实现(有的已标明,有的未标明),不同的DBMS有不同的语法和函数,具体请查阅相应的文档. 参考书籍: Ben Forta.<SQL必知必会>.第4版 王姗 萨师煊.<数据库系统概论>.第5版 (不会做目录链接,蓝瘦,香菇--好像也太长了,以后改写连载--) 搭建数据库 供应商表   Vendors(vend_id, v…

2019t1_sumdoc_list.txtaa.docxacc baidu v2 sbb.docxAcc jindon v2 sbb.docxassetsList.htmlAtiitt 日本刑法典读后笔记.docxAtiti 遇到说花心的时候赞美应对.docxAtitit lesson.docxAtitit malye主义.mzd思想和dsp理论的区别和联系.docxAtitit 工作手册 成本费用控制办法.docxAtitit 设计模式之道 艾提拉著 sbb.docxAtitit 2018年…

腾讯 angel 3.0:高效处理模型 紧跟华为宣布新的 AI 框架开源的消息,腾讯又带来了全新的全栈机器学习平台 angel3.0.新版本功能特性覆盖了机器学习的各个阶段,包括:特征工程.模型训练.超参数调节和模型服务.自 2017 年 angel1.0 在 Github 上开源以来,angel 共获得星标数超过 4200.fork 数超 1000.腾讯发布了相关文章介绍了 angel3.0 更新细节等内容. Angel 概述 Angel 是基于参数服务器架构的分布式计算平台,专注于稀疏数据高…

本课主题 Static MemoryManager 的源码鉴赏 Unified MemoryManager 的源码鉴赏 引言 从源码的角度了解 Spark 内存管理是怎么设计的,从而知道应该配置那个参数让程序运行更适合你的实际需要,我们为什么要把 Spark Memory 这块内存调大,原因很简单,理论上讲你调得愈来,你占用的空间愈大,程序运行时所产生的 IO 就会愈来愈少,理论可以参考第四章 : Spark 中 JVM 内存使用及配置内幕详情.这一章是对于理论的源码补充!希望这篇文章能为读者带…

1. Spark执行流程 知识补充:RDD的依赖关系 RDD的依赖关系分为两类:窄依赖(Narrow Dependency)和宽依赖(Shuffle Dependency) (1)窄依赖 窄依赖指的是父RDD中的一个分区最多只会被子RDD中的一个分区使用,意味着父RDD的一个分区内的数据是不能被分割的,子RDD的任务可以跟父RDD在同一个Executor一起执行,不需要经过Shuffle阶段去重组数据 窄依赖关系划分为两种:一对一依赖(OneToOneDependency)和范围依赖(Range…

1. 学科最受欢迎老师解法补充 day21中该案例的解法四还有一个问题,就是当各个老师受欢迎度是一样的时候,其排序规则就处理不了,以下是对其优化的解法 实现方式五 FavoriteTeacher5 package com._51doit.spark04 import org.apache.spark.{Partitioner, SparkConf, SparkContext} import org.apache.spark.rdd.RDD import scala.collection.muta…

[Spark & Hadoop 的分区] Spark 的分区是切片的个数,每个 RDD 都有自己的分区数. Hadoop 的分区指的是 Reduce 的个数,是 Map 过程中对 Key 进行分发的目的地. [指定分区 repartition 和 coalesce] rdd.repartition() 调用的就是 coalesce,始终进行 shuffle 操作. 如果是减少分区,推荐使用 coalesce,可以指定是否进行 shuffle 操作. 通过 coalesce 增加分区时,必须指定…