对于我这样一个一直工作在.net平台上的developer来讲,Hadoop,Spark,HBase等这些大数据名词比较陌生,对于分布式计算,.net上也有类似的Parallel(我说的不是HDInsight), 这篇文章是我尝试从.net上的Parallel类库的角度去讲述什么是spark. 我们先从C#的一个烂大街的例子(不是Helloworld),统计一篇文章单词出现的频率. 下面C#代码是利用.net Parallel来写的统计单词出现频率. using System; using Sy…

不一样的角度 解读微信小程序 七月在夏天· 2 天前 前段时间看完了雨果奖中短篇获奖小说<北京折叠>.很有意思的是,张小龙最近也要把应用折叠到微信里,这些应用被他称为:小程序. 含着金钥匙的小程序,还未展现全貌,就已经成了开发界的头条大事儿.有人不以为然.嗤之以鼻,有人奉若神明.投怀送抱.敢于尝鲜的已经开始动手了--不管合不合适,先借这个热度来一波关注是不错的选择: 所谓"不登高山,不知天之高:不临深溪,不知地之厚".我生怕看不清小程序这座大山,滚去做了个demo.放上几张…

RxJava系列1(简介) RxJava系列2(基本概念及使用介绍) RxJava系列3(转换操作符) RxJava系列4(过滤操作符) RxJava系列5(组合操作符) RxJava系列6(从微观角度解读RxJava源码) RxJava系列7(最佳实践) 前言 通过前面五个篇幅的介绍,相信大家对RxJava的基本使用以及操作符应该有了一定的认识.但是知其然还要知其所以然:所以从这一章开始我们聊聊源码,分析RxJava的实现原理.本文我们主要从三个方面来分析RxJava的实现: RxJava基本…

本节主要内容: 一.DStream与RDD关系的彻底的研究 二.StreamingRDD的生成彻底研究 Spark Streaming RDD思考三个关键的问题: RDD本身是基本对象,根据一定时间定时产生RDD的对象,随着时间的积累,不对其管理的话会导致内存会溢出,所以在BatchDuration时间内执行完RDD操作后,需对RDD进行管理. 1.DStream生成RDD的过程,DStream到底是怎么生成RDD的? 2.DStream和RDD到底什么关系? 3.运行之后怎么对RDD处理? 所…

本博文主要内容: 1.再次思考pipeline 2.窄依赖物理执行内幕 3.宽依赖物理执行内幕 4.Job提交流程 一:再次思考pipeline 即使采用pipeline的方式,函数f对依赖的RDD中的数据的操作也会有2种方式: 1:f(record), f作用于集合的每一条记录,每次只作用于一条记录. 2.f(redord), f一次性作用于集合的全部数据. Spark采用的是第一种方式,原因: 1.spark无需等待,可以最大化的使用集群计算资源. 2.减少OOM的发生 3.最大化的有利于开…

本文转自知乎 作者:苏格兰折耳喵 ----------------------------------------------------- 作为数据分析爱好者,本文作者将想从数据的角度去解读<欢乐颂2>这部热播剧的方方面面,包括舆情传播.网络口碑.人物社交网络分析及,以及小说内容的文本分析. 5月11日,让众多安迪粉期待已久的<欢乐颂>第二季终于播出.相比首季,<欢乐颂2>在造型和场景上显得更为精致时尚,且其中每个角色的造型却都是遵从的其身份和背景,并不突兀. 正所谓…

本博文主要内容:  1.再次思考pipeline 2.窄依赖物理执行内幕 3.宽依赖物理执行内幕 4.Job提交流程 一:再次思考pipeline 即使采用pipeline的方式,函数f对依赖的RDD中的数据的操作也会有2种方式: 1:f(record), f作用于集合的每一条记录,每次只作用于一条记录. 2.f(redord), f一次性作用于集合的全部数据. Spark采用的是第一种方式,原因: 1.spark无需等待,可以最大化的使用集群计算资源. 2.减少OOM的发生 3.最大化的有利于…

HistoryServer服务可以让用户通过Spark UI界面,查看历史应用(已经执行完的应用)的执行细节,比如job信息.stage信息.task信息等,该功能是基于spark eventlogs日志文件的,所以必须打开eventlogs日志开关,关于日志开关的打开和HistoryServer服务的启动方法这里不再讲述,下面进入正题 下面使用的spark版本是2.0.2 类结构图 Web相关  数据流相关  相关类及特质 WebUI Web Server服务中UI层次结构的最顶层.每一个We…

关键词:hbase rebalance 负载均衡 参考源码版本:apache-hbase-1.1.2 什么是HBase Rebalance ? 随着数据写入越来越多以及不均衡,即使一开始每个RegionServer的region数差不多,后期也会出现较为明显的差异现象.如果不做均衡,region过多的RS就有可能成为热点服务器,成为瓶颈.因此rebalance相当于一个负载调整的过程,把负载重的RS的部分region分发出去给别的RS去分担region压力. Rebalance 策略 Rebal…

一.spark SQL:类似于Hive,是一种数据分析引擎 什么是spark SQL? spark SQL只能处理结构化数据 底层依赖RDD,把sql语句转换成一个个RDD,运行在不同的worker上 特点: 1.容易集成:SQL语句 2.对不同的数据源提供统一的访问方式:DataFrame 用DataFrame屏蔽数据源的差别 3.兼容Hive 大纲: 核心概念:DataFrame(看作表):就是表,是Spark SQL对结构化数据的抽象集合 表现形式:RDD 表=表结构+数据 DataFra…