Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈

大数据的概念与应用,正随着智能手机、平板电脑的快速流行而日渐普及,大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地应用于社交网络、电子商务,地图等领域。对于图计算的两个核心问题:图存储模式和图计算模型,Spark GraphX给出了近乎完美的答案,

而Spark GraphX作为图计算领域的屠龙宝刀,对Pregel  API的支持更是让Spark GraphX如虎添翼。Spark GraphX可以轻而易举的完成基于度分布的中枢节点发现、基于最大连通图的社区发现、基于三角形计数的关系衡量、基于随机游走的用户属性传播等。

得益于Spark的RDD抽象,Spark GraphX可以无缝的与Spark SQL、MLLib等进行结合使用,例如我们可以使用Spark SQL进行数据的ETL之后交给Spark GraphX进行处理,而Spark GraphX在计算的时候又可以和MLLib结合使用来共同完成深度数据挖掘等人工智能化的操作,这些特性都是其它图计算平台所无法比拟的。

在淘宝,Spark GraphX不仅广泛应用于用户网络的社区发现、用户影响力、能量传播、标签传播等,而且也越来越多的应用到推荐领域的标签推理、人群划分、年龄段预测、商品交易时序跳转等,据淘宝的明风介绍,借助于Spark GraphX,经过半年多的尝试,淘宝之前一些想做但因为没有足够的计算能力而不能实现的图模型,现已不是问题。

从技术层面讲Spark GraphX非常适合于微信、微博、社交网络、电子商务、地图导航等类型的产品,所以可以期待Spark GraphX在Facebook、Twitter、Linkedin、腾讯、百度等的大规模应用。

本书将通过大约30个动手实践的案例循序渐进的展示Spark GraphX框架方方面面的功能和使用方法,于此同时伴随Spark GraphX恰到要害的源码解析,内容紧致而干练,让阅读者无论是阅读还是动手实践都会深入宝山满载而归,是图计算爱好者和Spark学习不可错过的饕餮盛宴!

作为《Spark GraphX大规模图计算和图挖掘》的第一版本,每周作者都会对书的内容更新和完善,每周都要发布一次书的完整的新的版本,以期Spark GraphX这把图计算领域的屠龙刀能够更好的造福社会。

地址连接:http://book.51cto.com/art/201408/449872.htm

熟练的掌握Scala语言【大数据Spark实战高手之路】

内容介绍 1、Spark框架是采用Scala语言编写的,精致而优雅。要想成为Spark高手,你就必须阅读Spark的源代码,就必须掌握Scala,; 2、虽然说现在的Spark可以采用多语言Java、Python等进行应用程序开发,但是最快速的和支持最好的开发API依然并将永远是Scala方式的API,所以你必须掌握Scala来编写复杂的和高性能的Spark分布式程序; 3、尤其要熟练掌握Scala的trait、apply、函数式编程、泛型、逆变与协变、消息通信框架Akka等。

大数据spark实战高手之路--熟练掌握Scala视频课程 6折优惠 Spark亚太研究院联合51CTO 重磅推出国内第一个 Spark系列课程 。

第一阶段课程为熟练掌握Scala语言。

课程1:Scala动手实战入门

课程2:Scala实战入门进阶

课程3:Scala面向对象入门实战

课程4:Scala面向对象进阶实战

课程5:Scala函数式编程入门实战

课程6:Scala函数式编程进阶实战

课程7:Scala高级实战特性

课程8:Scala的Actor

课程9:深入Scala隐式转换和隐式参数

课程10:Akka架构解析与案例实战

现在购买,享受6折优惠!

链接地址:http://edu.51cto.com/pack/view/id-124.html

Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈与熟练的掌握Scala语言【大数据Spark实战高手之路】的更多相关文章

  1. 如何成为云计算大数据Spark高手

    Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,性能超过Hadoop百倍,从多迭代批量处理出发,兼收并蓄数据仓库.流处理和图计算等多种计算范式,是罕见的全能选手. ...

  2. 大数据Spark超经典视频链接全集

    论坛贴吧等信息发布参考模板 Scala.Spark史上最全面.最详细.最彻底的一整套视频全集(特别是机器学习.Spark Core解密.Spark性能优化.Spark面试宝典.Spark项目案例等). ...

  3. 转载:四两拨千斤:借助Spark GraphX将QQ千亿关系链计算提速20倍

    四两拨千斤:借助Spark GraphX将QQ千亿关系链计算提速20倍 时间 2016-07-22 16:57:00 炼数成金 相似文章 (5) 原文  http://www.dataguru.cn/ ...

  4. 大数据开发实战:Spark Streaming流计算开发

    1.背景介绍 Storm以及离线数据平台的MapReduce和Hive构成了Hadoop生态对实时和离线数据处理的一套完整处理解决方案.除了此套解决方案之外,还有一种非常流行的而且完整的离线和 实时数 ...

  5. 【Todo】【读书笔记】大数据Spark企业级实战版 & Scala学习

    下了这本<大数据Spark企业级实战版>, 另外还有一本<Spark大数据处理:技术.应用与性能优化(全)> 先看前一篇. 根据书里的前言里面,对于阅读顺序的建议.先看最后的S ...

  6. 《大数据Spark企业级实战 》

    基本信息 作者: Spark亚太研究院   王家林 丛书名:决胜大数据时代Spark全系列书籍 出版社:电子工业出版社 ISBN:9787121247446 上架时间:2015-1-6 出版日期:20 ...

  7. 王家林 大数据Spark超经典视频链接全集[转]

    压缩过的大数据Spark蘑菇云行动前置课程视频百度云分享链接 链接:http://pan.baidu.com/s/1cFqjQu SCALA专辑 Scala深入浅出经典视频 链接:http://pan ...

  8. 大数据spark学习第一周Scala语言基础

    Scala简单介绍 Scala(Scala Language的简称)语言是一种能够执行于JVM和.Net平台之上的通用编程语言.既可用于大规模应用程序开发,也可用于脚本编程,它由由Martin Ode ...

  9. 大数据开发实战:Storm流计算开发

    Storm是一个分布式.高容错.高可靠性的实时计算系统,它对于实时计算的意义相当于Hadoop对于批处理的意义.Hadoop提供了Map和Reduce原语.同样,Storm也对数据的实时处理提供了简单 ...

随机推荐

  1. Hibernate对象状态

    对象状态 瞬时(transient) 自己new出来的对象,数据库没有记录与之对应,与session也没有关联 持久(persistent) 数据库中有记录与之对应,当前与session有关联,相关的 ...

  2. BZOJ4318 OSU!(动态规划+概率期望)

    设f[i][0/1]为考虑前i位,第i位为0/1时的期望得分(乘以是0/1的概率).暴力转移显然.前缀和优化即可. 但是这个前缀和精度无法承受,动不动就nan. 考虑增加一位的贡献.若之前后缀1的个数 ...

  3. P4467 [SCOI2007]k短路

    题目描述 有 n 个城市和 m 条单向道路,城市编号为 1 到 n .每条道路连接两个不同的城市,且任意两条道路要么起点不同要么终点不同,因此 n 和 m 满足 m \le n(n-1)m≤n(n−1 ...

  4. [bzoj] 2694 Lcm || 莫比乌斯反演

    原题 定义整数a,b,求所有满足条件的lcm(a,b)的和: 1<=a<=A 1<=b<=B ∀n>1,n2†gcd(a,b)(即任意n>1,\(n^2\)不是gc ...

  5. BZOJ3132 上帝造题的七分钟 【二维树状数组】

    题目 "第一分钟,X说,要有矩阵,于是便有了一个里面写满了0的n×m矩阵. 第二分钟,L说,要能修改,于是便有了将左上角为(a,b),右下角为(c,d)的一个矩形区域内的全部数字加上一个值的 ...

  6. table表头固定问题

    table表头固定问题 原生的table表头在表格滚动时候无法固定,可以使用以下的方法进行模拟 1. 双table法 表头和表体各用一个table,这样会产生表格列对不齐的问题,可以使用colgrou ...

  7. underscore的bind和bindAll方法

    bind方法和bindAll方法都是用来设定函数的this值的,区别是调用方式不同. var xiaoming = { say:function(){ console.log('I am xiaomi ...

  8. 一个 React & Redux的目录树

    |-----------------------------------------| | | | React & Redux | | | |------------------------- ...

  9. Elasticsearch报错

    [2018-07-12T10:32:47,642][INFO ][o.e.b.BootstrapChecks ] [VfCcJIq] bound or publishing to a non-loop ...

  10. idea设置文件的编码格式

    在打开某些类时会发现注释是乱码的,该如何解决idea的文件乱码呢?这就需要设置这个文件的合适编码格式: idea设置文件编码的两种方式分别如下: 第一种方式点击idea的右下角的图标如下图所示: 第二 ...