4 pyspark学习---RDD

开始新的东西，其实很多操作在第二篇的时候就有所介绍啦。在这里继续学习一遍加深一下印象。

1关于RDD

(1) RDD-----Resilient Distributed Dataset，弹性分布式数据集。这些元素在多个节点上运行和操作，以便在集群上进行并行处理。

(2)RDD是弹性得。

比如map操作，可以拆分成对数据块得直接计算而不涉及其他节点。这样得操作只是在一个节点上面直接得操作，不会影响RDD得操作。但是也有比如groupBy，在不完全知道每个key得分布得时候，必须遍历RDD所有得数据块，然后将相同得key汇聚。

(2)转换----->行动

转换操作比如Fileter groupBy，map等

行动操作比如collect

2 例子

 # coding:utf-8
 from pyspark import SparkContext, SparkConf
 from operator import add
 sc = SparkContext()

 words = sc.parallelize (
    ["scala",
    "java",
    "hadoop",
    "spark",
    "akka",
    "spark vs hadoop",
    "pyspark",
    "pyspark and spark"]
 )
 #输出rdd元素个数count
 counts = words.count()
 print counts

 #输出所有得元素collect
 print 'elements in RDD->%s'%(words.collect())

 #输出满足条件得元素foreach
 def f(x):print(x)
 fore = words.foreach(f)

 #返回新的RDD 满足相应得条件 filter
 words_filter = words.filter(lambda x: 'spark' in x).collect()
 print words_filter
 #返回新的RDD 满足相应得条件 map value都为1
 words_map = words.map(lambda x: (x,1))

 #reduce 引入add
 nums = sc.parallelize([1,2,3,4,5])
 adding = nums.reduce(add)#

 #cache 持久RDD 判断是否是持久
 print words.persist().is_cached

好了 加油！