2 pyspark学习----基本操作

1 spark的python环境部署可以参照上面一篇哟。http://www.cnblogs.com/lanjianhappy/p/8705974.html

2 pyspark的基本操作。

 # coding:utf-8
 from pyspark import SparkContext, SparkConf

 sc = SparkContext()#init contet
 intRDD = sc.parallelize([3,1,2,5,5])#create RDD
 stringRDD = sc.parallelize(['apple','orange','yellow'])
 print intRDD.collect()#transfrom to python
 print stringRDD.collect()
 #每个元素+1
 print intRDD.map(lambda x:x+1).collect()#4,2,3,6,6
 #输出小于3
 print intRDD.filter(lambda x:x<3).collect()#print number<3 in RDD
 print stringRDD.filter(lambda x:'ra' in x).collect()#print contain 'ra'

 print intRDD.distinct().collect()
 #奇数偶数分开
 result = intRDD.groupBy(lambda x:x%2).collect()
 print sorted([(x,sorted(y)) for(x,y) in result])

 #多个RDD并集
 intRDD1 = sc.parallelize([3,1,2,3,5])
 intRDD2 = sc.parallelize([8,2,1,9,5])
 intRDD3 = sc.parallelize([7,1,3,4,7])
 print intRDD1.union(intRDD2).union(intRDD3).collect()

 #交集
 print intRDD1.intersection(intRDD2)

 #差集
 print intRDD1.subtract(intRDD2)

 #笛卡尔集
 print intRDD1.cartesian(intRDD2).collect()#返回10个元素

 #读取元素
 #取第一条数据
 print intRDD.first()
 #取前两条数据
 print intRDD.take(2)
 #升序排列，并取前3条数据
 print intRDD.takeOrdered(3)
 #降序排列，并取前3条数据
 print intRDD.takeOrdered(3,lambda x:-x)

 #统计功能 min max stdev count sum mean
 print intRDD.stats()

 #转换操作
 kvRDDW1 = sc.parallelize([(1,2),(3,4),(5,6),(7,8)])
 #分别得到keys values
 print kvRDDW1.keys().collect()#1 3 5 7
 print kvRDDW1.values().collect()#2 4 6 8

 #筛选元素 筛选小于5的数据 x[0]按照值 x[1]按照键
 print kvRDDW1.filter(lambda x:x[0]<5).collect()
 print kvRDDW1.filter(lambda x:x[1]<5).collect()
 #值运算 mapvalues处理value
 print kvRDDW1.mapValues(lambda  x:x**2).collect()

 #按照key排序
 print kvRDDW1.sortByKey().collect()
 print kvRDDW1.sortByKey(True).collect()
 print kvRDDW1.sortByKey(False).collect()#倒序

 #对具有相同key的进行合并
 print kvRDDW1.reduceByKey(lambda x,y:x+y).collect()

 #多个RDD相同的key进行内连接
 kvRDD1 = sc.parallelize([(3,4),(3,6),(5,6),(1,2)])
 kvRDD2 = sc.parallelize([(3,8)])
 print kvRDD1.join(kvRDD2).collect()#[(3, (4, 8)), (3, (6, 8))]

 #key值统计
 print kvRDD1.countByKey().collect()
 #lookup 根据key查找对应的value
 print kvRDD1.lookup(3)

加油！