[apache spark]洞见纽约车辆事故|bluemix|apache spark

今天，我们用spark 来分析 下一纽约市车辆事故的大数据。

前提条件：

1.有bluemix 帐号，并并在bluemix的dashboard里创建了一个sparck instance。

2.稳定可以访问纽约市开放公共数据中心NYPD Motor Vehicle Collisions的网络。

3.在bluemix 中的spark instance 里点击进入notebook网页，并创建新的notebook(默认语言：python).

步骤1:获取数据.

到网站：NYPD Motor Vehicle Collisions，导出csv文件。并把这个文件导入到bluemix的storeage,首先点击右上角的Palette>Data Sources。 点击 **Add Source**, 选择**From file**, and 从你本地磁盘选择csv文件。因为数据比较大，上传数据需要一点时间。

步骤2.访问数据。

在你访问csv数据之前，要配置hadoop的相关配置信息。把下面的代码填入即可，如下：

def set_hadoop_config(credentials):
    prefix = "fs.swift.service." + credentials['name']
    hconf = sc._jsc.hadoopConfiguration()
    hconf.set(prefix + ".auth.url", credentials['auth_url']+'/v3/auth/tokens')
    hconf.set(prefix + ".auth.endpoint.prefix", "endpoints")
    hconf.set(prefix + ".tenant", credentials['project_id'])
    hconf.set(prefix + ".username", credentials['user_id'])
    hconf.set(prefix + ".password", credentials['password'])
    hconf.setInt(prefix + ".http.port", 8080)
    hconf.set(prefix + ".region", credentials['region'])
    hconf.setBoolean(prefix + ".public", True)

点击插入新代码行，

在新代码行里插入数据配置，点击数据下面的Insert to code

注意，这里自动插入的代码还要自己调整修改，如下：

credentials = {}  
credentials['name'] = 'keystone'
credentials['auth_url'] = 'https://identity.open.softlayer.com'
credentials['project_id'] = 'XXX'
credentials['region'] = 'dallas'
credentials['user_id'] = 'XXX'
credentials['password'] = 'XXX'   
credentials['container'] = 'notebooks'

其中，credentials['name'] = 'keystone'，意思是给hadoop取个名字，这里可以自行决定。

然后，再新建一行代码行，填入下面的代码，如下 ：

set_hadoop_config(credentials)

这是指把上面的credentials相关的信息配置进hadoop的配置实例里。

步骤3.加载数据。在新代码行，填入以下代码：

from __future__ import division
import numpy as np

from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)

# adding the PySpark modul to SparkContext
sc.addPyFile("https://raw.githubusercontent.com/seahboonsiew/pyspark-csv/master/pyspark_csv.py")
import pyspark_csv as pycsv

collisions = sc.textFile("swift://" + credentials['container'] + "." + credentials['name'] + "/NYPD_Motor_Vehicle_Collisions.csv")

def skip_header(idx, iterator):
    if (idx == 0):
        next(iterator)
    return iterator

collisions_header = collisions.first()

collisions_header_list = collisions_header.split(",")
collisions_body = collisions.mapPartitionsWithIndex(skip_header)

# filter not valid rows
collisions_body = collisions_body.filter(lambda line : len(line.split(","))>29)

# create Spark DataFrame using pyspark-csv
collisions_df = pycsv.csvToDataFrame(sqlContext, collisions_body, sep=",", columns=collisions_header_list)
collisions_df.cache()

依次执行以上的代码，应该会有个输出：

代表数据加载成功！spark已经成功创建RDD数据集。

现在你可用这些数据来做些有趣的事情了。

a.先检查下python的schema

# Python expressions in a code cell will be outputted after computation
collisions_df.printSchema()

输出：

b.取第一行数据：

collisions_df.take(1)

输出：

更多内容请访问IBM的bluemix数据分析主页：https://console.ng.bluemix.net/data/analytics