Spark的机器学习算法mlib的例子运行

　　Spark自带了机器学习的算法mlib，页面网址 http://spark.incubator.apache.org/docs/latest/mllib-guide.html

　　但是运行的时候，遇到了很多问题，着实让我头疼了很久，不过最后还是解决了，下面说一下这两个问题吧。

　　第一个demo运行到val model = SVMWithSGD.train(parsedData, numIterations)这一句的时候遇到了lzo的jar包。

　　我是这么解决的，方法不是很好，我修改了spark-env.sh这个文件，添加了SPARK_CLASSPATH=/usr/lib/spark/ext/hadoop-lzo-0.5.0.jar这句话就ok了

　　这种方式不是很好，比如我指定某个目录的话，它是不认的，只能一个jar包一个jar包的指定，也可以学习下面的方法。

　　这次是遇到了jar包的问题，Spark搭配的是hadoop1.0.4，搭配hadoop2.2.0的时候就可能会出现这个问题，先放一下错误信息，方便大家搜索。

java.lang.NoSuchMethodError: org.apache.commons.io.IOUtils.closeQuietly

　　最后被我查出来是commons.io这个jar包引起的，但是Spark自己下的话，它也下了commons-io-2.1.jar这个jar包，但是它并没有使用这个jar包，编译过的Spark会把所需的jar包全部合并到一起，最后打成一个类似spark-assembly_2.9.3-0.8.1-incubating-hadoop2.2.0.jar的jar包。

　　这里面就涉及到怎么合并两个jar包的问题了，我是这么处理的，分别解压两个jar包，用commons-io-2.1.jar的解压出来的目录覆盖spark-assembly_2.9.3-0.8.1-incubating-hadoop2.2.0.jar解压出来的相应的目录，然后在加压出来的根目录下使用下面的命令，重新打包。

jar -cvf spark-assembly_2.9.3-0.8.1-incubating-hadoop2.2.0.jar *;

　　替换掉原来的jar包就运行就正常了。