geotrellis使用（二十五）将Geotrellis移植到spark2.0

目录

1. 前言
2. 升级spark到2.0
3. 将geotrellis最新版部署到spark2.0（CDH）
4. 总结

一、前言

       事情总是变化这么快，前面刚写了一篇博客介绍如何将geotrellis移植导CDH中（见geotrellis使用（二十四）将Geotrellis移植到CDH中必须要填的若干个坑），刚各种折腾几天，就又跑不起来了，查找一番，发现是由于将geotrellis升级到最新版造成的，所以不得不赶紧再救火。原来是最新版以及以后的版本geotrellis都不再支持spark2.0以下版本，没办法只能升级了。本文为大家简单介绍如何在cloudera中将spark版本升级到2.0，以及在部署到spark2.0（CDH）中的一些问题及解决方案。

二、升级spark到2.0

2.1 将集群的JDK版本升级到1.8

       最新版的geotrellis不再支持jdk1.8以下版本，所以需要将集群的运行jdk升级到1.8，就是要将cloudera的集群jdk升级到1.8。详情见http://bigdatafan.blogspot.jp/2016/05/upgrade-java-to-jdk-8-on-cloudera-cdh.html，文章里面写的很清楚，不再赘述。

2.2 将集群的spark版本升级到2.0

       这里与其说是升级倒不如说是重新安装一套，cdh5.9以上版本可能才会支持spark2.0，目前只能是在cloudera中添加一个2.0的beta版。详情参考https://blog.cloudera.com/blog/2016/09/apache-spark-2-0-beta-now-available-for-cdh/，同样本文不再赘述。需要强调的是安装完后提交spark2.0的程序就需要改用spark2-submit。

三、将geotrellis最新版部署到spark2.0（CDH）

       目前geotrellis最新版为1.0.0-40a2f7a，该版本相较以前有了较大的变化，并且使用了spark2.0之后性能确实有所提高。在升级过程中发现如下问题：

3.1 整体sbt依赖

       依赖基本不变，需要变的地方为：geotrellis版本变为1.0.0-40a2f7a，spark的版本需要改为2.0.0，添加akka依赖，scalaVersion变为2.11.8（2.11以上版本）。

3.2 akka版本问题

       在上一篇文章中讲到通过测试发现akka版本对程序运行没有影响，但是在2.0版需要将akka的版本降到2.4以下，否则启动会报错。

3.3 spray版本问题

       上一篇文章中测试发现spray版本必须降到1.2.3，否则会报错，但是在2.0版这个问题又不存在了，直接使用最新版即可。

四、总结

       本文简单为大家介绍了将geotrellis程序部署到spark2.0中遇到的几个问题及解决方案，其他不多说，如果有遇到相关问题的，欢迎交流、共同学习。

Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html