【原创干货】大数据Hadoop/Spark开发环境搭建

　　已经自学了好几个月的大数据了，第一个月里自己通过看书、看视频、网上查资料也把hadoop（1.x、2.x）、spark单机、伪分布式、集群都部署了一遍，但经历短暂的兴奋后，还是觉得不得门而入。

　　只有深入大数据开发才能逐步掌握大数据。而首先要搭开发环境，对于一个像我这样之前只做过plsql开发的人来说，确实走了很多弯路。一开始目标设得很高，直接下源代码编译成jar包进行使用，后来发现其实没什么必要，受到一些非技术因素尤其是天朝特色社会主义网络的影响，sbt基本无法使用，直接下官方编译好的版本就行了。

注：我在搭建开发环境的过程中，在网上查阅了无数资料，也在《hadoop权威指南》等书里找过，但几乎找不到满意的，要不就是过程本身就有问题，要不就是提供的方法在天朝无法实践，还有就是写得过于简略或过于深奥。严重影响了搭建进度。看到本文的朋友们有福了，除去下载软件的时间，基本一个小时之内可以全部搞定。大道至简，很多东西要是不说清楚，写一万句废话也是没用的。

• IDE:eclipse-Scala-Ide
• hadoop:hadoop-2.6.2
• spark:spark-1.2.0

一、hadoop开发环境

第一种方法：

直接用hadoop eclipse插件，再进行简单的配置就可以了。

第二种方法：

直接导入hadoop的jar包，可使用maven工程实现自动导入，也可手动导入

手动导入：

hdfs和mapred:

C:\Software\hadoop\hadoop-2.6.2\share\hadoop\common\

C:\Software\hadoop\hadoop-2.6.2\share\hadoop\common\lib\

C:\Software\hadoop\hadoop-2.6.2\share\hadoop\hdfs\

hive:

C:\Software\hadoop\apache-hive-2.1.0-bin\lib\

hbase:

E:\Hadoop\hbase-0.94.2-security\hbase-0.94.2-security.jar

E:\Hadoop\hbase-0.94.2-security\hbase-0.94.2-security-tests.jar

E:\Hadoop\hbase-0.94.2-security\lib\

其实不用导入那么多包，以后用maven来自动导入。

导入后，选中这些jar包，Build Path->Add to Build Path

 

二、spark开发环境

下载scala-ide。位数需要与本地jdk版本位数一致，直接解压即可作为eclipse使用

新建scala project

在工程名处右击点Properties->Java Builder Path->Libraries->Add External JARs->添加编译后spark assembly包（可以直接从官网下载编译后的版本里找出来）

有很多时候需要配置Run Configurations，重点关注Main和Arguments两项里的内容。如果没有部署spark，可以直接在VM arguments里添加-Dspark.master=local，或者直接在代码里添加conf.setMaster("local")

so easy！