如何在本地使用scala或python运行Spark程序

如何在本地使用scala或python运行Spark程序

 

包含两个部分：

1. 本地scala语言编写程序，并编译打包成jar，在本地运行。
2. 本地使用python语言编写程序，直接调用spark的接口，并在本地运行。

 

 

一，scala在本地能成功调用并运行spark接口的主要原理：

1. spark发布版会将spark所有能力，和依赖包一起打包成spark-assembly.jar，并能够在单机模式下运行spark的local模式。
2. spark发布版提供spark-submit等工具来提交jar和启动local模式
3. scala程序可以很方便地使用sbt工具编译打包成jar

 

 

二、scala的编译与打包运行

1. 下载intelij idea ， 安装scala， 以及scala语言plugin 和 sbt plugin
2. 下载spark 发布包，注意要含Hadoop（可选） 、spark-assembly.jar 、py4j（可选） 、 pyspark（可选） 。（spark-1.5.2-bin-hadoop2.3.tgz）
3. 创建scala项目，F4项目设置dependency： scala和spark-assembly.jar的依赖。如果要支持sql hive 还需提供
4. 1. datanucleus-api-jdo-3.2.6.jar
   2. datanucleus-core-3.2.10.jar
   3. datanucleus-rdbms-3.2.9.jar
   4. spark-1.5.2-yarn-shuffle.jar
   5. spark-assembly-1.5.2-hadoop2.3.0.jar
   6. spark-examples-1.5.2-hadoop2.3.0.jar
5. 创建build artificial id， 只需要manifest（main classs） 和 compile output即可。
6. 编译打包后，生成的jar包，使用以下命令提交：  spark-submit --class weather --conf spark.dynamicAllocation.enabled=true  --conf spark.shuffle.service.enabled=true  /home/mobile/rf_test.jar
7. 主程序的依赖包 运行法（--driver-library-path 与--jars 指令合用）： spark-submit --class EntropyWeights  --jars scopt_2.10-3.5.0.jar --driver-library-path  scopt_2.10-3.5.0.jar  --conf spark.dynamicAllocation.enabled=true  --conf spark.shuffle.service.enabled=true  /home/mart_mobile/fdy/EntropyWeights.jar
8. 1. 上述案例是冗余的写法： --jars可以指定driver和executor都需要的依赖，--driver-library-path 为driver程序中依赖的命令行参数解析 jar包，但是excutor中并不需要。
   2. executor需要则：  --spark.executor.extraClassPath to augment the executor classpath
   3. 参考： http://stackoverflow.com/questions/37132559/add-jars-to-a-spark-job-spark-submit
   4. spark-submit --class EntropyWeights  --jars scopt_2.10-3.5.0.jar --driver-library-path  scopt_2.10-3.5.0.jar  --conf spark.dynamicAllocation.enabled=true  --conf spark.shuffle.service.enabled=true  /home/mart_mobile/fdy/EntropyWeights.jar -t app.app_celebrity_properties_4rank_da -d author_id1,author_pin --colweights commission=1.0,pv=1.0,uv=1.0,upvote_num=1.0,comment_num=1.0,share_num=1.0,enter_detail_pv=1.0,enter_detail_uv=1.0,ordnum_inby_5thevent=1.0,ordsum_inby_5thevent=1.0,ordnum_in_direct=1.0,ordsum_in_direct=1.0,ordnum_in_indirect=1.0,ordsum_in_indirect=1.0,detail_ratio=1.0,import_ratio=1.0,fans_num=1.0,rank=1.0,open_rate=1.0,  -o app.app_celebrity_rank_da
   5. 新的集群出现 org.apache.commons.math jar 包(多 jar 包依赖的制定方法, 分隔符):   spark-submit --class EntropyWeights  --jars ./scopt_2.10-3.5.0.jar,./commons-math-2.1.jar --driver-library-path  ./scopt_2.10-3.5.0.jar:./commons-math-2.1.jar  --conf spark.dynamicAllocation.enabled=true  --conf spark.shuffle.service.enabled=true  ./EntropyWeights.jar -i app.app_celebrity_properties_4rank_da -d author_id1,author_pin --colweights commission=1.0,pv=1.0,uv=1.0,upvote_num=1.0,comment_num=1.0,share_num=1.0,enter_detail_pv=1.0,enter_detail_uv=1.0,ordnum_inby_5thevent=1.0,ordsum_inby_5thevent=1.0,ordnum_in_direct=1.0,ordsum_in_direct=1.0,ordnum_in_indirect=1.0,ordsum_in_indirect=1.0,detail_ratio=1.0,import_ratio=1.0,fans_num=1.0,rank=1.0,open_rate=1.0,  -o app.app_celebrity_rank_da -s 5.0 -t norm

 

 

三、python在本地能成功调用并运行spark接口的主要原理如下，

首先，依赖以下几个环境：

1. 编译好的spark发布包，包含Hadoop和spark-assembly.jar
2. spark项目提供的py4j程序，让python可以访问运行在jvm上的spark。
3. spark项目提供的pyspark接口，在本地调起spark-assembly.jar，并在py4j的帮助下，方便python语言通过py4j来调用运行在jvm上的spark提供的接口。

 

 

四、本地python调spark的配置和启动方法

1. 下载spark发布包，注意要含Hadoop、spark-assembly.jar 、py4j 、 pyspark。（spark-1.5.2-bin-hadoop2.3.tgz）
2. 将该包下python目录下的py4j与pyspark放入到本机python安装第三方库的site-packages目录下
3. 环境变量的修改：
4. 1. SPARK_HOME环境变量： os.environ["SPARK_HOME"]='D:\software_bak\spark\spark-1.5.2-bin-hadoop2.3'
   2. Hadoop_home环境变量： os.environ["HADOOP_HOME"]='E:\\hadoop-2.4.1'
5. 执行。
6. 1. 可以使用spark的example目录下的wordcount.py与数据people.txt。
   2. 修改该文件的源代码，加入3中所述的两个环境变量。
   3. 运行： python wordcount.py people.txt 即可。
   4. 或者使用 spark-submit 提交 Python 编写的 spark 任务:
   5. 1. 比如 提交的任务中有依赖的 Python 基础库文件:  spark-submit --py-files spark_etl_tools.py  --num-executors 4 --executor-cores 8 --executor-memory 4G --driver-memory 10G --conf spark.driver.maxResultSize=6G   migration_03_welcome_calls.py