批处理文件(.bat)并行Arcpy脚本提高效率的思路

Arcpy提供数据处理的方便接口，但一个Arcpy脚本通常只运行于一个核上。现在电脑通常是多核乃至多处理器，如果能将任务分解为可同时进行的若干任务，便可通过并行充分利用电脑性能。

折腾了python并行模块，根据教程尝试多进程处理，但我没有折腾成功。这个是批处理教程链接：http://zhihu.geoscene.cn/article/583。

后来经过实验发现，同时打开多个Arcpy IDLE 进去运行脚本，算是笨拙的实现了多进程处理数据。但每次都要打开IDLE 然后打开脚本文件并运行，也挺烦人，最近找到了编写.bat脚本实现这一步的方法，下面将其进行分享。

以栅格数据掩膜提取为例。总共68个文件须掩膜提取，单独做每个需要1小时左右，因此编写了7个脚本同时进行，脚本数量要根据自己计算机配置决定。

1 Arcpy脚本

1.1 参数准备

借鉴上述批处理教程思路，脚本分为运行参数准备、API运行、循环实现三大部分。首先定义运行参数准备函数，将所有输入输出参数存储到一个嵌套列表中，方便API运行时的调用。

 1 # -*- coding: utf-8 -*-
 2 #Mosaic To New Raster
 3 import arcpy
 4 from arcpy.sa import *
 5 import time
 6 import os
 7 import glob
 8
 9 # 函数用于准备掩膜提取工具运行参数
10 def pre_parameter(inpath, outpath, mask):
11     parameters = []
12     infiles = glob.glob("*.tif")
13
14     for infile in infiles:
15         inRaster = infile
16         inMaskData = mask
17         outRaster = os.path.join(outpath, infile)
18         parameter = [inRaster, inMaskData, outRaster]
19         parameters.append(parameter)
20     return parameters

1.2 API运行

根据定义的运行参数结构，定义API运行函数。

 1 # Arcpy函数掩膜提取
 2 def Extract_by_Mask(Parameter):
 3     # Set local variables
 4     inRaster = Parameter[0]
 5     inMaskData = Parameter[1]
 6     outRaster = Parameter[2]
 7     # Execute ExtractByMask
 8     outExtractByMask = ExtractByMask(inRaster, inMaskData)
 9     # Save the output
10     outExtractByMask.save(outRaster)
11     print(outRaster, 'has finshed')

1.3 循环实现

因为将参数存储到了列表中，所以for循环运行掩膜API时，通过设置start与end参数，只运行一部分参数，编写多个脚本分别运行。便可以同时处理多个文件，提高效率。本例中，若只运行一个脚本需要70多个小时，同时运行7个脚本只需要11个小时左右。

 1 inpath = "your input file's path"
 2 outpath = "your output file's path"
 3 inf = "mask file's path"
 4 start = 0
 5 end = 10
 6
 7 os.chdir(inpath)
 8
 9 # Set the current workspace
10 arcpy.env.workspace = (inpath)
11 # Set the snapRaster
12 arcpy.env.snapRaster = (inf)
13 # Check out the ArcGIS Spatial Analyst extension license
14 arcpy.CheckOutExtension("Spatial")
15
16 para = pre_parameter(inpath, outpath, inf)
17
18 StartTime = time.time()
19 print('start Mask from %d to %d'%(start, end))
20
21 for i in range(start, end): # 这里根据文件数量改动，可以分几部分打开多个shell运行多个脚本提高速度
22     time1 = time.time()
23     Extract_by_Mask(para[i])
24     time2 = time.time()
25     print(i, 'has finished! costed ' + str(time2 - time1) + ' Seconds...',)
26
27 EndTime = time.time()
28 print('Elapsed: ' + str(EndTime - StartTime) + ' Seconds...')

2 批处理文件(.bat)

下面是.bat文件编写思路

cd/d C:\Python27\ArcGIS10.2 

start cmd /k python.exe C:\aaa\desktop\script_1.py

choice /t 3 /d y

start cmd /k python.exe C:\aaa\desktop\script_2.py

…………

choice /t 3 /d y

start cmd /k python.exe C:\aaa\desktop\script_n.py

命令编写参考了博客 https://www.cnblogs.com/fangjb/p/13275210.html

第一句 要设置为你的Arcpy python.exe所在路径

一些解释如下：

代码结尾不加pause的原因是，执行完关闭窗口，因为不需要该窗口保留着，免得手动关闭。

1. start 用来启动一个应用

2. cmd /k 表示cmd后面的命令执行完后不关闭窗口。如果要在执行完成后关闭窗口可以用/c

3. cd /d 表示运行到该目录下

4. 使用choice命令来延时3秒，也可用ping命令作延时，ping 127.0.0.1 -n 5

在命令窗口输入choice/? 以查看更多choice命令的用法.

上面的思路肯定不是最优解决办法，欢迎牛人大佬朋友下方留言交流。