python---多线程与多进程

一. 单进程多线程

1. 使用的模块是Threading。使用join（）函数进行阻塞。

 from pdf2txt import pdfTotxt1, pdfTotxt2
 import xlrd
 import os
 from nltk.corpus import PlaintextCorpusReader
 from nltk.book import FreqDist
 import threading

 def handleStock(stock_dir, dir, root_txt_path):
     for stock in stock_dir:
         years_dir=os.listdir(dir+stock)
         for y in years_dir:
             type_dir=os.listdir(dir+stock+'/'+y)
             for t in type_dir:
                 report_dir=os.listdir(dir+stock+'/'+y+'/'+t)
                 for r in report_dir:
                     try:
                         pdfTotxt1(dir+stock+'/'+y+'/'+t+'/'+r, root_txt_path+stock+'_'+y+'_'+t+'_'+r[:-4]+'.txt')
                     except:
                         pdfTotxt2(dir+stock+'/'+y+'/'+t+'/'+r, root_txt_path+stock+'_'+y+'_'+t+'_'+r[:-4]+'.txt')

 root_pdf_path='/home/luowang/financial_reports_data/attach/'
 root_txt_path='/usr/lw/result/txt_reports/'
 Threads=[]
 if os.path.exists(root_pdf_path):
     stock_dir=os.listdir(root_pdf_path)
     length=len(stock_dir)
     if length>0:
         for i in range(0,length, 125):
             if i+125 < length:
                 dir=stock_dir[i:i+125]
                 obj=threading.Thread(target=handleStock, args=[dir, root_pdf_path, root_txt_path])
                 Threads.append(obj)
                 obj.start()
             else:
                 dir=stock_dir[i:length]
                 obj=threading.Thread(target=handleStock, args=[dir, root_pdf_path, root_txt_path])
                 Threads.append(obj)
                 obj.start()

假定主线程中有一些代码，你希望所有下载程序完成后再执行，这时可以调用Thread对象的join（）函数将其阻塞，直到该线程完成。如下面代码所示：

for t in Threads:
    t.join()

print 'all file have been handled !!!'

二. 多进程

1. 使用的模块是subprocess,它常用的函数有Popen(), wait(), poll()

1) wait(): 阻塞自己，等待启动的进程终止。它是Popen对象的方法。

>>> t=subprocess.Popen(['start', 'D:\\github.txt'], shell=True)
>>> t.wait()
0

返回值为0，说明程序正常退出了。

2）poll():检查当前进程是否仍在运行，若是返回None, 若正常结束，则返回0，若不正常结束，则返回非0值。它是Popen对象的方法。

>>> t=subprocess.Popen(['start', 'D:\\github.txt'], shell=True)
>>> t.poll()
0

3）Popen(): 启动计算机中的其他程序。

>>> subprocess.Popen(['start', 'D:\\github.txt'], shell=True)
<subprocess.Popen object at 0x02516210>

这里的‘start’表示使用默认程序打开后面的文件。在Windows上，是start程序；在OS X上是open程序； 在Ubuntu Linux上是see程序。

当然，这里也可以用具体的程序的位置代替，比如下面：

>>> import subprocess
>>> subprocess.Popen('C:\\Windoews\\System32\\notepad.exe', 'D:\\github.txt')

未完待续。。。