python 超时异常处理

异常处理具体见：【循序渐进学Python】9.异常处理

环境平台：Python2.7.9 + Win8.1

本篇记录一下自己写爬虫的遇到的问题，程序中批量获取图片地址，然后批量保存。由于没有设置网址打开超时，导致程序一直卡在哪里，程序处于假死状态。

经查询得知没有对程序进行超时处理，由于使用的是urllib模块的urlopen，无法直接添加timeout参数（注：python2.6之前的urllib2模块也无法添加timeout参数）

 import socket
 import urllib2

 socket.setdefaulttimeout(seconds)
 open = urllib.urlopen("http://*****.com")

 #通过socket.setdefaulttimeout() 设置了全局默认超时时间，从而给urllibe.urlopen()也设置了默认的超时时间

Python urllib2设置超时并处理超时异常

最简单的情况是捕获urllib2.URLError

 try:
     urllib2.urlopen("http://example.com", timeout = 1)
 except urllib2.URLError, e:
     raise MyException("There was an error: %r" % e)  

以下代码对超时异常进行了捕获

 import urllib2
 import socket  

 class MyException(Exception):
         pass  

 try:
     urllib2.urlopen("http://example.com", timeout = 1)
 except urllib2.URLError, e:
     if isinstance(e.reason, socket.timeout):
         raise MyException("There was an error: %r" % e)
     else:
         # reraise the original error
         raise

下面是自己爬虫程序内的一部分，仅仅做了简单的捕获处理。

 def saveImg(self, imageURL, fileName):
         try:
             u = urllib2.urlopen(imageURL, timeout=10)
             data = u.read()
             f = open(fileName, 'wb')
             f.write(data)
             print u"正在保存美女图片", fileName
             f.close()
         except Exception, e:
             print e