Python -- 网络编程 -- 抓取网页图片 -- 图虫网

字符串(str)编码成字节码(bytes)，字节码解码为字符串

获取当前环境编码：sys.stdin.encoding

url编码urllib.parse.quote()

url解码urllib.parse.unquote()

列表去重：pages = list(set(pages))

创建文件夹（可多级创建）：os.makedirs(folder)  os.mkdir()只能单级创建

首先分析网页（图虫网）的URL规律：

　　根网页地址形如：

　　　　http://tuchong.com/tags/人像/?page=[1, 2, 3 ...]

　　二级网页链接形如：

　　　　href="http://tuchong.com/239137/6400827/"
　　　　href="http://hezi1984.tuchong.com/6407909/"

　　目标图片链接形如：

　　　　src="http://photos.tuchong.com/27949/f/6915745.jpg"

-----程序源文件：getPic.py-----

 import re, os, time
 import urllib.parse
 import urllib.request

 def getHtml(url):#取得网页的html纯文本
     return urllib.request.urlopen(url).read().decode('utf-8')

 def download(url, filename):#将文件下载到本地
     urllib.request.urlretrieve(url, filename)

 if __name__ == '__main__':
     print('---图虫图片抓取器---')
     pageNo = int(input('请输入抓取页面的数字后缀（输入q退出）:'))
     #url汉字编码处理
     url = 'http://tuchong.com/tags/{}/?page={}'.format(\
                 urllib.parse.quote('人像'), str(pageNo))
     #获取页面HTML文本
     html = getHtml(url)

     #解析HTML文本，得到二级网页的地址（根网页缩略图所指向的链接）
     rePage = r'http://tuchong.com/\d+/\d+/|http://\w+(?<!photos).tuchong.com/\d+/'
     pages = re.findall(rePage, html)
     pages = list(set(pages))

     #解析二级网页，下载其中的图片
     for page in pages:
         print('当前网页：', page)
         html2 = getHtml(page)#取得二级网页内容
         #解析二级网页中图片地址的正则表达式
         rePic = r'http://photos.tuchong.com/.+/f/.+\.jpg'
         pics = re.findall(rePic, html2)
         pics = list(set(pics))
         folder = 'D:/TuChongRenXiang/{}/{}'.format(pageNo, page[-8:-1])
         if not os.path.exists(folder):
             os.makedirs(folder)
             note = open(folder+'/note.txt', 'wt')#在每个文件夹下创建一个日志文件，记录下载地址
             note.write('来源网址：'+page+'\n图片原始地址列表：\n')
             for pic in pics:
                 note.write(pic+'\n')
             note.close()
         print('目标文件夹：', folder)
         time.sleep(1)#程序暂停一秒
         for pic in pics:
             print('当前下载：', pic)
             download(pic, folder+'/'+pic[-11:])
     print('下载结束。')