网络爬虫之网站图片爬取-python实现

版本1.5

本次简单添加了四路多线程（由于我电脑CPU是四核的），速度飙升。本想试试xPath，但发现反倒是多此一举，故暂不使用

#-*- coding:utf-8 -*-
import re,urllib,os,urllib2,chardet,requests,time
from multiprocessing.dummy import Pool

def urllink(link):  #网页HTML获取以及编码转换
    html_1 = urllib2.urlopen(link,timeout=120).read()
    encoding_dict = chardet.detect(html_1)
    web_encoding = encoding_dict['encoding']
    if web_encoding == 'utf-8' or web_encoding == 'UTF-8':
        html = html_1
    else :
        html = html_1.decode('gbk','ignore').encode('utf-8')
    return html

def downloadpic(j):
    href = 'http://www.dazui88.com' + re.search('href="(.*?).html', j).group(1)  # 每一套总网址
    label = (re.findall('alt="(.*?)"', j, re.S))[0].strip()  # 每一套名称
    path = unicode(r'D:\pachong\pans\%s' % (label), 'utf-8')  # 每一套文件夹
    print '开始下载，%s' % (label)
    if not os.path.exists(path):
        os.mkdir(path)
    p = 0
    for k in range(1, 100):  # 爬取其中每一张图片
        hrefnew = href
        if k is not 1:
            hrefnew = href + '_%d' % k
        hrefnew += '.html'
        try:  # 如果此页不存在，表示已经爬完了，开始爬下一组
            html2 = urllink(hrefnew)
        except:
            print u'该套下载完毕\n'
            break;
        try:  # 如果该页中图片丢失，则开始爬下一张
            picurl = re.findall('img alt.*?src="(.*?)"', html2)
        except:
            print u'该处丢失一张'
            continue
        for n in picurl:  # 由于可能存在多张，故需一一下载
            p += 1
            if not re.findall('http', n, re.S):  # 部分图片缺少前缀部分，故需判断后添加
                n = 'http://www.dazui88.com' + n
            print u'正在下载图片，图片地址：' + n
            retu = requests.get(n, stream=True)
            picpath = unicode(r'D:\pachong\pans\%s\%s' % (label, str(p)) + '.jpg', 'utf-8')
            file = open(picpath, 'wb')
            for chunk in retu.iter_content(chunk_size=1024 * 8):
                if chunk:
                    file.write(chunk)
                    file.flush()
            file.close()

def spider():
    for i in range(2,46):               #爬取总共的主页面数
        link1="http://www.dazui88.com/tag/pans/list_86_%d.html"%i
        html=urllink(link1)
        plist=re.findall("<p>.*?</p>",html,re.S)
        pool = Pool(4)
        pool.map(downloadpic,plist)
        pool.close()
        pool.join()

if __name__=="__main__":
    spider()

　　

*****************************  分割线  *********************************

版本1.2

此次添加若干功能，如下：

1.首先，终于解决了中文文件夹乱码的问题，现支持中文文件夹自动创建，我想吐槽一句，python的中文编码处理真的是稀烂，各种迷

2.美化脚本的输出，使其更加直观美观

3.解决了一个页面多张图片的下载问题

4.修复部分图片地址缺少前缀导致无法下载的问题

*****************************  分割线  *********************************

版本1.0

今天上午开始学了学爬虫技术。下午开始着手写了第一个网站爬虫脚本。

这次我要爬的是随手找的一个主要是妹子图片的网站，目标是把其中某个分类下的所有妹子套图都爬下来

(举例附网址：http://www.dazui88.com/tag/toutiao/list_130_1.html）

老司机们应该知道，一套图一般都有几十张，但这类网站一般一页只会放出一张或者几张，这样一来我们浏览图片时的观感就会大大下降，

因此一次把图片全都爬下来会方便的多。

实现时的技术要求与难点：

总的老说目前做的还比较粗糙，但完全够用，主要是拿来练练手。

1.本想以每套图片的名字作为文件夹，但是由于中文有乱码，暂时未实现；

2.下载图片使用的还是requests库，貌似 beautifulsoup库会更好一点，但暂未尝试；

3.由于并没有编写多线程，以及缓冲池之类的，速度会比较慢，但还可以接受；

4.脚本存在一定问题，如果网站其中一张图片丢失，该套图片的剩下部分会被跳过，可解决，但暂未解决；

5.脚本还可以做成软件的形式，但较耗时，有空再说；

6.由于此次爬取的网站其他版块的url结构基本一致，所以花上几秒钟改一下，就能很快爬取其他的图片，甚至整个站所有的图片，但是速度有待改进。

代码实现：

　

#-*- coding:utf-8 -*-
import re,urllib,os,urllib2,chardet,requests

def urllink(link):  #网页HTML获取以及编码转换
    html_1 = urllib2.urlopen(link,timeout=120).read()
    encoding_dict = chardet.detect(html_1)
    web_encoding = encoding_dict['encoding']
    if web_encoding == 'utf-8' or web_encoding == 'UTF-8':
        html = html_1
    else :
        html = html_1.decode('gbk','ignore').encode('utf-8')
    return html

def spider():
    m=0
    for i in range(1,12):               #爬取总共的主页面数
        link1="http://www.dazui88.com/tag/tgod/list_80_%d.html"%i
        html=urllink(link1)
        plist=re.findall("<p>.*?</p>",html,re.S)
        for j in plist:                 #开始爬其中每一套
            m+=1
            href = 'http://www.dazui88.com' + re.search('href="(.*?).html', j).group(1) #每一套总网址
            label = (re.findall('alt="(.*?)"',j,re.S))[0].strip()                       #每一套名称
            path = unicode(r'D:\pachong\tgod\%s %s' %( str(m),label), 'utf-8')          #每一套文件夹
            print '开始下载第%d套，%s'%(m,label)
            if not os.path.exists(path):
                os.mkdir(path)
            p=0
            for k in range(1,100):      #爬取其中每一张图片
                hrefnew=href
                if k is not 1:
                    hrefnew=href+'_%d'%k
                hrefnew+='.html'
                try:                    #如果此页不存在，表示已经爬完了，开始爬下一组
                    html2=urllink(hrefnew)
                except:
                    print u'该套下载完毕\n'
                    break;
                try:                    #如果该页中图片丢失，则开始爬下一张
                    picurl=re.findall('img alt.*?src="(.*?)"',html2)
                except:
                    print u'该处丢失一张'
                    continue
                for n in picurl:        #由于可能存在多张，故需一一下载
                    p+=1
                    print u'正在下载图片，图片地址：'+n
                    retu=requests.get(n,stream=True)
                    picpath=unicode(r'D:\pachong\tgod\%s %s\%s'%(str(m),label,str(p))+'.jpg','utf-8')
                    file=open(picpath,'wb')
                    for chunk in retu.iter_content(chunk_size=1024*8):
                        if chunk:
                            file.write(chunk)
                            file.flush()
                    file.close()

if __name__=="__main__":
    spider()