从网上下载小说_keywords:python、multiprocess

 # -*- coding: utf-8 -*-
 __author__ = "YuDian"
 
 from multiprocessing import Pool  # Pool用来创建进程池
 import os, time
 from urllib import request  # 访问网页
 from bs4 import BeautifulSoup  # 第三方库，能更好的对HTML进行解析
 
 '''
     基本思路：1.从一个盗版小说网站上得到一些小说的名字和对应的链接；
              2.选定一本小说名，通过对应的链接得到小说的所有章节链接；
              3.通过所有所有的章节链接通过对每个章节的网页进行分析，得到小说正文。分别存在不同的文档中（使用多进程）
              4.将文档按顺序拼接，得到最终文档，删除中间文档。
 '''
 
 def download(head, filename, ProNum, start, end, PageLinks):  # 向函数传入请求头、文件名、进程序号、始末章节、章节链表
     print(os.getpid())  # 打印该进程id
     for page in range(start, end + 1):
         PageUrl = PageLinks[page]
         PageReq = request.Request(PageUrl, headers=head)
         response = request.urlopen(PageReq)
         PageHtml = BeautifulSoup(response, 'lxml')
 
         title = PageHtml.find('div', class_='entry-single').h1.string  # 分析得到小说标题
         print(title, 'is downloading...')
         print(os.getpid())
         if page == start:
             f = open(filename + str(ProNum) + '.txt', 'w')  # 小说名+进程序号作为文件名
             f.write('\n' + title + '\n')
         else:
             f = open(filename + str(ProNum) + '.txt', 'a')
             f.write('\n' + title + '\n')
         text = PageHtml.find('div', id='booktext').children
         for i in text:
             if (i.find('div') == -1):
                 if len(i) > 1:
                     newstr = str(i).replace('\n', '').replace('\xa0', ' ').replace('\ue810', '').replace('\ue420',
                                                                                                          '').replace(
                         '\ue2f0', '').replace('\ue0df', '')  # 根据输出的情况手动将不能编码的字符进行转换
                     try:  # 保证在遇到不能打印的字符时，程序能进行运行。
                         f.write(newstr)
                     except Exception as e:
                         print(e)
 
 # 第一步：从网站上得到所有的小说名字和对应链接
 
 if __name__ == '__main__':
     AllLinks = {}  # AllLinks用来存放小说名称和对应链接
     url = r'http://www.kushubao.com/xiaoshuodaquan/3.html'  # 网站网址
     HeadUrl = r'http://www.kushubao.com'  # 因为从网址上爬到的小说链接只有后面的/xxxx所以要自己补全URL。
     head = {}  # 以浏览器的方式进行访问
     head[
         'User-Agent'] = 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19'
     req = request.Request(url, headers=head)
     response = request.urlopen(req)  # 返回的response通过response.read().decode('uth-8')就可以输出网页的HTML
     html = BeautifulSoup(response, 'lxml')  # 将response变为BeautifulSoup能处理的对象
     novellist = html.find(class_='novellist')  # 定位到小说名和对应链接在的地方
     novels = novellist.find_all('a')  # 得到所有的小说名和链接在的HTML语句，.find_all()方法得到的是一个list
     for novel in novels:
         AllLinks[novel.string] = str(HeadUrl + novel.get('href'))
 
     # 第一步到这里结束。此时所有的小说名和对应的完整链接都存放在名为AllLinks的字典中。
     #
     # 第二步：通过指定小说名，从AllLinks中得到该小说的对应链接，然后下载所有的小说章节。
 
     name = '神灵契约'  # 指定的小说名称
     NovelUrl = AllLinks[name]
     NovelReq = request.Request(NovelUrl, headers=head)
     PageLinks = []  # 列表，用来存放所有的小说章节链接。
     # 不用字典的理由：因为元素在字典里面是无序排列的，在第三步要按顺序从低章到高章下载。所以直接用了一个list。反正章节名可以在没章里面搞到。
     response = request.urlopen(NovelReq)
     html = BeautifulSoup(response, 'lxml')  # html 中放的就是有每章的名字和链接的BeautifulSoup对象。可以用html.pretty()进行查看
     LinkTag = html.find('div', id='xslist')
     PageList = LinkTag.find_all('a')
     for page in PageList:
         PageLinks.append(NovelUrl + page.get('href'))
 
     # 自此，第二步结束，得到的章节链接仿真了PageLinks的链表中。
 
     # 第三步，多并程下载小说内容
 
     ProcessNumber = 11  # 要开的进程数
     p = Pool()  # 创建进程池。由于参数缺省，默认为运行电脑的核数
     StartTime = time.time()  # 开始时间
     StartPage = 0
     for process in range(ProcessNumber):  # 用来创建进程
         if (process < ProcessNumber - 1):
             EndPage = int(len(PageLinks) / ProcessNumber * (process + 1) - 1)
         else:
             EndPage = len(PageLinks) - 1
         #         得到每个进程下载起始章节。
         print('进程序号：', process + 1, '始末章节：%s--->%s' % (StartPage, EndPage))
         p.apply_async(download, args=(head, name, process, StartPage, EndPage, PageLinks))
         StartPage = EndPage + 1
     p.close()  # close和join要放到for循环外。
     p.join()
     EndTime = time.time()
     print('Total run time=%.3f' % (EndTime - StartTime))
 
     # 第三步结束。（download传入的参量太多了。)
 
     # 第4步：将所有分开的章节整合到一起，并删除临时章节。
 
     wr = open(name + '.txt', 'w')  # 最后存放的文件名
     for i in range(ProcessNumber):
         re = open(name + str(i) + '.txt', 'r')
         lines = re.readlines()
         wr.writelines(lines)
         re.close()
     wr.close()
     # 文件合并完毕
     for i in range(ProcessNumber):
         try:
             os.remove(name + str(i) + '.txt')  # 移除文件
         except Exception as e:
             print('文件：', name + str(i) + '.txt', '无法删除')