爬虫入门实例:利用requests库爬取笔趣小说网
w3cschool上的来练练手,爬取笔趣看小说http://www.biqukan.com/,
爬取《凡人修仙传仙界篇》的所有章节
1.利用requests访问目标网址,使用了get方法
2.使用BeautifulSoup解析返回的网页信息,使用了BeautifulSoup方法
3.从中获取我们需要的小说内容,使用了find,find_all等方法
4.进行格式化处理,主要是python里字典和列表的运算
5.保存到txt文件,涉及一些简单的文件操作,open,write等
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
import os class NovelSpider:
def __init__(self):
self.start_url = 'https://www.biqukan.com/1_1680/' def get_novel(self):
# 访问起始URL
response = requests.get(self.start_url)
# 这里用lxml解析器会出问题,找了好久才发现。。。
soup = BeautifulSoup(response.text, 'html.parser')
# print(response.text)
div_chapter = soup.find(class_="listmain")
# print(div_chapter)
# 选取所有的a标签,a标签包含所有章节名称和URL
chapter_list = div_chapter.find_all('a')
# 这里去除前12个重复的章节(具体看html代码)
chapter_list = chapter_list[12:]
#print(chapter_list)
chapter = []
# 记录总章节数,下载显示完成率
chapter_num = len(chapter_list)
# 设置计数器
count = 0
# 循环对每个章节进行访问和下载
print('《凡人修仙传仙界篇》开始下载:')
for cl in chapter_list:
chapter_dict = {}
chapter_name = cl.get_text()
# 抓取章节名称
chapter_dict['name'] = chapter_name
chapter_url = cl.get('href')
# 抓取章节URL地址
chapter_dict['value'] = 'https://www.biqukan.com' + chapter_url
if chapter_dict not in chapter:
chapter.append(chapter_dict)
print(f"已下载:{count}/{chapter_num}")
# 调用download_novel(),按章节下载小说
self.download_novel(chapter_dict)
# 同时计数器加一
count += 1 def parse_novel(self, url):
# 小说章节的具体内容是动态加载的,用Phantom访问
browser = webdriver.PhantomJS(executable_path=r'F:\Spider\novelSpider\phantomjs.exe')
browser.get(url)
soup = BeautifulSoup(browser.page_source, 'html.parser')
find_txt = soup.find(class_='showtxt')
# print(type(find_txt.get_text()))
return find_txt.get_text() def download_novel(self, data): # data是{name:章节名,value:章节url地址}的字典
filename = data['name']
url = data['value']
# 通过url访问小说章节的具体内容,返回小说内容,str
txt = self.parse_novel(url) # 设置下载存储路径
path = r"F:\Spider\novelSpider"
# 检查路径是否存在,否则创建新的文件夹
isExists = os.path.exists(path)
if not isExists:
# print('创建了新的文件夹')
os.mkdir(path)
else:
# print('文件夹已存在')
pass # 保存txt文件
with open(path + f'\凡人修仙传仙界篇.txt', 'a', encoding='utf-8') as f:
# print(f'正在下载--{filename}')
f.write(f'{filename}\n\n')
f.write(txt)
# 章节分割线
f.write('\n======\n\n')
f.close() if __name__ == '__main__':
ns = NovelSpider()
ns.get_novel()
下载真的是超级慢,,,好像是PhantomJS访问花时间,,有待学习和改进!
爬虫入门实例:利用requests库爬取笔趣小说网的更多相关文章
- PYTHON 爬虫笔记八:利用Requests+正则表达式爬取猫眼电影top100(实战项目一)
利用Requests+正则表达式爬取猫眼电影top100 目标站点分析 流程框架 爬虫实战 使用requests库获取top100首页: import requests def get_one_pag ...
- 爬虫系列4:Requests+Xpath 爬取动态数据
爬虫系列4:Requests+Xpath 爬取动态数据 [抓取]:参考前文 爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]:参 ...
- Jsoup-基于Java实现网络爬虫-爬取笔趣阁小说
注意!仅供学习交流使用,请勿用在歪门邪道的地方!技术只是工具!关键在于用途! 今天接触了一款有意思的框架,作用是网络爬虫,他可以像操作JS一样对网页内容进行提取 初体验Jsoup <!-- Ma ...
- Python爬取笔趣阁小说,有趣又实用
上班想摸鱼?为了摸鱼方便,今天自己写了个爬取笔阁小说的程序.好吧,其实就是找个目的学习python,分享一下. 1. 首先导入相关的模块 import os import requests from ...
- bs4爬取笔趣阁小说
参考链接:https://www.cnblogs.com/wt714/p/11963497.html 模块:requests,bs4,queue,sys,time 步骤:给出URL--> 访问U ...
- 【个人】爬虫实践,利用xpath方式爬取数据之爬取虾米音乐排行榜
实验网站:虾米音乐排行榜 网站地址:http://www.xiami.com/chart 难度系数:★☆☆☆☆ 依赖库:request.lxml的etree (安装lxml:pip install ...
- 爬虫系列2:Requests+Xpath 爬取租房网站信息
Requests+Xpath 爬取租房网站信息 [抓取]:参考前文 爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]:参考前文 ...
- 爬虫系列1:Requests+Xpath 爬取豆瓣电影TOP
爬虫1:Requests+Xpath 爬取豆瓣电影TOP [抓取]:参考前文 爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]: ...
- scrapy框架爬取笔趣阁
笔趣阁是很好爬的网站了,这里简单爬取了全部小说链接和每本的全部章节链接,还想爬取章节内容在biquge.py里在加一个爬取循环,在pipelines.py添加保存函数即可 1 创建一个scrapy项目 ...
随机推荐
- EDI 学习开发(一)
最近有个需求,关于EDI 的开发,效果烂成一坨屎,写个总结,记录这坨屎. 配置文件:01.EDI.Export.Config(在EDI 服务器SystemConfig目录下) 02.EDI.TypeC ...
- 使用Laya引擎开发微信小游戏(上)
本文由云+社区发表 使用一个简单的游戏开发示例,由浅入深,介绍了如何用Laya引擎开发微信小游戏. 作者:马晓东,腾讯前端高级工程师. 微信小游戏的推出也快一年时间了,在IEG的游戏运营活动中,也出现 ...
- 一篇文章让你成为 NIO 大师 - MyCAT通信模型
这篇文章没有详细介绍 NIO 的概念,对于 NIO 不了解的同学,可根据自己需要,阅读这篇介绍 NIO 的博客 io.mycat.net.NIOAcceptor NIOAcceptor负责处理客 ...
- FineUI开源版(ASP.Net)初学手册-部分JS整理
有人老找JS,我吧FineUI自己写的JS沾过来方便大家看看,在实现前端的时候更灵活 JS 实例 注释 控件 F.ready F.ready(function(){}); 就是ready 很多方法 ...
- bash内置命令mapfile:读取文件内容到数组
bash提供了两个内置命令:readarray和mapfile,它们是同义词.它们的作用是从标准输入读取一行行的数据,然后每一行都赋值给一个数组的各元素.显然,在shell编程中更常用的是从文件.从管 ...
- CoreJava(一)—— Java迭代语句
本文介绍一些关于迭代语句的一些相关技巧以及Java8中的迭代语句的使用方法. public class TestBreak { public static void main(String[] arg ...
- mysql循环插入数据、生成随机数及CONCAT函数
实现目标:一年12个月,每个月插入一条数据,score为1-5的随机数 循环语句: WHILE -- DO -- END WHILE DELIMITER ; CREATE PROCEDURE test ...
- 第一册:lesson twenty five。
原文:Mrs.smith's kitchen. Mrs.smith's kitchen is small. There is a refrigerator in the kitchen. The re ...
- ResourceOwnerPassword模式使用数据库.
有时候, ResourceOwnerPassword模式有用的, 可以用来代替我们原来管理程序的开发方式. 因为管理程序本身拥有用户数据的权限嘛, 并不是第三方应用, 无需要授权 集成很简单. 1. ...
- .NET 中的序列化 & 反序列化
序列化:将对象的状态信息及类型信息,转换为一种易于传输或存储形式(流,即字节序列)的过程. 下图为序列化过程图示,图片来自微软官方文档: 反序列化:与序列化相反,将流转换为对象的过程. 常用的有二进制 ...