团队-爬虫豆瓣top250项目-模块开发过程

项目托管平台地址:https://github.com/gengwenhao/GetTop250.git

开发模块功能:

"get_info()单个页面的爬取"功能,开发时间:15天(小时),实现了"对签250电影任意页面准确的将信息爬取下来",实现过程是"通过requests包和b4包将页面的html源码下载, 并分析提取出来"

"get_urls()生成前250电影的页面地址"功能,开发时间:1天(小时),实现了"前250电影的页面地址生成并封装传递给其他模块",实现过程是

python def get_urls(): base_url = r' https://movie.douban.com/top250?start=%s&filter=' urls = [] for i in range(0, 11): index = i * 25 url = base_url % (index) urls.append(url) return urls

通过分析地址的规则, 构造get的filter传参

遇到的问题及问题解决方法:

开发电影地址获取时遇到了"无法请求到页面"的问题,最终使用"在请求头加入firefox浏览器标识"方法解决了这个问题

html = requests.get(url, headers=HEADERS)
html.encoding = "utf8"

其他补充说明:

程序对爬取的数据展示很单一, 有必要再后期加入更多样的信息显示(比如使用web页面展示出来)