基于python的爬虫项目

一、项目简介

1.1 项目博客地址

https://www.cnblogs.com/xsfa/p/12083913.html

1.2 项目完成的功能与特色

爬虫和拥有三个可视化数据分析

1.3 项目采用的技术栈

python requests pyecharts

二、项目的需求分析

随着互联网的发展壮大,网络数据越来越多,如何高效抓取信息成为难题。网络爬虫具有自动提取网页信息的能力。文章根据网站的特点,提出了一种基于Python中requests模块及Py Query模块进行数据采集的爬虫程序设计,可采集豆瓣网大量信息。本设计具有针对性强,操作容易、简单,采集数据准确,采集量大等优点。

三、项目功能架构图、主要功能流程图

项目功能架构图：

主要功能流程图：

四、系统模块说明

4.1 系统模块列表

爬虫

可视化数据分析

4.2 各模块详细描述（名称，功能，运行截图，关键源代码）

1.名称：爬虫

功能：爬取豆瓣网的评分，名称，观看数，类型，地区，时长

运行截图：

关键源代码：

2.名称：可视化数据分析

功能：电影类型以柱状图的形式展现，电影地区以饼图的形式展现，电影评分以散点图的形式展现

运行截图：

关键源代码：

五、项目总结

5.1 特点

该项目的可视化分析可以明显的看出豆瓣网的电影类型的多少，电影评分的高低和电影那个地区高产与否

5.2 不足之处

项目可分析的资源过少，散点图由于数据太对没办法显示就隐藏了