Python数据分析与爬虫

数据分析重要步骤：

1.数据获取
  可以进行人工收集获取部分重要数据

可以在各个数据库中导出数据

使用Python的爬虫等技术

2.数据整理
  从数据库、文件中提取数据，生成DataFrame对象

采用pandas库读取文件

3.数据处理
数据准备：

对DataFrame对象（多个）进行组装、合并等操作

pandas操作

数据转化：

类型转化、分类（面元等）、异常值检测、过滤等

pandas库的操作

数据聚合：

分组（分类）、函数处理、合并成新的对象

pandas库的操作

4.数据可视化
  将pandas的数据结构转化为图表的形式

matplotlib库

5.预测模型的创建和评估
  数据挖掘的各种算法：

关联规则挖掘、回归分析、聚类、分类、时序挖掘、序列模式挖掘等

6.部署（得出结果）
  从模型和评估中获得知识

知识的表示形式：规则、决策树、知识基、网络权值

原网址：https://blog.csdn.net/qq_35187510/article/details/80078143

爬取网页数据步骤：

简介：

（1）网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者）：
是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据。

（2）爬虫可以做什么？
你可以用爬虫爬图片，爬取视频等等你想要爬取的数据，只要你能通过浏览器访问的数据都可以通过爬虫获取。当你在浏览器中输入地址后，经过DNS服务器找到服务器主机，向服务器发送一个请求，服务器经过解析后发送给用户浏览器结果，包括html,js,css等文件内容，浏览器解析出来最后呈现给用户在浏览器上看到的结果
所以用户看到的浏览器的结果就是由HTML代码构成的，我们爬虫就是为了获取这些内容，通过分析和过滤html代码，从中获取我们想要资源。

页面获取

1.根据URL获取网页

• URL处理模块（库）
  import urllib.request as req
• 创建一个表示远程url的类文件对象
  req.urlopen(' ')
• 如同本地文件一样读取内容

import urllib.request as req
# 根据URL获取网页：
#http://www.hbnu.edu.cn/湖北师范大学
url = 'http://www.hbnu.edu.cn/'
webpage = req.urlopen(url) # 按照类文件的方式打开网页
# 读取网页的所有数据,并转换为uft-8编码
data = webpage.read().decode('utf-8')
print(data)

　　

2.网页数据存入文件

#将网页爬取内容写入文件
import urllib.request
url = "http://www.hbnu.edu.cn/"
responces = urllib.request.urlopen(url)
html = responces.read()
html = html.decode('utf-8')
fileOb = open('C://Users//ALICE//Documents//a.txt','w',encoding='utf-8')
fileOb.write(html)
fileOb.close()

此时我们从网页中获取的数据已保存在我们指定的文件里，如下图所示：

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　网页获取

从图中可以看出，网页的所有数据都存到了本地，但是我们需要的数据大部分都是文字或者数字信息，而代码对我们来说并没有用处。那么我们接下来要做的是清除没用的数据。

之后需要数据清洗，接下来的请听下回分解。