yython爬虫基础知识入门

Python爬虫

关注公众号“轻松学编程”了解更多。

大纲：

1、获取响应
urllib(python3)/urllib2-urllib(python2)

requests(urllib3) --get/post

2、解析响应
HTML、json
re/bs4/xpath(描述性语句)

3、通用动态数据加载 selenium(自动化测试框架) + phantomJS(无界面浏览器)、handles

4、scrapy框架
高性能(多线程-10条、并发-16的框架)、高定制(爬虫)
提供了数据的下载、解析(xpath)、持久化

5、scrapy-redis(分布式策略)
核心–redis-组件(一主多从) —在redis实现任务分配、指纹去重
根本–scrapy

6、解决的问题
反反爬虫(爬虫工程师)
反爬虫(对web后端–Django中间件)

一、urllib2库的基本使用

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 在Python中有很多库可以用来抓取网页，我们先学习urllib2。

urllib2 是 Python2.7 自带的模块(不需要下载，导入即可使用)

urllib2 官方文档：https://docs.python.org/2/library/urllib2.html

urllib2 源码：https://hg.python.org/cpython/file/2.7/Lib/urllib2.py

urllib2 在 python3.x 中被改为urllib.request

import urllib2
import urllib

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}

def baiduAPI(wd):
    '''
    百度接口
    :return:response
    '''
    # url编码,多个参数,按字典格式写,自动拼接&
    wd = urllib.urlencode({"wd": wd, "rsv_spt": "1"})

    url = 'https://www.baidu.com/s?' + wd
    print url
    request = urllib2.Request(url, headers=headers)
    respose = urllib2.urlopen(request)

    return respose.read()

if __name__ == '__main__':
    kw = raw_input("请输入搜索关键字：")
    response = baiduAPI(kw)
    print response

二、urllib

1、简介

官方文档地址：https://docs.python.org/3/library/urllib.html

Urllib是python内置的HTTP请求库，提供了一系列用于操作URL的功能。

包括以下模块 ：

urllib.request 请求模块

urllib.error 异常处理模块

urllib.parse url解析模块

urllib.robotparser robots.txt解析模块

urllib的request模块可以非常方便地抓取URL内容，也就是发送一个GET请求到指定的页面，然后返回HTTP的响应。

2、urlopen

######2.1 参数介绍：

urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT,
            *, cafile=None, capath=None,
            cadefault=False, context=None):

常用参数有3个：

url：请求体(包含请求地址、代理等信息)；

data：如果添加data参数就是以post请求方式请求，如果没有data参数就是get请求方式 ；

timeout：请求时间

######2.2 返回值：

# 向指定的url发送请求，返回一个类文件对象，支持python文件操作
read() #全部读取
readlines() #以行方式全部读取
readline() #读取一行

2.3 例子

获取get请求

import urllib.request

header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
    }

'''
url, data=None, 获取get请求
headers={} 请求头
'''
req = urllib.request.Request('https://www.baidu.com', headers=header)  # 请求体
print(req.get_header('User-agent'))  # 第一个必须大写，其余必须小写
response = urllib.request.urlopen(req)  # 发送请求
print(response.read().decode())

获取post请求：

post请求一般用于Form表单，可以封装成一个字典，放在urllib.request.Request()中，返回一个请求体。

从浏览器中获取一个form-data数据

把复制的数据放到sublime编辑器中，使用正则表达式替换为json格式：

查找->替换
正则表达式为：
^(.*):(.*)$
"\1":"\2",

import urllib
import json

from urllib import request, parse
#请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}

def getJobTotalPage(kw):
    '''
    获取相关岗位总页数
    :param kw: 岗位名
    :return: 总页数
    '''

    # 种子
    url = "https://job.alibaba.com/zhaopin/socialPositionList/doList.json"
    # 表单数据
    data = {
        "pageSize": "10",
        "t": "0.24795042432579706",
        "keyWord": kw,
        "location": "",
        "second": "",
        "first": "",
        "pageIndex": "1"
    }
    # url编码
    data = urllib.parse.urlencode(data).encode('utf-8')
    # 请求，data=data表明是POST请求
    req = urllib.request.Request(url, data=data, headers=headers)
    # 获取响应
    response = urllib.request.urlopen(req).read().decode('utf-8')
    # 转json
    data = json.loads(response)
    # 获取岗位数量
    totlPage = data['returnValue']['totalPage']
    return int(totlPage)

def getJobInfo(kw, pagenum):
    '''
    获取岗位数量
    :param kw: 搜索关键字
    :param pagenum: 总页面数量
    :return: 岗位信息
    '''
    url = "https://job.alibaba.com/zhaopin/socialPositionList/doList.json"
    # 根据岗位类型抓取全部页面数据
    for i in range(1, pagenum + 1):
        data = {
            "pageSize": "10",
            "t": "0.24795042432579706",
            "keyWord": kw,
            "location": "",
            "second": "",
            "first": "",
            "pageIndex": i
        }
        # url编码
        data = urllib.parse.urlencode(data).encode('utf-8')  # POST data should be bytes
        '''
        url, data=None, headers={}
        '''
        req = urllib.request.Request(url, data=data, headers=headers)  # POST请求
        response = urllib.request.urlopen(req).read().decode('utf-8')
        # print(response)

        # 转json
        data = json.loads(response)
        # 获取job列表
        jobList = data['returnValue']['datas']
        # print(jobList)

        # 提取岗位详细信息
        for job in jobList:
            # 学历
            degree = job['degree']
            # 部门
            departmentName = job['departmentName']
            # 描述
            description = job['description'].replace('<br/>', '')
            # 技术分类
            firstCategory = job['firstCategory']
            # 岗位名
            name = job['name']
            # 要求
            requirement = job['requirement'].replace('<br/>', '')
            print(degree, departmentName, description, requirement)

if __name__ == '__main__':
    # 岗位列表
    jobList = ['python', 'java']

    for job in jobList:
        totlPage = getJobTotalPage(job)
        print(totlPage)

        getJobInfo(job, totlPage)

3、User-Agent

######3.1 简介

有一些网站不喜欢被爬虫程序访问，所以会检测连接对象，如果是爬虫程序，也就是非人点击访问，它就会不让你继续访问，所以为了要让程序可以正常运行，需要隐藏自己的爬虫程序的身份。此时，我们就可以通过设置User Agent的来达到隐藏身份的目的，User Agent的中文名为用户代理，简称UA。

User Agent存放于Headers中，服务器就是通过查看Headers中的User Agent来判断是谁在访问。在Python中，如果不设置User Agent，程序将使用默认的参数，那么这个User Agent就会有Python的字样，如果服务器检查User Agent，那么没有设置User Agent的Python程序将无法正常访问网站。

######3.2 常用消息头(详解http请求消息头)

• Accept:text/html,image/*(告诉服务器，浏览器可以接受文本，网页图片)
• Accept-Charaset:ISO-8859-1 [接受字符编码：iso-8859-1]
• Accept-Encoding:gzip,compress[可以接受 gzip,compress压缩后数据]
• Accept-Language:zh-cn[浏览器支持的语言]
• Host:localhost:8080[浏览器要找的主机]
• Referer:http://localhost:8080/test/abc.html[告诉服务器我来自哪里,常用于防止下载，盗链]
• User-Agent:Mozilla/4.0(Com…)[告诉服务器我的浏览器内核]
• Cookie：[会话]
• Connection:close/Keep-Alive [保持链接，发完数据后，我不关闭链接]
• Date:[浏览器发送数据的请求时间]

header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36"}
request = urllib2.Request(url, headers=header) # 构造一个请求对象发送请求，伪装浏览器访问

######3.3 添加更多的Header信息

在 HTTP Request 中加入特定的 Header，来构造一个完整的HTTP请求消息。

可以通过调用Request.add_header() 添加/修改一个特定的header 也可以通过调用Request.get_header()来查看已有的header。

添加一个特定的header

request.add_header("Connection", "keep-alive") # 保持连接

print request.get_full_url() # 访问的网页链接
print request.get_host() # 服务器域名
print request.get_method() # get或post
print request.get_type() # http/https/ftp

response = urllib2.urlopen(request)
print response.code # 状态码200, 404，500
print response.info # 网页详细信息

data = response.read().decode("gbk")
print response.code # 响应状态码
return data

我们都知道Http协议中参数的传输是"key=value"这种简直对形式的，如果要传多个参数就需要用“&”符号对键值对进行分割。如"?name1=value1&name2=value2"，这样在服务端在收到这种字符串的时候，会用“&”分割出每一个参数，然后再用“=”来分割出参数值。

4、编码与解码

编码工作使用urllib的urlencode()函数，帮我们将key:value这样的键值对转换成"key=value"这样的字符串，解码工作可以使用urllib的unquote()函数。(注意，不是urllib2.urlencode())

urllib.urlencode(keyWord) # url编码
urllib.unquote(kw) # 解码

5、抓取ajax数据

import urllib.request
import json

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}

# ajax请求url

for i in range(100):
    url = "https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=&start=%d" % (i * 20)

    req = urllib.request.Request(url, headers=headers)
    response = urllib.request.urlopen(req).read().decode('utf-8')
    # print(response)

    # json数据
    data = json.loads(response)

    for i in data['data']:
        # 明星
        casts = i['casts']
        # 导演
        directors = i['directors']

        print(casts, directors)
        # 写入文件
        with open('movie.txt', 'a+', encoding='utf-8', errors='ignore') as f:
            f.write(str((casts, directors)) + '\n')
            f.flush()

6、处理HTTPS请求 SSL证书验证

现在随处可见 https 开头的网站，urllib2可以为 HTTPS 请求验证SSL证书，就像web浏览器一样，如果网站的SSL证书是经过CA认证的，则能够正常访问，如：https://www.baidu.com/等…

如果SSL证书验证不通过，或者操作系统不信任服务器的安全证书，比如浏览器在访问12306网站如：https://www.12306.cn/mormhweb/的时候，会警告用户证书不受信任。（据说 12306 网站证书是自己做的，没有通过CA认证）。

import urllib
from urllib import request

import ssl

context = ssl._create_unverified_context()  # 忽然安全证书
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}

url = "https://www.12306.cn/mormhweb/"

req = urllib.request.Request(url, headers=headers)
# 忽略证书安全ssl

response = urllib.request.urlopen(req, context=context)
print(response.read().decode())

后记

【后记】为了让大家能够轻松学编程，我创建了一个公众号【轻松学编程】，里面有让你快速学会编程的文章，当然也有一些干货提高你的编程水平，也有一些编程项目适合做一些课程设计等课题。

也可加我微信【1257309054】，拉你进群，大家一起交流学习。
如果文章对您有帮助，请我喝杯咖啡吧！

公众号

关注我，我们一起成长~~