爬虫---lxml爬取博客文章

　　上一篇大概写了下lxml的用法，今天我们通过案例来实践，爬取我的博客博客并保存在本地

爬取博客园博客

爬取思路：

1、首先找到需要爬取的博客园地址

2、解析博客园地址

# coding:utf-8
import requests
from lxml import etree
# 博客园地址
url = 'http://www.cnblogs.com/qican/'
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36"
}
html =requests.get(url,headers=headers).text
# 解析html内容
xml = etree.HTML(html)

3、通过博客名称抓取博客标题和详情链接。

经过分析数据我们需要a标签下的文字和href内容

# 标题
title_list = xml.xpath('//div[@class="postTitle"]/a/text()')
# 链接url
url_list = xml.xpath('//div[@class="postTitle"]/a/@href')

4、再次请求博客详情链接获取博客内容

通过for循环获取到标题，链接内容，然后再次请求博客链接获取博客内容

for i,j in zip(title_list,url_list):
    # 再次请求博客链接
    r2 = requests.get(j,headers=headers).text
    # 解析内容
    xml_content = etree.HTML(r2)
    # 获取博客内容
    content = xml_content.xpath('//div[@class="postBody"]//text()')

5、获取的博客内容写入到txt文件中。

通过with写入txt文件中，这里注意内容的编码格式

for x in content:
        print(x.strip())
        with open(i+'.txt','a+',encoding='utf-8')as f:
            f.write(x)

写到这里发现我们都已经把博客内容写入了txt文件中，当然了这只是其中第一页的内容，我们通过观察url链接，发现分页是有page控制的，我们来模拟page数据获取全部博客内容

代码如下：

通过for循环获取模拟分页

# coding:utf-8
import requests
from lxml import etree
# 通过循环模拟url分页
for page in range(1,4):
# 博客园地址
    url = 'https://www.cnblogs.com/qican/default.html?page=%s'%page
    print(url)
    headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36"
    }
    html =requests.get(url,headers=headers).text
    # 解析html内容
    xml = etree.HTML(html)
    # 标题
    title_list = xml.xpath('//div[@class="postTitle"]/a/text()')
    # 链接url
    url_list = xml.xpath('//div[@class="postTitle"]/a/@href')
    for i,j in zip(title_list,url_list):
        print(i)
        # 再次请求博客链接
        r2 = requests.get(j,headers=headers).text
        # 解析内容
        xml_content = etree.HTML(r2)
        # 获取博客内容
        content = xml_content.xpath('//div[@class="postBody"]//text()')
        # 写入内容
        for x in content:
            print(x.strip())
            with open(i+'.txt','a+',encoding='utf-8')as f:
                f.write(x)

简单的通过案例又一次加深了lxml的用法，当然方法很多种，喜欢哪种用哪种。~~~