15-糗事百科（python+xpath）

爬取糗事百科的段子：

1.用xpath分析首要爬去内容的表达式；

2.用发起请求，获得原码；

3.用xpath分析源码，提取有用信息；

4.由python格式转为json格式，写入文件

#_*_ coding: utf-8 _*_
'''
Created on 2018年7月17日
@author: sss
function: 爬取糗事百科里面的内容

'''

import requests
import json
from lxml import etree

url = "https://www.qiushibaike.com/8hr/page/3/"
headers = {'User-Agent': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;'}
html= requests.get(url, headers = headers).text
# print(html)

#将返回的字符串格式，转为HTML DOM模式
text = etree.HTML(html)

#获得包含每个糗事的链表
#返回所有糗事的节点位置，contains（）模糊查询方法，第一个参数为要匹配的标签，第二个参数为标签的内容
node_list = text.xpath('//div[contains(@id, "qiushi_tag_")]')

items = {}
for node in node_list:
    #用户名
#     username = node.xpath('./div/a/h2')[0].text
    username = node.xpath('.//h2')[0].text
    #图片连接
    image = node.xpath('.//img/@src')#[0]
    #取出标题下的内容
    content = node.xpath('./a/div/span')[0].text
    #点赞
    zan = node.xpath('./div/span/i')[0].text
    #评论
    comment = node.xpath('./div/span/a/i')[0].text

    items = {
        'username' : username,
        'image' : image,
        'content' : content,
        'zan' : zan,
        'comments' : comment
        }

    #把python格式的转换为json格式，此时转换成了字符串，就可以写入糗事段子.txt文件中了
    we=json.dumps(items, ensure_ascii=False)
    print(we)
    with open('qiushi.txt', 'a', encoding='utf-8') as f: #注意在这里转为utf-8格式
        f.write((we + '\n'))

　　

效果：

不

不以json格式存储：

#_*_ coding: utf-8 _*_
'''
Created on 2018年7月17日
@author: sss
function: 爬取糗事百科里面的内容

'''

import requests
import json
from lxml import etree

url = "https://www.qiushibaike.com/8hr/page/3/"
headers = {'User-Agent': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;'}
html= requests.get(url, headers = headers).text
# print(html)

#将返回的字符串格式，转为HTML DOM模式
text = etree.HTML(html)

#获得包含每个糗事的链表
#返回所有糗事的节点位置，contains（）模糊查询方法，第一个参数为要匹配的标签，第二个参数为标签的内容
node_list = text.xpath('//div[contains(@id, "qiushi_tag_")]')

items = {}
for node in node_list:
    #用户名
#     username = node.xpath('./div/a/h2')[0].text
    username = node.xpath('.//h2')[0].text.replace('\n','')   #用replace去掉\n
    #图片连接
    image = node.xpath('.//img/@src')#[0]
    #取出标题下的内容
    content = node.xpath('./a/div/span')[0].text.replace('\n','')
    #点赞
    zan = node.xpath('./div/span/i')[0].text
    #评论
    comment = node.xpath('./div/span/a/i')[0].text

    items = {
        'username' : username,
        'image' : image,
        'content' : content,
        'zan' : zan,
        'comments' : comment
        }

    #把python格式的转换为json格式，此时转换成了字符串，就可以写入糗事段子.txt文件中了
#     we=json.dumps(items, ensure_ascii=False)
#     print(we)
#     with open('qiushi.json', 'a', encoding='utf-8') as f: #注意在这里转为utf-8格式
#         f.write((we + '\n'))
    with open('qiushi_wenben.txt', 'a', encoding = "utf-8") as f:
        f.write('用户：' + username + '\n')
        f.write('图片链接：https:' + image[0] + '\n')
        f.write('内容：' + content + '\n')
        f.write('赞：' + zan + '\n')
        f.write('评论：' + comment + '\n\n')

　效果：