parsel的使用

介绍

　　parsel这个库可以解析HTML和XML，并支持使用XPath和CSS选择器对内容进行提取和修改，同时还融合了正则表达式的提取功能。parsel灵活强大，同时也是Python最流行的爬虫框架的底层支持。

parsel的API和Scrapy选择器的API极其相似，因为Scrapy的选择器就是基于parsel做的二次封装。

准备工作

可以使用pip3安装：

pip install parsel

初始化

声明html变量：

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''

使用parsel库里的Selector这个类声明一个Selector对象：

from parsel import Selector
selector = Selector(text=html)

　　创建Selector对象后，传入text参数，内容就是刚才声明的HTML字符串，然后把创建的对象赋值为selector变量。

　　有了Selector对象后，可以使用css和xpath对象方法分别传入CSS选择器和XPath进行内容提取，例如提取class包含item-0的节点：

items = selector.css('.item-0')
print(len(items),type(items))
items2 = selector.xpath('//li[contains(@class,"item-0")]')
print(len(items2),type(items2),items2)

　　先用css方法进行节点提取，然后输出了提取结果的长度和内容。xpath方法写法一样。

运行结果：

3 <class 'parsel.selector.SelectorList'> [<Selector query="descendant-or-self::*[@class and contains(concat(' ', normalize-space(@class), ' '), ' item-0 ')]" data='<li class="item-0">first item</li>'>, <Selector query="descendant-or-self::*[@class and contains(concat(' ', normalize-space(@class), ' '), ' item-0 ')]" data='<li class="item-0 active"><a href="li...'>, <Selector query="descendant-or-self::*[@class and contains(concat(' ', normalize-space(@class), ' '), ' item-0 ')]" data='<li class="item-0"><a href="link5.htm...'>]
3 <class 'parsel.selector.SelectorList'> [<Selector query='//li[contains(@class,"item-0")]' data='<li class="item-0">first item</li>'>, <Selector query='//li[contains(@class,"item-0")]' data='<li class="item-0 active"><a href="li...'>, <Selector query='//li[contains(@class,"item-0")]' data='<li class="item-0"><a href="link5.htm...'>]

　　两个结果都是SelectorList对象，这其实是一个可迭代对象。用len方法获取了结果的长度，都是3。另外，提取结果代表的解读也是一一样的，都是第1、3、5个li节点，每个节点还是以Selector对象的形式返回，其中每个Selector对象的data属性里面包含对应提取节点的HTML代码。

　　第一次用cs方法提取的节点，结果中的Selector对象输出的是xpath属性而不是css属性。这是因为在css方法的背后，传入的CSS选择器首先是被转成了XPath，真正用于节点提取的是XPath。其中CSS选择器准换为XPath的过程是由底层的cssselect这个库实现的，例如 .item-0 这个CSS选择器转换为XPath的结果就是 descendant-or-self::*[@class and contains(concat(' ', normalize-space(@class), ' item-0')]，因此输出的Selector对象就有了XPath属性。

提取文本

　　提取的结果是一个可迭代对象SelectorList，那么想要获取提取到的所有li节点的文本内容，就要对结果进行遍历：

from parsel import Selector
selector = Selector(text=html)
items = selector.css('.item-0')
for item in items:
    text = item.xpath('.//text()').get()
    print(text)

　　遍历items变量，并赋值为item，于是这里的item变成了一个Selector对象，此时又可以调用其css或xpath方法进行内容提取。这里用.//text()这个XPath写法提取了当前节点的所有内容，此时如果不在调用其他方法，那么返回结果依然为Selector构成的可迭代对象SelectorList。SelectorList中有一个get（）方法，可以将SelectorList包含的Selector对象中的内容提取出来。

运行结果：

first item
third item
fifth item

get方法的作用是从SelectorList里面提取第一个Selector对象，然后输出其中的结果。

实例：

result = selector.xpath('//li[contains(@class,"item-0")]//text()').get()
print(result)

运行结果：

first item

　　使用//li[contains(@class,"item-0")]//text()选取了所有class包含item-0的li节点的文本内容。准确来说返回结果SelectorList应该对应三个li对象，而这里get方法仅仅返回第一个li对象的文本内容，因为他其实只会提取第一个Selector对象的结果。

　　若想提取所有Selector对应内容，可以使用getall方法：

result = selector.xpath('//li[contains(@class,"item-0")]//text()').getall()
print(result)

运行结果：

['first item', 'third item', 'fifth item']

　　得到的是列表类型的结果，其中的每一项和Selector对象时一一对应的。

　　如果要提取SelectorList里面对应的结果，可以使用get或getall方法，前者会获取第一个Selector对象里面的内容，后者会依次获取每个Selector对象对应的结果。

　　把xpath方法改写成css方法：

result = selector.css('.item-0 *::text').getall()
print(result)

　　用*提取所有子节点（包括纯文本节点），提取文本需要再加上::text，最终的运行结果和上面是一样。

提取属性

　　直接在XPath或者CSS选择器中表示出即可。

　　例如提取第三个li节点内部的a节点的href属性：

from parsel import Selector
selector = Selector(text=html)
items = selector.css('.item-0')
result = selector.css('.item-0.active a::attr(href)').get()
print(result)
result = selector.xpath('//li[contains(@class,"item-0") and contains(@class,"active")]/a/@href').get()
print(result)

　　分别用css和xpath方法实现。以同时包含item-0和active两个class为依据，来选取第三个li节点，然后进一步选取了里面的a节点。对于CSS选择器，选取属性需要添加::attr()，并传入对应的属性名称才可以选取；对于XPath，直接用/@再加属性名称即可选取。最后统一用get方法提取结果。

运行结果：

link3.html
link3.html

两种方法都正确提取了href属性。

正则提取

　　除了常用的css和xpath方法，Selector对象还提供了正则表达式提取方法：

from parsel import Selector
selector = Selector(text=html)
result = selector.css('.item-0').re('link.*')
print(result)

　　用css方法提取所有class半酣item-0的节点，然后使用re方法传入link.*，用来匹配包含link的所有结果。

运行结果：

['link3.html"><span class="bold">third item</span></a></li>', 'link5.html">fifth item</a></li>']

　　re方法遍历了所有提取到的Selector对象，然后根据re方法传入的正则表达式，查找出符合规则的节点源码并以列表形式返回。

　　如果在调用css方法时，已经提取了进一步的结果，例如提取了节点文本值，那么re方法就只针对节点文本值进行提取：

from parsel import Selector
selector = Selector(text=html)
# result = selector.css('.item-0').re('link.*')
result = selector.css('.item-0 *::text').re('.*item')
print(result)

运行结果：

['first item', 'third item', 'fifth item']

也可以使用re_first方法来提取第一个符合规则的结果：

from parsel import Selector
selector = Selector(text=html)
# result = selector.css('.item-0').re('link.*')
# result = selector.css('.item-0 *::text').re('.*item')
result = selector.css('.item-0').re_first('<span class="bold">(.*?)</span>')
print(result)

　　调用re_first方法，提取的是被span标签包含的文本值，提取结果是用小括号括起来表示一个提取分组，最后输出的结果就是小括号包围的部分

运行结果：

third item

总结

　　parsel官方文档：

https://parsel.readthedocs.io/