<html>

    <head>

        <title>Page title</title>

    </head>

    <body>

        <p id="firstpara" align="center">

        This is paragraph<b>one</b>.

        </p>

        <p id="secondpara" align="blah">

        This is paragraph<b>two</b>.

        </p>

     </body>

</html>

  • find方法的参数及意义

find(name=None, attrs={}, recursive=True, text=None, **kwargs)

1,按照tag(标签)搜索：

1 find(tagname)        # 直接搜索名为tagname的tag 如：find('head')

2 find(list)           # 搜索在list中的tag，如: find(['head', 'body'])

3 find(dict)           # 搜索在dict中的tag，如:find({'head':True, 'body':True})

4 find(re.compile('')) # 搜索符合正则的tag, 如:find(re.compile('^p')) 搜索以p开头的tag

5 find(lambda)         # 搜索函数返回结果为true的tag, 如:find(lambda name: if len(name) == 1) 搜索长度为1的tag

6 find(True)           # 搜索所有tag

　　2,按照attrs(属性)搜索:

1 find('id'='xxx')                                  # 寻找id属性为xxx的

2 find(attrs={'id':re.compile('xxx'), 'algin':'xxx'}) # 寻找id属性符合正则且algin属性为xxx的

3 find(attrs={'id':True, 'algin':None})               # 寻找有id属性但是没有algin属性的

  • 利用BeautifulSoup4爬取豆瓣数据的ID

代码如下：

import requests

from bs4 import BeautifulSoup as bs

#以豆瓣‘编程’分类的一个连接URL为例子开始爬数据ID

url = 'https://book.douban.com/tag/编程?start=20&type=T'

res = requests.get(url)  #发送请求

#print(res.encoding)    #这个是用来查看网页编码的

#res.encoding = 'utf-8'   #跟上一个结合来用，如果编码有乱码，则可以通过这个定义编码来改变

html = res.text

#print(html)

IDs = []

soup  = bs(html,"html.parser")     #定义一个BeautifulSoup变量

items = soup.find_all('a',attrs={'class':'nbg'})

#print(items)

for i in items:

    idl = i.get('href')

    #print(idl)

    id = idl.split('/')[4]

    print(id)

    IDs.append(id)

print('这一页收集到书籍ID数：%d' % len(IDs))
  • 第一部分是获取网页源代码的过程，使用requests模块
  • 第二部分为使用BeautifulSoup来解析网页，得到需要的信息 
    • soup  = bs(html,"html.parser")

      这句的意思是声明一个变量，用BeautifulSoup处理之后的原网页代码

    • items = soup.find_all('a',attrs={'class':'nbg'})

      这句的作用是查找a标签，当然，a标签会有很多，但是我们不需要所有，因此我们还需要判断一下这种a标签还有个属性是class='nbg'，我们只需要这种a标签。items得到的是一个list

    • 属性都放着attrs这个字典中，当某个属性的值不是定值的时候，可以使用   '属性名':True  这种方式。
    • for i in items:
      
    idl = i.get('href')

      这句的意思是获取满足条件的每个a标签中属性‘href’的值

    • id = idl.split('/')[4]

      由于‘href’的属性是一个连接，但是我们只需要得到ID，所有可以将连接按照‘/’分解，提取ID

  • 具体的爬虫例子可以参照：智联招聘爬虫

  • Beautifulsoup的select选择器方法可以参考爬虫例子：前程无忧爬虫

BeautifulSoup4----利用find_all和get方法来获取信息的更多相关文章

  1. Jquery学习笔记：利用parent和parents方法获取父节点

    通过选择器一般只能获取指定标识的节点,或者获取子节点. 有些场景下,往往需要根据当前节点找到满足条件的父节点.这个可以通过相应的方法来实现. 1.parent方法 该方法可以获取元素的直接父节点. 我 ...

  2. 利用window.name+iframe跨域获取数据详解

    详解 前文提到用jsonp的方式来跨域获取数据,本文为大家介绍下如何利用window.name+iframe跨域获取数据. 首先我们要简单了解下window.name和iframe的相关知识.ifra ...

  3. Java开发笔记（八十）利用反射技术操作私有方法

    前面介绍了如何利用反射技术读写私有属性,不单是私有属性,就连私有方法也能通过反射技术来调用.为了演示反射的逆天功能,首先给Chicken鸡类增加下列几个私有方法,简单起见弄来了set***/get** ...

  4. 根据方法名获取方法Body Content

    利用 MethodBody类的GetILAsByteArray方法可以获取到返回字节数组的MSIL的body.然后再去解析此字节数组, 可以得到MSIL,然后你再去解析MSIL,你就可以得到你想到so ...

  5. 如何在onCreate方法中获取视图的宽度和高度

    你可以通过视图的getWidth()和getHeight()来获取视图的宽度和高度. 但是,可能会让你失望的是,如果你直接在onCreate方法内调用这两个函数,你会的到0. 为什么呢? 这是因为,当 ...

  6. iframe 跨域问题解决方案 利用window.name+iframe跨域获取数据详解

    详解 前文提到用jsonp的方式来跨域获取数据,本文为大家介绍下如何利用window.name+iframe跨域获取数据. 首先我们要简单了解下window.name和iframe的相关知识.ifra ...

  7. java利用MultipartRequest的getFileName方法不能得到原文件名问题

    想利用MultipartRequest的getFileName方法来一次获取多个上传的文件名字时,得到的不是文件的名字,而是 input 的name属性 最后找到了答案,解决方法,参照http://s ...

  8. C# 知识点笔记：IEnumerable<>的使用,利用反射动态调用方法

    IEnumerable<T>的使用 创建一个IEnumerable对象 List<string> fruits = new List<string> { " ...

  9. JSF页面中使用js函数回调后台bean方法并获取返回值的方法

    由于primefaces在国内使用的并不是太多,因此,国内对jsf做系统.详细的介绍的资料很少,即使有一些资料,也仅仅是对国外资料的简单翻译或者是仅仅讲表面现象(皮毛而已),它们的语句甚至还是错误的, ...

随机推荐

  1. CAT 3.0 开源发布，支持多语言客户端及多项性能提升

    项目背景 CAT(Central Application Tracking),是美团点评基于 Java 开发的一套开源的分布式实时监控系统.美团点评基础架构部希望在基础存储.高性能通信.大规模在线访问 ...

  2. 解释一下什么是servlet？

    Servlet是一种独立于平台和协议的服务器端的Java技术,可以用来生成动态的Web页面.与传统的CGI(计算机图形接口)和许多其他类似CGI技术相比,Servlet具有更好的可移植性.更强大的功能 ...

  3. leetcode 算法 Excel表列序号 python实现

    这道题给我感觉就像一个26进制数一样. A 就是1 B是2 .... Z 是26 如果AB 两位,那就是  1 * 26 + 2   就是A 的数值*26 + B的数值 如果是MNP 三位数   那就 ...

  4. python opencv3 直线检测

    git:https://github.com/linyi0604/Computer-Vision # coding:utf8 import cv2 import numpy as np # 读入图像 ...

  5. 订单超时、活动过期解决方案：php监听redis key失效触发回调事件

    Redis 的 2.8.0 版本之后可用,键空间消息(Redis Keyspace Notifications),配合 2.0.0 版本之后的 SUBSCRIBE 就能完成这个定时任务的操作了,定时的 ...

  6. luoguP4360 [CEOI2004]锯木厂选址

    题目链接 luoguP4360 [CEOI2004]锯木厂选址 题解 dis:后缀和 sum:前缀和 补集转化,减去少走的,得到转移方程 dp[i] = min(tot - sumj * disj - ...

  7. [BZOJ1758][WC2010]重建计划(点分治+单调队列)

    点分治,对于每个分治中心,考虑求出经过它的符合长度条件的链的最大权值和. 从分治中心dfs下去取出所有链,为了防止两条链属于同一个子树,我们一个子树一个子树地处理. 用s1[i]记录目前分治中心伸下去 ...

  8. nginx与Lua执行顺序

    Nginx顺序 Nginx 处理每一个用户请求时,都是按照若干个不同阶段(phase)依次处理的,而不是根据配置文件上的顺序. Nginx 处理请求的过程一共划分为 11 个阶段,按照执行顺序依次是 ...

  9. ngx_lua配置及应用

    一.说明 这里不对lua语言本身及其编译器运行环境等做介绍,以下所有介绍前提对lua相关有所了解. 二.ngx_lua介绍 原理 ngx_lua将Lua嵌入Nginx,可以让Nginx执行Lua脚本, ...

  10. zookeeper【1】配置管理

    为什么要用统一配置? 我们做项目时用到的配置比如数据库配置等...我们都是写死在项目里面,如果需要更改,那么也是的修改配置文件然后再投产上去,那么问题来了,如果做集群的呢,有100台机器,这时候做修改 ...