安装：pip install BeautifulSoup4

下表列出了主要的解析器,以及它们的优缺点:看个人习惯选取自己喜欢的解析方式

 # 获取html代码

 import requests

 r = requests.get('http://www.python123.io/ws/demo.html')

 demo = r.text

 from bs4 import BeautifulSoup

 soup = BeautifulSoup(demo,'html.parser')

 print(soup.prettify()) #按照标准的缩进格式的结构输出，代码如下

 <html>

  <head>

   <title>

    This is a python demo page

   </title>

  </head>

  <body>

   <p class="title">

    <b>

     The demo python introduces several python courses.

    </b>

   </p>

   <p class="course">

    Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:

    <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">

     Basic Python

    </a>

    and

    <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">

     Advanced Python

    </a>

    .

   </p>

  </body>

 </html>

简单浏览数据化方法的用法

#demo的源代码

html_d="""

<html><head><title>This is a python demo page</title></head>

<body>

<p class="title"><b>The demo python introduces several python courses.</b></p>

<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:

<a href="http://www.icourse163.org/course/BIT-268001" class="py1" id="link1">Basic Python</a> and <a href="http://www.icourse163.org/course/BIT-1001870001" class="py2" id="link2">Advanced Python</a>.</p>

</body></html>

"""

from bs4 import BeautifulSoup

soup=BeautifulSoup(html_d,'html.parser')

# 获取title标签

print(soup.title)

#获取文本内容

print(soup.text)

#获取标签名称

print(soup.title.name)

#获取标签属性

print(soup.title.attrs)

#获取head标签的子节点

print(soup.p.contents)

print(soup.p.children)

#获取所有的a标签

print(soup.find_all('a'))

常用解析方法

#demo的源代码

html_d="""

<html><head><title>This is a python demo page</title></head>

<body>

<p class="title"><b>The demo python introduces several python courses.</b></p>

<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:

<a href="http://www.icourse163.org/course/BIT-268001" class="py1" id="link1">Basic Python</a> and <a href="http://www.icourse163.org/course/BIT-1001870001" class="py2" id="link2">Advanced Python</a>.</p>

</body></html>

"""

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_d,"lxml")

#p下面所有的子节点

print(soup.p.contents)

soup.contents[0].name

#children本身没有子节点，得到一个迭代器,包含p下所有子节点

print(soup.p.children)

for child in enumerate(soup.p.children):

    print(child)

#子孙节点p下面所有的标签都会出来

print(soup.p.descendants)

for i in enumerate(soup.p.children):

  print(i)

# string 下面有且只有一个子节皆可以取出，如有多个字节则返回为none

print(soup.title.string)

# strings 如果有多个字符串

for string in soup.strings:

    print(repr(string))

#去掉空白

for line in soup.stripped_strings:

    print(line)

#获取a标签的父节点

print(soup.a.parent)

#找到a标签的父辈节点

print(soup.a.parents)

#兄弟节点

print(soup.a.next_sibling) #同一个兄弟

print(soup.a.next_sibling) #上一个兄弟

print(soup.a.next_sibling) #下一个兄弟

find_all的用法( name, attrs, recursive, text, **kwargs)

import re
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_d,"lxml")
# name
for tag in soup.find_all(re.compile('b')):
print(tag.name)
#attrs
print(soup.find_all('p','course'))
#keyword
print(soup.find_all(id='link1'))
#recursive
# print(soup.find_all('a',recursive=False))
# string
# print(soup.find_all(string=re.compile('python')))

小案例

import requests

from bs4 import BeautifulSoup

import bs4

#获取URL里面信息

def getHtmlText(url):

    try:

        r= requests.get(url,timeout=30 )

        r.encoding=r.apparent_encoding

        return r.text

    except:

      return ""

#提起网页数据

def fillunivList(ulist,html):

    soup = BeautifulSoup(html,"html.parser")

    for tr in soup.find('tbody').children:

        if isinstance(tr,bs4.element.Tag):

            tds = tr('td')

            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string])

    pass

#打印数据结果

def printUnivList(ulist,num):

    # tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}\t{:^10}"

    # print(tplt.format('排名', '学校名称', '省份','总分',chr(12288)))

    # for i in range(num):

    #     u = ulist[i]

    #     print(tplt.format(u[0], u[1], u[2],u[3],chr(12288)))

    print("{:^10}\t{:^6}\t{:^10}\t{:^10}".format('排名', '学校名称', '地区', '总分'))

    for i in range(num):

         u = ulist[i]

         print("{:^10}\t{:^6}\t{:^10}\t{:^10}".format(u[0], u[1], u[2], u[3]))

    return

def main():

    unifo = []

    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'

    html = getHtmlText(url)

    fillunivList(unifo,html)

    printUnivList(unifo,20) #打印前20所

main()

爬虫之BeautifulSoup类的更多相关文章

  1. 爬虫模块BeautifulSoup

    中文文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html# 1.1      安装BeautifulSoup模块 ...

  2. BeautifulSoup类

    from bs4 import BeautifulSoup soup1 = BeautifulSoup("<html>data</html>"," ...

  3. 使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解（新手必学）

    为大家介绍下Python爬虫库BeautifulSoup遍历文档树并对标签进行操作的详细方法与函数下面就是使用Python爬虫库BeautifulSoup对文档树进行遍历并对标签进行操作的实例,都是最 ...

  4. 【Python爬虫】BeautifulSoup网页解析库

    BeautifulSoup 网页解析库 阅读目录 初识Beautiful Soup Beautiful Soup库的4种解析器 Beautiful Soup类的基本元素 基本使用 标签选择器 节点操作 ...

  5. 爬虫笔记之刷小怪练级：yymp3爬虫（音乐类爬虫）

    一.目标 爬取http://www.yymp3.com网站歌曲相关信息,包括歌曲名字.作者相关信息.歌曲的音频数据.歌曲的歌词数据. 二.分析 2.1 歌曲信息.歌曲音频数据下载地址的获取 随便打开一 ...

  6. 爬虫之 BeautifulSoup与Xpath

    知识预览 BeautifulSoup xpath BeautifulSoup 一 简介 简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据.官方解释如下: '' ...

  7. Python 爬虫—— requests BeautifulSoup

    本文记录下用来爬虫主要使用的两个库.第一个是requests,用这个库能很方便的下载网页,不用标准库里面各种urllib:第二个BeautifulSoup用来解析网页,不然自己用正则的话很烦. req ...

  8. python爬虫之BeautifulSoup

    爬虫有时候写正则表达式会有假死现象 就是正则表达式一直在进行死循环查找 例如:https://social.msdn.microsoft.com/forums/azure/en-us/3f4390ac ...

  9. Python开发爬虫之BeautifulSoup解析网页篇：爬取安居客网站上北京二手房数据

    目标:爬取安居客网站上前10页北京二手房的数据,包括二手房源的名称.价格.几室几厅.大小.建造年份.联系人.地址.标签等. 网址为:https://beijing.anjuke.com/sale/ B ...

随机推荐

  1. peewee 对 mysql 类型支持问题，并不支持bit

    这个问题是当时想当然了 看到python BooleanField(default=False) 便认为 对应 mysql的bit 出现问题 mysql实际字段存储值为0,但 peewee orm 后 ...

  2. POJ-1811-Prime Test（pollard_rho模板，快速找最小素因子）

    题目传送门 sol:Pollard_Rho的模板题,刚看了Pollard_Rho和Miller_Rabin很多原理性的东西看不懂,只是记住了结论勉强能敲代码. Pollard_Rho #include ...

  3. cs231n spring 2017 lecture5 Convolutional Neural Networks

    1. 之前课程里,一个32*32*3的图像被展成3072*1的向量,左乘大小为10*3072的权重矩阵W,可以得到一个10*1的得分,分别对应10类标签. 在Convolution Layer里,图像 ...

  4. 为什么jdk1.8 HashMap的容量一定要是2的n次幂

    一.jdk1.8中,对“HashMap的容量一定要是2的n次幂”做了严格控制 1.默认初始容量: [Java] 纯文本查看 复制代码 ? 1 2 3 4 /**  * The default init ...

  5. 实现一个简易的HashMap

    实现一个键的类型为int,值的类型为int的HashMap 输入一个T,表示操作次数: 之后每行接一个操作,可以包括插入.删除.修改.查询.清空.判断是否有这个键: 因为是刚学完随手敲的,所以功能粗糙 ...

  6. Java Timer和TimerTask

    Timer是JDK中提供的一个定时器工具,使用的时候会在主线程之外起一个单独的线程执行指定的任务,可以指定一次或多次. TimerTask是一个实现了Runnable接口的抽象类,代表一个可被执行的任 ...

  7. Django学习之路03

    django项目生命周期 路由层 路由匹配 #urls中的urlpatterns #url()方法 urlpatterns = [ url(r'^admin/', admin.site.urls), ...

  8. 算法设计与分析-Week12

    题目描述 You are given coins of different denominations and a total amount of money amount. Write a func ...

  9. AQS总结

    前言 AQS(Abstract Queued Synchronizer)是JUC并发包中的核心基础组件,作者是大名鼎鼎的Doug Lea.通过AQS可以实现大部分的同步需求. 宏观架构 AQS包括一个 ...

  10. Python2.7错误处理FileNotFoundError报错NameError: name 'FileNotFoundError' is not defined

    错误信息如下: 原因是FileNotFoundError是python3.0中的写法,而Python2.7中应写为IOError.