html = """

 <html><head><title>The Dormouse's story</title></head>

 <body>

 <p class="title" name="dromouse"><b>The Dormouse's story</b></p>

 <p class="story">Once upon a time there were three little sisters; and their names were

 <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,

 <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

 <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

 and they lived at the bottom of a well.</p>

 <p class="story">...</p>

 """

 from bs4 import BeautifulSoup

 #一、标签选择器

 soup = BeautifulSoup(html,'lxml')

 print(soup.prettify())#自动进行格式化处理，补全标签等

 print(soup.title.string)#得到title标签里的内容，获取x里面的内容用soup.x.string

 print(soup.title)#获取title标签

 print(soup.title.name)#获得标签的名称，注意是标签

 print(soup.head)#获取head标签

 print(soup.p)#匹配第一个p标签

 print(soup.p['name'])#获取p标签的属性即后面的name部分<p class="title" name="dromouse">

 print(soup.head.title.string)#可以进行嵌套层层剥离标签

 print(soup.p.contents)#获取p标签的所有子节点，以列表形式返回

 print(soup.p.children)#返回迭代器，可以以循环方式遍历p标签的子节点

 for i,child in enumerate(soup.p.children):

     print(i,child)

 print(soup.p.descendants)#返回迭代器，获取所有的子孙节点

 print(soup.a.parent)#获取a标签的父节点信息

 print(soup.a.parents)#获取祖先节点

 print(soup.a.next_siblings)#返回迭代器，下一个兄弟节点

 print(soup.a.previous_siblings)#返回迭代器，前一个兄弟节点

 #二、标准选择器

 html='''

 <div class="panel">

     <div class="panel-heading">

         <h4>Hello</h4>

     </div>

     <div class="panel-body">

         <ul class="list" id="list-1" name="elements">

             <li class="element">Foo</li>

             <li class="element">Bar</li>

             <li class="element">Jay</li>

         </ul>

         <ul class="list list-small" id="list-2">

             <li class="element">Foo</li>

             <li class="element">Bar</li>

         </ul>

     </div>

 </div>

 '''

 #find_all

 from bs4 import BeautifulSoup

 soup = BeautifulSoup(html,'lxml')

 print(soup.find_all('ul'))#查找ul标签所有内容

 print(soup.find_all(attrs={'id':'list-1'}))#可以将attrs传入字典以完成查找

 print(soup.find_all(id='list-1'))#可以简写，不用传入attrs

 print(soup.find_all(class_='element'))#可以简写

 print(soup.find_all(text='Foo'))#可以匹配到foo

 '''

 #find与find_all用法一致，只是返回第一个元素

 find_parents() find_parent()

 find_parents()返回所有祖先节点，find_parent()返回直接父节点。

 find_next_siblings() find_next_sibling()

 find_next_siblings()返回后面所有兄弟节点，find_next_sibling()返回后面第一个兄弟节点。

 find_previous_siblings() find_previous_sibling()

 find_previous_siblings()返回前面所有兄弟节点，find_previous_sibling()返回前面第一个兄弟节点。

 find_all_next() find_next()

 find_all_next()返回节点后所有符合条件的节点, find_next()返回第一个符合条件的节点

 find_all_previous() 和 find_previous()

 find_all_previous()返回节点后所有符合条件的节点, find_previous()返回第一个符合条件的节点

 '''

 print('*'*200)

 #css选择器

 print(soup.select('.panel .panel-heading'))#用.代替class

 print(soup.select('ul li'))#找到ul li的所有标签

 print(soup.select('#list-2 .element'))#用#代替id

 for ul in soup.select('ul'):#获取ul标签

     print(ul['id'])#获取ul标签的id属性

 for ul in soup.select('ul'):

     print(ul.get_text())#获取ul的文本内容

 #总结：

 # 推荐使用lxml解析库，必要时使用html.parser

 #标签选择器筛选功能弱但是速度极快

 #建议使用find(),findall()查询匹配单个结果或者多个结果

 #如果对css选择器熟悉建议使用select()

 #记住常用的获取属性和文本的方法

BeautifulSoup重点复习的更多相关文章

  1. python 基础部分重点复习整理2

    把这里的题目争取刷一遍 博客记录 python的ORM框架peewee SQLAlchemy psycopg2 Django 在1 的基础上,重点突出自己以前没注意的,做到精而不杂!!! Python ...

  2. python 基础部分重点复习整理--从意识那天开始进阶--已结

    pythonic 风格编码 入门python好博客 进阶大纲 有趣的灵魂 老齐的教程 老齐还整理了很多精华 听说 fluent python + pro python 这两本书还不错! 元组三种遍历, ...

  3. PAT 甲级 1020 Tree Traversals (25分)（后序中序链表建树，求层序）***重点复习

    1020 Tree Traversals (25分)   Suppose that all the keys in a binary tree are distinct positive intege ...

  4. PAT 甲级 1086 Tree Traversals Again (25分)（先序中序链表建树，求后序）***重点复习

    1086 Tree Traversals Again (25分)   An inorder binary tree traversal can be implemented in a non-recu ...

  5. PAT 甲级 1064 Complete Binary Search Tree (30 分)（不会做，重点复习，模拟中序遍历）

    1064 Complete Binary Search Tree (30 分)   A Binary Search Tree (BST) is recursively defined as a bin ...

  6. [Java面试一]面试复习大纲.

    一.Java基础部分 (搞定所有技术之后才考虑复习的技术点) 1.数组中的排序问题(笔试或者机试,前者可能性更大) 2.面向对象的理解 3.集合相关的问题,比如hashmap跟hashtable的区别 ...

  7. Exam 70-462 Administering Microsoft SQL Server 2012 Databases 复习帖

    好吧最近堕落没怎么看书,估计这个月前是考不过了,还是拖到国庆之后考试吧.想着自己复习考试顺便也写点自己的复习的概要,这样一方面的给不准备背题库的童鞋有简便的复习方法(好吧不被题库的同学和我一样看MSD ...

  8. java8--网络编程(java疯狂讲义3复习笔记)

    重点复习一下网络通信和代理 java的网络通信很简单,服务器端通过ServerSocket建立监听,客户端通过Socket连接到指定服务器后,通信双方就可以通过IO流进行通信. 需要重点看的工具类:I ...

  9. 读书笔记---PMBOK第五版官方中文版

    以下是为了准备PMP考试时学习<PMBOK第五版官方中文版>这本书的笔记和摘要,目的是为了以后可以快速的抓住本书的核心重点复习. 引论 PMPOK的目的 收录了项目管理知识体系中被普遍认可 ...

随机推荐

  1. Java String常用方法

    字符串查找 两种查找字符串的方法,indexOf(String s)和lastIndexOf(String s). String str = "tyson-json"; int i ...

  2. 基于PLC-C#串口通讯，温度检测和转速监控的c#/.Net实现。

    我司为五金加工企业,其中有一条喷涂车间和流水线,客户要求能实时监控炉温温度.流水线速,并设置上下限值,达到上下限时报警. 开始考虑过USB的温度采集器,但是却没有找到带USB的光电开关,并且线路长度受 ...

  3. Matlab绘图基础——其他三维图形（绘制填充的五角星）

    其他三维图形 %绘制魔方阵的三维条形图 subplot(2,2,1); bar3(magic(4));   %以三维杆图形式绘制曲线y=2sin(x) subplot(2,2,2); y=2*sin( ...

  4. linux设置代理修改接口数据

    其实很简单,希望看到的人可以一次搞定,所以我把所有步骤写一块儿了. 1.首先在自己能上网的机器上安装fiddler,程序自己百度搜就可以,百度软件中心的程序就行. 2.安装fiddler后,管理员权限 ...

  5. drbd(二)：配置和使用

    本文目录:1.drbd配置文件2.创建metadata区并计算metadata区的大小3.启动drbd4.实现drbd主从同步5.数据同步和主从角色切换6.drbd脑裂后的解决办法7.drbd多卷组配 ...

  6. Linux x86_64内核中断初始化

    Linux x86_64内核中断初始化 [TOC] 中断分类 Linux系统中,中断分为: 硬中断:由外部设备或者执行异常产生的需要快速处理的中断.如缺页中断.定时器硬件中断. 根据内部产生还是外部产 ...

  7. beta冲刺5-咸鱼

    昨天的问题: 登陆页面的整合重新制作 各主机版本更迭 我的社团显示功能修改调整 主页的头部替换掉 +修复帖子无法显示内容的问题 +试着将邮箱等判定用正则表达式进行实时判定. 今天的完成: 主要是线下进 ...

  8. 2017-2018-1 Java演绎法 第六七周 作业

    团队任务:修改完善<需求规格说明书>等 团队组长:袁逸灏 本次编辑:刘伟康 修改完善上周提交的需求规格说明书 [markdown 链接] [pdf 链接] 不足之处:仅就现在的问题来看,结 ...

  9. Beta冲刺 第七天

    Beta冲刺 第七天 昨天的困难 昨天的困难在一些多表查询上,不熟悉hibernate的套路,走了很多弯路. 第一次使用图表插件,在图表的显示问题上花了一定的时间. 对于页面绑定和后台数据自动填充的理 ...

  10. 亚马逊AWS学习——VPC里面几个概念的关系

    VPC中涉及几个概念: VPC 子网 路由表 Internet网关 安全组 今天来讲讲这几个概念之间的关系. 1. VPC 说的就是VPC,当然VPC范围是最大的,VPC即virtual privat ...