BeautifulSoup重点复习
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup #一、标签选择器
soup = BeautifulSoup(html,'lxml')
print(soup.prettify())#自动进行格式化处理，补全标签等
print(soup.title.string)#得到title标签里的内容，获取x里面的内容用soup.x.string
print(soup.title)#获取title标签
print(soup.title.name)#获得标签的名称，注意是标签
print(soup.head)#获取head标签
print(soup.p)#匹配第一个p标签
print(soup.p['name'])#获取p标签的属性即后面的name部分<p class="title" name="dromouse">
print(soup.head.title.string)#可以进行嵌套层层剥离标签
print(soup.p.contents)#获取p标签的所有子节点，以列表形式返回
print(soup.p.children)#返回迭代器，可以以循环方式遍历p标签的子节点
for i,child in enumerate(soup.p.children):
print(i,child)
print(soup.p.descendants)#返回迭代器，获取所有的子孙节点
print(soup.a.parent)#获取a标签的父节点信息
print(soup.a.parents)#获取祖先节点
print(soup.a.next_siblings)#返回迭代器，下一个兄弟节点
print(soup.a.previous_siblings)#返回迭代器，前一个兄弟节点 #二、标准选择器 html='''
<div class="panel">
<div class="panel-heading">
<h4>Hello</h4>
</div>
<div class="panel-body">
<ul class="list" id="list-1" name="elements">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>
</div>
</div>
'''
#find_all
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml') print(soup.find_all('ul'))#查找ul标签所有内容 print(soup.find_all(attrs={'id':'list-1'}))#可以将attrs传入字典以完成查找
print(soup.find_all(id='list-1'))#可以简写，不用传入attrs
print(soup.find_all(class_='element'))#可以简写
print(soup.find_all(text='Foo'))#可以匹配到foo '''
#find与find_all用法一致，只是返回第一个元素
find_parents() find_parent()
find_parents()返回所有祖先节点，find_parent()返回直接父节点。
find_next_siblings() find_next_sibling()
find_next_siblings()返回后面所有兄弟节点，find_next_sibling()返回后面第一个兄弟节点。
find_previous_siblings() find_previous_sibling()
find_previous_siblings()返回前面所有兄弟节点，find_previous_sibling()返回前面第一个兄弟节点。
find_all_next() find_next()
find_all_next()返回节点后所有符合条件的节点, find_next()返回第一个符合条件的节点
find_all_previous() 和 find_previous()
find_all_previous()返回节点后所有符合条件的节点, find_previous()返回第一个符合条件的节点 '''
print('*'*200)
#css选择器
print(soup.select('.panel .panel-heading'))#用.代替class
print(soup.select('ul li'))#找到ul li的所有标签
print(soup.select('#list-2 .element'))#用#代替id
for ul in soup.select('ul'):#获取ul标签
print(ul['id'])#获取ul标签的id属性
for ul in soup.select('ul'):
print(ul.get_text())#获取ul的文本内容 #总结：
# 推荐使用lxml解析库，必要时使用html.parser
#标签选择器筛选功能弱但是速度极快
#建议使用find(),findall()查询匹配单个结果或者多个结果
#如果对css选择器熟悉建议使用select()
#记住常用的获取属性和文本的方法
BeautifulSoup重点复习的更多相关文章
- python 基础部分重点复习整理2
把这里的题目争取刷一遍 博客记录 python的ORM框架peewee SQLAlchemy psycopg2 Django 在1 的基础上,重点突出自己以前没注意的,做到精而不杂!!! Python ...
- python 基础部分重点复习整理--从意识那天开始进阶--已结
pythonic 风格编码 入门python好博客 进阶大纲 有趣的灵魂 老齐的教程 老齐还整理了很多精华 听说 fluent python + pro python 这两本书还不错! 元组三种遍历, ...
- PAT 甲级 1020 Tree Traversals (25分)（后序中序链表建树，求层序）***重点复习
1020 Tree Traversals (25分) Suppose that all the keys in a binary tree are distinct positive intege ...
- PAT 甲级 1086 Tree Traversals Again (25分)（先序中序链表建树，求后序）***重点复习
1086 Tree Traversals Again (25分) An inorder binary tree traversal can be implemented in a non-recu ...
- PAT 甲级 1064 Complete Binary Search Tree (30 分)（不会做，重点复习，模拟中序遍历）
1064 Complete Binary Search Tree (30 分) A Binary Search Tree (BST) is recursively defined as a bin ...
- [Java面试一]面试复习大纲.
一.Java基础部分 (搞定所有技术之后才考虑复习的技术点) 1.数组中的排序问题(笔试或者机试,前者可能性更大) 2.面向对象的理解 3.集合相关的问题,比如hashmap跟hashtable的区别 ...
- Exam 70-462 Administering Microsoft SQL Server 2012 Databases 复习帖
好吧最近堕落没怎么看书,估计这个月前是考不过了,还是拖到国庆之后考试吧.想着自己复习考试顺便也写点自己的复习的概要,这样一方面的给不准备背题库的童鞋有简便的复习方法(好吧不被题库的同学和我一样看MSD ...
- java8--网络编程(java疯狂讲义3复习笔记)
重点复习一下网络通信和代理 java的网络通信很简单,服务器端通过ServerSocket建立监听,客户端通过Socket连接到指定服务器后,通信双方就可以通过IO流进行通信. 需要重点看的工具类:I ...
- 读书笔记---PMBOK第五版官方中文版
以下是为了准备PMP考试时学习<PMBOK第五版官方中文版>这本书的笔记和摘要,目的是为了以后可以快速的抓住本书的核心重点复习. 引论 PMPOK的目的 收录了项目管理知识体系中被普遍认可 ...
随机推荐
- Angular-Mobile介绍
陆续更新中 1. 介绍: * Angular-Mobile是使用Angular和Bootstrap3为手机端网页和App提供支持的前端UI框架.
- Spring - JPA 一对一， 一对多， 多对多关联
现在有三个类:One Many Much One类 Much类 @Entity public class Much { @Id @GeneratedValue private Integer id; ...
- spring Boot+spring Cloud实现微服务详细教程第二篇
上一篇文章已经说明了一下,关于spring boot创建maven项目的简单步骤,相信很多熟悉Maven+Eclipse作为开发常用工具的朋友们都一目了然,这篇文章主要讲解一下,构建spring bo ...
- TCP 详解
计算机网络中比较中要的无非就是 TCP/IP 协议栈,以及应用层的 HTTP 和 HTTPS . 前几天一直炒的的比较火的就是 HTTP/2.0 了,但是其实 HTTP/2.0 早在2015年的时候就 ...
- 如何通过TortoiseGit（小乌龟）把本地项目上传到github上
1.第一步: 安装git for windows(链接:https://gitforwindows.org/)一路next就好了, 如果遇到什么问题可以参考我另外一篇文章~^ - ^ 2.第二步:安装 ...
- Sqlite库的基本操作
Sqlite 基本操作 打开数据库 sqlite3* SQ_DB; char *zErrMsg = 0; int nRes = sqlite3_open("test.db", &a ...
- 【openvpn】转载：烂泥：ubuntu 14.04搭建OpenVPN服务器
地址:http://www.cnblogs.com/ilanni/p/4681740.html (1)安装openVpn软件后.在openVpn的配置目录下添加配置文件: ca.crt client ...
- 去除input的自动填充色
input:-webkit-autofill { -webkit-box-shadow: 0 0 0px 1000px #ffffff inset !important; }
- Beta阶段敏捷冲刺报告-DAY3
Beta阶段敏捷冲刺报告-DAY3 Scrum Meeting 敏捷开发日期 2017.11.4 会议时间 12:30 会议地点 软工所 参会人员 全体成员 会议内容 当天任务确认,进度调整, 讨论时 ...
- C语言——第一次作业(2)
1.写程序证明p++等价于(p)++还是等价于*(p++)? #include <stdio.h> int main() { int *p,a=5; p = &a; printf( ...