#read1.html文件

# <html><head><title>The Dormouse's story</title></head>

# <body>

# <p class="title"><b>The Dormouse's story</b></p>

#

# <p class="story">Once upon a time there were three little sisters; and their names were

# <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

# <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

# <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

# and they lived at the bottom of a well.</p>

#

# <p class="story">...</p></body></html>

#!/usr/bin/env python

# # -*- coding:UTF-8 -*-

import os

import re

import requests

from bs4 import NavigableString

from bs4 import BeautifulSoup

curpath=os.path.dirname(os.path.realpath(__file__))

hmtlpath=os.path.join(curpath,'read1.html')

res=requests.get(hmtlpath)

soup=BeautifulSoup(res.content,features="html.parser")

for str in soup.stripped_strings:

    print(repr(str))

links=soup.find_all(class_="sister")

for parent in links.parents:

    if parent is None:

        print(parent)

    else:

        print(parent.name)

print(links.next_sibling)

for link in links:

    print(link.next_element)

print(link.next_sibling)

print(link.privous_element)

print(link.privous_sibling)

def has_class_no_id(tag):

    return tag.has_attr('class') and not tag.has_attr('id')

def not_lacie(href):

    return href and not re.compile("lacie").search(href)

def not_tillie(href):

    return href and not re.compile("tillie").search(href)

def not_tillie1(id):

    return id and not re.compile("link2").search(id)

file=open("soup.html","r",encoding="utf-8")

soup=BeautifulSoup(file,features="lxml")

#find_all用法

tags=soup.find_all(re.compile('^b'))

tags=soup.find_all('b')

tags=soup.find_all(['a','b'])

tags=soup.find_all(has_class_no_id)

tags=soup.find_all(True)

tags=soup.find_all(href=not_lacie)

for tag in tags:

    print(tag.name)

def surrounded_by_strings(tag):

    return (isinstance(tag.next_element, NavigableString)

            and isinstance(tag.previous_element, NavigableString))

tags=soup.find_all(id=not_tillie1)

for tag in tags:

    print(tag)

tags=soup.find_all(attrs={"id":"link3"})

for tag in tags:

    print(tag)

soup.find_all(recursive=False)

tags=soup.select("body a")

tags=soup.select("p > a")

tags=soup.select("p > #link1")

tags=soup.select("html head title")

tags=soup.select(".sister")

tags=soup.select("[class~=sister]")

tags=soup.select("#link1 + .sister")

tags=soup.select("#link1")

tags=soup.select("a#link1")

tags=soup.select("a[href]")

tags=soup.select('a[href^="http://example"]')

tags=soup.select('a[href$="tillie"]')

tags=soup.select('a[href*=".com/el"]')

for tag in tags:

    print(tag)

file=open("soup.html","r",encoding="utf-8")

soup=BeautifulSoup(file,features="html.parser")

soup=BeautifulSoup(file,features="html.parser")

print(soup.prettify())

print(type(soup))

print(type(soup.title))

print(type(soup.title.string))

print(type(soup.b.string))

print(soup.head.name)

print(soup.title.name)

print(soup.a.name)

print(soup.name)

tag=soup.a

print(tag["href"])

print(tag.string)

print(tag["class"])

print(tag.attrs)

print(soup.title.string)

print(soup.title.name)

print(soup.p.attrs)

print(soup.a.attrs)

print(soup.a["class"])

python3爬虫（find_all用法等）的更多相关文章

  1. python3爬虫03（find_all用法等）

    #read1.html文件# <html><head><title>The Dormouse's story</title></head># ...

  2. python3爬虫系列19之反爬随机 User-Agent 和 ip代理池的使用

    站长资讯平台:python3爬虫系列19之随机User-Agent 和ip代理池的使用我们前面几篇讲了爬虫增速多进程,进程池的用法之类的,爬虫速度加快呢,也会带来一些坏事. 1. 前言比如随着我们爬虫 ...

  3. 笔趣看小说Python3爬虫抓取

    笔趣看小说Python3爬虫抓取 获取HTML信息 解析HTML信息 整合代码 获取HTML信息 # -*- coding:UTF-8 -*- import requests if __name__ ...

  4. python3 字典常见用法总结

    python3 字典常见用法总结 Python字典是另一种可变容器模型,且可存储任意类型对象,如字符串.数字.元组等其他容器模型. 一.创建字典 字典由键和对应值成对组成.字典也被称作关联数组或哈希表 ...

  5. Python3爬虫系列：理论+实验+爬取妹子图实战

    Github: https://github.com/wangy8961/python3-concurrency-pics-02 ,欢迎star 爬虫系列: (1) 理论 Python3爬虫系列01 ...

  6. python3爬虫中文乱码之请求头‘Accept-Encoding’：br 的问题

    当用python3做爬虫的时候,一些网站为了防爬虫会设置一些检查机制,这时我们就需要添加请求头,伪装成浏览器正常访问. header的内容在浏览器的开发者工具中便可看到,将这些信息添加到我们的爬虫代码 ...

  7. Python3 range() 函数用法

    Python3 range() 函数用法  Python3 内置函数 Python3 range() 函数返回的是一个可迭代对象(类型是对象),而不是列表类型, 所以打印的时候不会打印列表. Pyth ...

  8. Python3 爬虫之 Scrapy 核心功能实现（二）

    博客地址:http://www.moonxy.com 基于 Python 3.6.2 的 Scrapy 爬虫框架使用,Scrapy 的搭建过程请参照本人的另一篇博客:Python3 爬虫之 Scrap ...

  9. Python3 爬虫之 Scrapy 框架安装配置（一）

    博客地址:http://www.moonxy.com 基于 Python 3.6.2 的 Scrapy 爬虫框架使用,Scrapy 的爬虫实现过程请参照本人的另一篇博客:Python3 爬虫之 Scr ...

随机推荐

  1. iOS开发-仿微信图片分享界面实现

    分享功能目前几乎已成为很多app的标配了,其中微信,微博等app的图片分享界面设计的很棒,不仅能够展示缩略图,还可以预览删除.最近我在做一款社交分享app,其中就要实现图文分享功能,于是试着自行实现仿 ...

  2. 并发上下文控制包Context

    Context,是golang用来控制并发流程的库,它能方便的将主控程序的停止信号传递到goroutinue中,从而实现一键中止关联goroutinue的执行,除此之外,它还能将外部变量通过Value ...

  3. 详解使用flask_paginate进行分页

    分页技术好处: 1.分页技术是把数据全部查询出来,然后再进行分页 2.分页技术可以,降低带宽使用,提高访问速度 使用flask_paginate进行分页 1.要使用flask_paginate,首先安 ...

  4. 封了1000多个IP地址段，服务器现在坚如磐石，对付几个小毛贼还是很轻松的

    封了1000多个IP地址段,服务器现在坚如磐石 root登陆权限取消,防火墙装上,关闭所有没必要的端口,外层加装路由器映射, 修改常用端口,将常用端口改成陷阱程序,只要访问我这些陷阱端口,程序直接dr ...

  5. Firefox火狐 浏览器接口调试工具 JSON 格式化

    作为一名“IT界”的淫才,还是主攻Web端的淫才,相信大家经常会联调各种接口! 如今APP猖狂的年代接口联调更为频繁,当然我们常用于Firefox火狐 浏览器,所以这里主要讲Firefox火狐 浏览器 ...

  6. 再谈C#委托与事件

    之前写过一篇关于C#委托与事件的文章(见<C#委托和事件例析>),不过还是收到一些网友的提问.所以,今天再换另一个角度来详解一下这个问题. 一.在控制台下使用委托和事件 我们都知道,C#中 ...

  7. MySQL笔记(3)---文件

    1.前言 第二章简单记录了一下InnoDB存储引擎的一个基本内容,介绍了保证高效插入的Insert Buffer,change Buffer和确保数据安全的write ahead log以及doubl ...

  8. Flyweight享元模式(结构型模式)

    1.面向对象的缺点 虽然OOP能很好的解决系统抽象的问题,并且在大多数的情况下,也不会损失系统的性能.但是在某些特殊的业务下,由于对象的数量太多,采用面向对象会给系统带来难以承受的内存开销.示例代码如 ...

  9. Linux MBR扇区误删恢复

    目录 1. 引导记录误删恢复 1.1 备份引导记录 1.2 误删引导记录 1.3 恢复引导记录 2. 分区表误删恢复 2.1 备份分区表 2.2 误删分区表 2.3 恢复分区表 如果MBR分区表没了, ...

  10. springboot @value和@configurationproperties注解的区别

      @ConfigurationProperties @value 功能 批量注入配置文件中的属性 一个个指定 松散绑定(松散语法) 支持 不支持 SpEL 不支持 支持 JSR303数据校验 支持 ...