#read1.html文件

# <html><head><title>The Dormouse's story</title></head>

# <body>

# <p class="title"><b>The Dormouse's story</b></p>

#

# <p class="story">Once upon a time there were three little sisters; and their names were

# <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

# <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

# <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

# and they lived at the bottom of a well.</p>

#

# <p class="story">...</p></body></html>

#!/usr/bin/env python

# # -*- coding:UTF-8 -*-

import os

import re

import requests

from bs4 import NavigableString

from bs4 import BeautifulSoup

curpath=os.path.dirname(os.path.realpath(__file__))

hmtlpath=os.path.join(curpath,'read1.html')

res=requests.get(hmtlpath)

soup=BeautifulSoup(res.content,features="html.parser")

for str in soup.stripped_strings:

    print(repr(str))

links=soup.find_all(class_="sister")

for parent in links.parents:

    if parent is None:

        print(parent)

    else:

        print(parent.name)

print(links.next_sibling)

for link in links:

    print(link.next_element)

print(link.next_sibling)

print(link.privous_element)

print(link.privous_sibling)

def has_class_no_id(tag):

    return tag.has_attr('class') and not tag.has_attr('id')

def not_lacie(href):

    return href and not re.compile("lacie").search(href)

def not_tillie(href):

    return href and not re.compile("tillie").search(href)

def not_tillie1(id):

    return id and not re.compile("link2").search(id)

file=open("soup.html","r",encoding="utf-8")

soup=BeautifulSoup(file,features="lxml")

#find_all用法

tags=soup.find_all(re.compile('^b'))

tags=soup.find_all('b')

tags=soup.find_all(['a','b'])

tags=soup.find_all(has_class_no_id)

tags=soup.find_all(True)

tags=soup.find_all(href=not_lacie)

for tag in tags:

    print(tag.name)

def surrounded_by_strings(tag):

    return (isinstance(tag.next_element, NavigableString)

            and isinstance(tag.previous_element, NavigableString))

tags=soup.find_all(id=not_tillie1)

for tag in tags:

    print(tag)

tags=soup.find_all(attrs={"id":"link3"})

for tag in tags:

    print(tag)

soup.find_all(recursive=False)

tags=soup.select("body a")

tags=soup.select("p > a")

tags=soup.select("p > #link1")

tags=soup.select("html head title")

tags=soup.select(".sister")

tags=soup.select("[class~=sister]")

tags=soup.select("#link1 + .sister")

tags=soup.select("#link1")

tags=soup.select("a#link1")

tags=soup.select("a[href]")

tags=soup.select('a[href^="http://example"]')

tags=soup.select('a[href$="tillie"]')

tags=soup.select('a[href*=".com/el"]')

for tag in tags:

    print(tag)

file=open("soup.html","r",encoding="utf-8")

soup=BeautifulSoup(file,features="html.parser")

soup=BeautifulSoup(file,features="html.parser")

print(soup.prettify())

print(type(soup))

print(type(soup.title))

print(type(soup.title.string))

print(type(soup.b.string))

print(soup.head.name)

print(soup.title.name)

print(soup.a.name)

print(soup.name)

tag=soup.a

print(tag["href"])

print(tag.string)

print(tag["class"])

print(tag.attrs)

print(soup.title.string)

print(soup.title.name)

print(soup.p.attrs)

print(soup.a.attrs)

print(soup.a["class"])

python3爬虫（find_all用法等）的更多相关文章

  1. python3爬虫03（find_all用法等）

    #read1.html文件# <html><head><title>The Dormouse's story</title></head># ...

  2. python3爬虫系列19之反爬随机 User-Agent 和 ip代理池的使用

    站长资讯平台:python3爬虫系列19之随机User-Agent 和ip代理池的使用我们前面几篇讲了爬虫增速多进程,进程池的用法之类的,爬虫速度加快呢,也会带来一些坏事. 1. 前言比如随着我们爬虫 ...

  3. 笔趣看小说Python3爬虫抓取

    笔趣看小说Python3爬虫抓取 获取HTML信息 解析HTML信息 整合代码 获取HTML信息 # -*- coding:UTF-8 -*- import requests if __name__ ...

  4. python3 字典常见用法总结

    python3 字典常见用法总结 Python字典是另一种可变容器模型,且可存储任意类型对象,如字符串.数字.元组等其他容器模型. 一.创建字典 字典由键和对应值成对组成.字典也被称作关联数组或哈希表 ...

  5. Python3爬虫系列：理论+实验+爬取妹子图实战

    Github: https://github.com/wangy8961/python3-concurrency-pics-02 ,欢迎star 爬虫系列: (1) 理论 Python3爬虫系列01 ...

  6. python3爬虫中文乱码之请求头‘Accept-Encoding’：br 的问题

    当用python3做爬虫的时候,一些网站为了防爬虫会设置一些检查机制,这时我们就需要添加请求头,伪装成浏览器正常访问. header的内容在浏览器的开发者工具中便可看到,将这些信息添加到我们的爬虫代码 ...

  7. Python3 range() 函数用法

    Python3 range() 函数用法  Python3 内置函数 Python3 range() 函数返回的是一个可迭代对象(类型是对象),而不是列表类型, 所以打印的时候不会打印列表. Pyth ...

  8. Python3 爬虫之 Scrapy 核心功能实现（二）

    博客地址:http://www.moonxy.com 基于 Python 3.6.2 的 Scrapy 爬虫框架使用,Scrapy 的搭建过程请参照本人的另一篇博客:Python3 爬虫之 Scrap ...

  9. Python3 爬虫之 Scrapy 框架安装配置（一）

    博客地址:http://www.moonxy.com 基于 Python 3.6.2 的 Scrapy 爬虫框架使用,Scrapy 的爬虫实现过程请参照本人的另一篇博客:Python3 爬虫之 Scr ...

随机推荐

  1. GITLAB安装笔记

    CentOS 7 最小安装后操作 设置时区timedatectl set-timezone Asia/Shanghai 添加 Gitlab 清华源 vi /etc/yum.repos.d/gitlab ...

  2. java里面main函数为什么要用static修饰

    这学期刚开java,因为之前只写过C++和Python没接触过java,有些写法挺不习惯的,今天写完一个程序,run的时候发现提示the selection can't be launched.... ...

  3. [原创]Base32加密解密工具

    工具: Base32_Decode编译: VS2012  C# (.NET Framework v2.0)组织: K8搞基大队[K8team]作者: K8拉登哥哥博客: http://qqhack8. ...

  4. django操作memcached

    1.首先需要在settings.py中配置好缓存 CACHES = { 'default': { 'BACKEND': 'django.core.cache.backends.memcached.Me ...

  5. odoo第三方市场 -- 模块推荐

    odoo 除了开源,另一个非常给力的地方就是,强大的第三方应用市场: 你入坑后,会发现非常的好玩,全球还有这么多小伙伴并肩前行,共同成长. 第三方市场有很多不错的模块,当然,好东西,不是完全免费的! ...

  6. 修改Hosts文件提示没有权限怎么办

    解决办法:给host文件赋予权限 1.打开电脑C盘,在目录C:\Windows\System32\drivers\etc 下找到hosts文件 2.右键hosts文件,选择属性 3.点击hosts属性 ...

  7. Vue + Element UI 实现权限管理系统 前端篇（二）：Vue + Element 案例

    导入项目 打开 Visual Studio Code,File --> add Folder to Workspace,导入我们的项目. 安装 Element 安装依赖 Element 是国内饿 ...

  8. java5新特性-加强for循环

    本文目标是加强for循环和普通for循环的比较.阅读本文大概3-5分钟 刚开始学习编程语言的时候接触了三种循环方式 1. for 常用 2. while 较常用 3 do ... while 不常用 ...

  9. INSERT INTO IF EXISTS

    INSERT INTO books (name) SELECT 'MySQL Manual' FROM dual WHERE NOT EXISTS (SELECT id FROM booksWHERE ...

  10. epoll 触发模式

    Edge Triggered (ET):边缘触发只有数据到来,才触发,不管缓存区中是否还有数据.Level Triggered (LT):水平触发只要有数据都会触发. LT(level trigger ...