今日内容概要

  • bs模块之标签查找
  • 过滤器
  • selenium模块

今日内容详细

html_doc = """

<html>

    <head>

        <title>The Dormouse's story</title>

    </head>

<body>

    <p id="my p" class="title">

        <b id="bbb" class="boldest">The Dormouse's story</b>

    </p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc,'lxml')

#2、获取标签的名称

# print(soup.p.name)

#3、获取标签的属性

# print(soup.p.attrs)

#4、获取标签的内容

# print(soup.p.text)

#5、嵌套选择

# print(soup.head.title.string) # 依次往内部查找

# print(soup.body.a.string)

#6、子节点、子孙节点

# print(soup.p.contents) #p下所有子节点

# print(soup.p.children) #得到一个迭代器，包含p下所有的子节点

# for child in soup.p.children:

#    print(child)

#7、父节点、祖先节点

# print(soup.a.parent) #获取a标签的父节点

# print(soup.a.parents) #找到a标签所有的祖先节点，父亲的父亲，父亲的父亲的父亲……

# for p in soup.a.parents

#    print(p)

#8、兄弟节点

# print('=====>')

# print(soup.a.next_siblings) #下一个兄弟

# for i in soup.a.next_siblings:

#    print(i)

# print(soup.a.previons_sibling) #上一个兄弟

# print(list(soup.a.next_siblings)) #下面的兄弟们=>生成器对象

# print(soup.a.previous_siblings) #上面的兄弟们=>生成器对象

"""

儿子：在一个标签内部的第一层级标签

     <span>相对于下面同级别的div就是哥哥</span>

     <div>

         <div>相对于外层的div就是儿子

             <p>上一层div的儿子上上一层div的孙子</p>

         </div>

         <p>相对于外层的div就是儿子</p>

     </div>

     <span>相对上面同级别的div就是弟弟</span>

后代

兄弟

弟弟

哥哥

"""

过滤器

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc,'lxml')

#1、五种过滤器：字符串、正则表达式、列表、True、方法

#1.1、字符串：即标签名  结果是一个列表 里面的元素才是真正的标签对象

# print(soup.find_all('b')) # [<b> class="boldest" id="bbb">The Dormouse's story</b']

#1.2、正则表达式

# import re  # 一定要注意拿到的结果到底是什么数据类型

# print(soup.find_all(re.compile('^b'))) # 找出b开头的标签，结果有body和b标签

#1.3、列表：如果传入列表参数，Beautiful Soup会将与列表中任一元素匹配的内容返回。下面代码找到文档中所有<a>标签和<b>标签：

# print(soup.find_all(['a','b'])) # 找到文档中所有<a>标签和<b>标签

#1.4、True：可以匹配任何值，下面代码查找到所有的tag，但是不会返回字符串节点

# print(soup.find_all(True)) # True表示所有

# for tag in soup.find_all(True):

#     print(tag.name)

#1.5、方法：如狗哦没有合适的过滤器，那么还可以定义一个方法，方法只接受一个元素参数，如果这个方法返回 True 表示当前元素匹配并且被找到，如果不是返回 False

# def has_class_but_no_id(tag):

#     return tag.has_attr('class') and not tag.has_attr('id')

#

# print(soup.find_all(has_class_but_no_id))

中文文档

https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#find-parents-find-parent

selenium模块

嫩够帮你自动操作浏览器

selenium最初是一个自动化测试工具，而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题

selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器

1.需要下载模块

    pip3 install -i

2.还需要下载一个控制浏览器的驱动

http://npm.taobao.org/mirrors/chromedriver/2.38/

    # 注意下载的驱动一定呀跟你浏览器的版本匹配  不能无法操作

    如何查看当前浏览器版本

3.下载好的驱动文件有两个存放的位置

   1.直接放在你项目的目录下

   2.放到Python安装路径的scripts目录中即可

from selenium import webdriver

import time

bro=webdriver.Chrome()  # 生成谷歌浏览器的驱动对象

bro.get("http://www.baidu.com")  # 自动打开谷歌浏览器访问百度首页

bro.implicitly_wait(10)  # 设置一个等待时间 超出范围还没加载出来就放弃

# 1、find_element_by_id   根据id找

# 2、find_element_by_link_text     根据链接名字找到控件（a标签的文字）

# 3、find_element_by_partial_link_text   根据链接名字找到控件（a标签的文字）模糊查询

# 4、find_element_by_tag_name       根据标签名

# 5、find_element_by_class_name     根据类名

# 6、find_element_by_name           根据属性名

# 7、find_element_by_css_selector   根据css选择器

aEle = bro.find_element_by_link_text('登录')

# 点击a标签

aEle.click()

# 通过id获取p标签

pEle = bro.find_element_by_id('TANGRAM__PSP_11__footerULoginBtn')

# 点击p标签

pEle.click()

# 通过id找获取用户用户名的input框

UserEle = bro.find_element_by_id('TANGRAM__PSP_11__userName')

# 点击UserEle

UserEle.click()

# 输入用户名

UserEle.send_keys('18856211855')

time.sleep(1)

# 通过id找获取用户密码的input框

PwdEle = bro.find_element_by_id('TANGRAM__PSP_11__password')

# 点击UserEle

PwdEle.click()

# 输入用户名

PwdEle.send_keys('xxxxxx')

time.sleep(1)

SubEle = bro.find_element_by_id('TANGRAM__PSP_11__submit')

SubEle.click()

print(bro.get_cookies())  # 直接组织成字典里面有所有的键值对

print(bro.get_cookie())  # Get a single cookie by name

bro.close()

等待元素加载完毕

"""

有些页面的标签元素并不是直接写在html文件上的而是通过后续

js代码动态加载出来的 所以需要在查找标签的时候设置一个等待时间

"""

# 隐式等待:在查找所有元素时，如果尚未被加载，则等10秒(推荐使用)

# browser.implicitly_wait(10)   表示等待所有，

# 显式等待：显式地等待某个元素被加载(不推荐使用)

# wait=WebDriverWait(browser,10)

# wait.until(EC.presence_of_element_located((By.ID,'content_left')))

爬虫之标签查找补充及selenium模块的安装及使用与案例的更多相关文章

  1. 第三百五十节，Python分布式爬虫打造搜索引擎Scrapy精讲—selenium模块是一个python操作浏览器软件的一个模块，可以实现js动态网页请求

    第三百五十节,Python分布式爬虫打造搜索引擎Scrapy精讲—selenium模块是一个python操作浏览器软件的一个模块,可以实现js动态网页请求 selenium模块 selenium模块为 ...

  2. 第三百三十七节，web爬虫讲解2—PhantomJS虚拟浏览器+selenium模块操作PhantomJS

    第三百三十七节,web爬虫讲解2—PhantomJS虚拟浏览器+selenium模块操作PhantomJS PhantomJS虚拟浏览器 phantomjs 是一个基于js的webkit内核无头浏览器 ...

  3. Selenium模块的安装

    Selenium模块 1.安装selenium python2:pip install selenium python3:pip install selenium 2.设置浏览器驱动 解压后必须与浏览 ...

  4. python 全栈开发，Day136(爬虫系列之第3章-Selenium模块)

    一.Selenium 简介 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全 ...

  5. 二十九 Python分布式爬虫打造搜索引擎Scrapy精讲—selenium模块是一个python操作浏览器软件的一个模块，可以实现js动态网页请求

    selenium模块 selenium模块为第三方模块需要安装,selenium模块是一个操作各种浏览器对应软件的api接口模块 selenium模块是一个操作各种浏览器对应软件的api接口模块,所以 ...

  6. 十六 web爬虫讲解2—PhantomJS虚拟浏览器+selenium模块操作PhantomJS

    PhantomJS虚拟浏览器 phantomjs 是一个基于js的webkit内核无头浏览器 也就是没有显示界面的浏览器,利用这个软件,可以获取到网址js加载的任何信息,也就是可以获取浏览器异步加载的 ...

  7. python selenium 模块的安装及使用

    安装 pip install selenium 或者到https://pypi.python.org/pypi/selenium 下载setup安装包,之后进入目录后运行python setup.py ...

  8. 网络爬虫（一）：配置selenium、pycharm（windows平台）

    最近在学习爬虫的编写,使用selenium模块时候,遇到了很多坑,本blog的目的是总结一下遇到的坑和解决办法,以便后来人少走弯路! 以下介绍均以Python3.x为基准进行,基于windows平台的 ...

  9. selenium模块跳过用户名密码验证码输入，加载浏览器标签和cookie，进行翻页爬虫多页动态加载的数据（js)

    能解决登陆一次后,之后不需要二次登陆的动态加载数据,网页保存的cookie和标签,加入到selenium自动化测试浏览器中 1 from selenium import webdriver 2 imp ...

随机推荐

  1. python32day

    内容回顾 操作系统的历史 多道操作系统 分时操作系统 实时操作系统 进程 线程 并行和并发 同步和异步 阻塞和非阻塞 今日内容 进程的三状态图 进程的调度算法 给所有进程分配资源或者分配CPU使用权的 ...

  2. 【ASP.NET Core】设置Web API 响应的数据格式——Produces 特性篇

    开春首文,今天老周就跟各位大伙伴们聊一个很简单的话题:怎么设定API响应的数据格式. 说本质一点,就是设置所返回内容的 MIME 类型(Content-Type 头).当然了,咱们不会使用在HTTP管 ...

  3. HowToDoInJava Spring 教程·翻译完成

    原文:HowToDoInJava 协议:CC BY-NC-SA 4.0 欢迎任何人参与和完善:一个人可以走的很快,但是一群人却可以走的更远. ApacheCN 学习资源 目录 Spring 5 Spr ...

  4. CF1270G Subset with Zero Sum

    首先一定要从每个数的范围 \(i - n \le a_i \le i - 1\) 入手,最开始是这样一个想法,不难发现对于每个 \(i\) 都能选 \(n\) 个数,并且能选的右端点在 \(i - 1 ...

  5. SQLite 基础不扎实造成的：error code 19: constraint failed

    感谢大佬:https://www.cnblogs.com/flintlovesam/p/5241866.html (https://www.cnblogs.com/flintlovesam/p/524 ...

  6. iOS 模糊、精确搜索匹配功能方法总结 By HL

    字符串搜索主要用于UITableView的搜索功能的筛选,过滤,查询 下面是一些流行的搜索查询方法 一.遍历搜索 for循环 根据要求:精确搜索(判读字符串相等)   模糊搜索(字符串包含) 相关知识 ...

  7. 聊一聊DTM子事务屏障功能之SQL Server版

    背景 前面写了两篇如何用 C# 基于 DTM 轻松实现 SAGA 和 TCC 的分布式事务,其中有一个子事务屏障的功能,很好的处理了空补偿.悬挂.重复请求等异常问题. https://dtm.pub/ ...

  8. Solution -「ARC 104F」Visibility Sequence

    \(\mathcal{Description}\)   Link.   给定 \(\{x_n\}\),对于满足 \(h_i\in[1,x_i]\) 的序列 \(\{h_n\}\),定义序列 \(\{p ...

  9. Word 模板注入

      要实现word模板注入,需要一个被注入的文档,以及一个注入用的模板. 1.创建一个启用宏的模板   打开word,alt+f8创建编辑宏,在Project->Microsoft Word对象 ...

  10. python的format

    python的format 就是一个参数传递+格式化的过程 参数传递 1.位置传递,默认 fmt = "{} {}" fmt.format("hello",&q ...