简单爬虫架构

动态运行流程

URL管理器的作用

URL管理器的3种实现方式

网页下载器的作用

Python网页下载器的种类

urllib2下载网页的3种方法

网页解析器的作用

Python的几种网页解析器

结构化解析依赖DOM树

Beautiful Soup语法

代码举例：

1.创建Beautiful Soup对象

  1.  from bs4 import BeautifulSoup
  2.  
  3.  soup = BeautifulSoup(
  4.      html_doc,               #HTML文档字符串
  5.      'heml.parser',          #HTML解析器
  6.      from_encoding='utf-8'   #HTML文档的编码
  7.  )

2.find_all find方法的使用

3.访问节点信息

4.Beautiful Soup处理html文档举例

  1.  from bs4 import BeautifulSoup
  2.  import re
  3.  
  4.  html_doc = """
  5.  <html><head><title>The Dormouse's story</title></head>
  6.  <body>
  7.  <p class="title"><b>The Dormouse's story</b></p>
  8.  
  9.  <p class="story">Once upon a time there were three little sisters; and their names were
  10.  <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
  11.  <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
  12.  <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
  13.  and they lived at the bottom of a well.</p>
  14.  
  15.  <p class="story">...</p>
  16.  """
  17.  
  18.  soup = BeautifulSoup(
  19.      html_doc,               #HTML文档字符串
  20.      'html.parser',          #HTML解析器
  21.      from_encoding='utf-8'   #HTML文档的编码
  22.  )
  23.  
  24.  print('获取所有的连接')
  25.  links = soup.find_all('a')
  26.  for link in links:
  27.      print(link.name,link['href'],link.get_text())
  28.  
  29.  print('获取tillie的连接')
  30.  link_node = soup.find('a',href='http://example.com/tillie')
  31.  print(link_node.name,link_node['href'],link_node.get_text())
  32.  
  33.  print('正则表达式匹配')
  34.  link_node2 = soup.find('a',href=re.compile(r'lsi'))
  35.  print(link_node2.name,link_node2['href'],link_node2.get_text())
  36.  
  37.  print('获取P段落文字')
  38.  p_node = soup.find('p',class_='title')
  39.  print(p_node.name,p_node.get_text())

控制台输出：

  1.  1 获取所有的连接
  2.  2 a http://example.com/elsie Elsie
  3.  3 a http://example.com/lacie Lacie
  4.  4 a http://example.com/tillie Tillie
  5.  5 获取tillie的连接
  6.  6 a http://example.com/tillie Tillie
  7.  7 正则表达式匹配
  8.  8 a http://example.com/elsie Elsie
  9.  9 获取P段落文字
  10. 10 p The Dormouse's story

更高级的爬虫还会涉及到“需登陆、验证码、Ajax、服务器防爬虫、多线程、分布式”等情况

Python--开发简单爬虫的更多相关文章

  1. Python开发简单爬虫 - 慕课网

    课程链接:Python开发简单爬虫 环境搭建: Eclipse+PyDev配置搭建Python开发环境 Python入门基础教程 用Eclipse编写Python程序   课程目录 第1章 课程介绍 ...

  2. Python开发简单爬虫（一）

    一 .简单爬虫架构: 爬虫调度端:启动爬虫,停止爬虫,监视爬虫运行情况 URL管理器:对将要爬取的和已经爬取过的URL进行管理:可取出带爬取的URL,将其传送给“网页下载器” 网页下载器:将URL指定 ...

  3. Python开发简单爬虫

    简单爬虫框架: 爬虫调度器 -> URL管理器 -> 网页下载器(urllib2) -> 网页解析器(BeautifulSoup) -> 价值数据 Demo1: # codin ...

  4. Python开发简单爬虫（二）---爬取百度百科页面数据

    一.开发爬虫的步骤 1.确定目标抓取策略: 打开目标页面,通过右键审查元素确定网页的url格式.数据格式.和网页编码形式. ①先看url的格式, F12观察一下链接的形式;② 再看目标文本信息的标签格 ...

  5. Python 开发轻量级爬虫05

    Python 开发轻量级爬虫 (imooc总结05--网页下载器) 介绍网页下载器 网页下载器是将互联网上url对应的网页下载到本地的工具.因为将网页下载到本地才能进行后续的分析处理,可以说网页下载器 ...

  6. Python 开发轻量级爬虫03

    Python 开发轻量级爬虫 (imooc总结03--简单的爬虫架构) 现在来看一下一个简单的爬虫架构. 要实现一个简单的爬虫,有哪些方面需要考虑呢? 首先需要一个爬虫调度端,来启动爬虫.停止爬虫.监 ...

  7. Python 开发轻量级爬虫01

    Python 开发轻量级爬虫 (imooc总结01--课程目标) 课程目标:掌握开发轻量级爬虫 为什么说是轻量级的呢?因为一个复杂的爬虫需要考虑的问题场景非常多,比如有些网页需要用户登录了以后才能够访 ...

  8. Python 开发轻量级爬虫08

    Python 开发轻量级爬虫 (imooc总结08--爬虫实例--分析目标) 怎么开发一个爬虫?开发一个爬虫包含哪些步骤呢? 1.确定要抓取得目标,即抓取哪些网站的哪些网页的哪部分数据. 本实例确定抓 ...

  9. Python 开发轻量级爬虫07

    Python 开发轻量级爬虫 (imooc总结07--网页解析器BeautifulSoup) BeautifulSoup下载和安装 使用pip install 安装:在命令行cmd之后输入,pip i ...

  10. Python 开发轻量级爬虫06

    Python 开发轻量级爬虫 (imooc总结06--网页解析器) 介绍网页解析器 将互联网的网页获取到本地以后,我们需要对它们进行解析才能够提取出我们需要的内容. 也就是说网页解析器是从网页中提取有 ...

随机推荐

  1. Selenium 三种等待

    问题 : 强制等待和隐式等待的区别怎么理解? 和pause有什么区别?什么时候适用pause? 第二篇文章更清楚一点. 以下内容引自: https://www.cnblogs.com/xu-jia-l ...

  2. 【BZOJ 3626】 [LNOI2014]LCA【在线+主席树+树剖】

    题目链接: TP 题解:   可能是我比较纱布,看不懂题解,只好自己想了…… 先附一个离线版本题解[Ivan] 我们考虑对于询问区间是可以差分的,然而这并没有什么卵用,然后考虑怎么统计答案. 首先LC ...

  3. BZOJ_3252_攻略_线段树+dfs序

    BZOJ_3252_攻略_线段树+dfs序 Description 题目简述:树版[k取方格数] 众所周知,桂木桂马是攻略之神,开启攻略之神模式后,他可以同时攻略k部游戏.今天他得到了一款新游戏< ...

  4. tomcat设置直接通过域名访问项目（不需要接 /项目名）

    本文转自 : https://blog.csdn.net/qq_33647275/article/details/52585489 效果图 打开 tomcat - ->conf- ->se ...

  5. python 防止sql注入字符串拼接的正确用法

    在使用pymysql模块时,在使用字符串拼接的注意事项错误用法1 sql='select * from where id="%d" and name="%s" ...

  6. android双待手机获取每一张SIM卡的imei

    /** * create a TelephonyInfo.java class */import java.lang.reflect.Method; import android.content.Co ...

  7. sau交流学习社区--songEagle开发系列：Vue.js + Koa.js项目中使用JWT认证

    一.前言 JWT(JSON Web Token),是为了在网络环境间传递声明而执行的一种基于JSON的开放标准(RFC 7519). JWT不是一个新鲜的东西,网上相关的介绍已经非常多了.不是很了解的 ...

  8. Git协同工作流介绍

    git相关的文章和教程非常多,但是系统介绍和了解工作流的人并不多,在使用过程中用错或用偏的也不少,这里分享的是,假设你已经入门的情况下,我们如何去选择适合团队需要的工作流. git优势 这里先唠叨gi ...

  9. Go map实现原理

    map结构 整体为一个数组,数组每个元素可以理解成一个槽,槽是一个链表结构,槽的每个节点可存8个元素,搞清楚了map的结构,想想对应的增删改查操作也不是那么难

  10. Visual Studio 2019 发布活动 - 2019 年 4 月 2 日

    Visual Studio 2019 发布活动 2019 年 4 月 2 日,星期二 | 上午 9:00 (PT) 围观: https://visualstudio.microsoft.com/zh- ...