Day 22 22.1：增量式爬虫

Day 22 22.1：增量式爬虫

• 爬虫应用场景分类

  • 通用爬虫
  • 聚焦爬虫
  • 功能爬虫
  • 分布式爬虫
  • 增量式爬虫：
    • 用来监测网站数据更新的情况（爬取网站最新更新出来的数据）。
    • 只是一种程序设计的思路，使用什么技术都是可以实现的。
    • 核心：
      • 去重。
        • 使用一个记录表来实现数据的去重：
          • 记录表：存储爬取过的数据的记录
          • 如何构建和设计一个记录表：
            • 记录表需要具备的特性：
              • 去重
              • 需要持久保存的
            • 方案1：使用Python的set集合充当记录表？
              • 不可以的！因为set集合无法实现持久化存储
            • 方案2：使用redis的set集合充当记录表？
              • 可以的，因为redis的set既可以实现去重又可以进行数据的持久化存储。

• 基于两个场景实现增量式爬虫：

  • 场景1：如果爬取的数据都是存储在当前网页中，没有深度的数据爬取的必要。
  • 场景2：爬取的数据存在于当前页和详情页中，具备深度爬取的必要。