Website Scraping with Python 阅读笔记

第一章

　　工程涉及的基本工具：requests, beautiful soup, scrapy。

　　法规与技术约定：read the Terms & Conditions and the Privacy Policy  of the website。让不让爬？
　　　　　　　　　　See the robots.txt file 。哪些可以爬？
　　　　　　　　　　website’s HTML code。目标网页涉及什么技术？

　　　　　　　　　　task and the website's structure.。该选什么工具？

　　Terms and Robots重点读：scraper/scraping
　　　　　　　　　　　　　　   crawler/crawling
　　　　　　　　　　　　　　   bot
　　　　　　　　　　　　　　   spider
　　　　　　　　　　　　　　   program

　　网页技术：使用python的builtwith库探查网页使用的技术

　　谷歌浏览器开发者工具：勘察网页

　　工具选择：small project（简单页面、没有涉及js的） Beautiful Soup + requests or  use Scrapy。

　　　　　　　有大量数据的，追求性能的  Scrapy + Beautiful Soup。

　　　　　　　面对AJAX技术就要打电话摇人了，Selenium and Portia 出场。

第二章 输入请求

　　确定目标页面，查看目标页的robots.txt文件

　　对目标页面进行分析，确定找到目标信息的关键步骤

　　将整个爬取任务分解为几个步骤

　　整个网站就是一个树形图，域名为主干最终的页面即为叶子，叶子通过分支连接着域名　　　

　　 

　　爬虫搜索页面就有了两种方法，一种是广度优先，层层递进式的搜索，另一种是深度优先，一条路走到头，回来再走下一条

第三章 使用BeautifulSoup

　　导入：from bs4 import BeautifulSoup
　　它用来解析html内容,提取目标信息

　　信息保存到csv,json文件

　　保存到关系数据库

　　保存到非关系数据库

　　改进：　1、使用不同的html解析器，html.parser（python自带）, lxml（速度快）, lxml-xml, html5lib（非常慢）

　　　　　　2、只解析需要的部分，使用SoupStrainer对象，例：

　　　　　　　　　　strainer = SoupStrainer(name='ul', attrs={'class':
　　　　　　　　　　'productLister gridView'})
　　　　　　　　　　soup = BeautifulSoup(content, 'html.parser', parse_only=strainer)

　　　　　　　　　　BeautifulSoup(content, 'html.parser', name='ul',
　　　　　　　　　　attrs={'class': ['productLister gridView',
　　　　　　　　　　'categories shelf', 'categories aisles']})

　　　　　　3、即时保存，减少数据丢失

　　　　　　4、使用缓存中间件保存中间步骤获取的数据，获得更好的性能

　　　　　　5、本地缓存整个网站，缓存的基本思想是创建标识网站的密钥，我们使用它作为键，页面的内容就是值，根据URL创建一个哈希，哈希很短，如果您选择一个好的算法，您可以避免大量页面的冲突。我将使用hashlib.blake2b哈希函数，因为它比常用的哈希（例如MD5）更快，并且它与SHA-313一样安全。此外，该算法生成128个字符，这对于所有三个主导操作系统来说都足够短。

　　　　　　6、基于文件的缓存，将数据保存到文件。数据库缓存，将数据保存到关系数据库或非关系数据库

　　　　　　7、保存空间问题，数据量很大的话就要考虑节省保存空间，保存时压缩页面内容可以节省空间，读取时就需要解压缩，解压缩会增加一些计算时间，我们这里的策略是以时间换空间

　　　　　　8、更新缓存，确定缓存失效时间，超时后更新缓存