读书笔记--用Python写网络爬虫01--网络爬虫简介
Firefox简介
- http://www.mozilla.org/
- 中文官网:http://www.firefox.com.cn/ https://www.mozilla.org/zh-CN/firefox/
- Mozilla Firefox,中文俗称“火狐”(正式缩写为Fx或fx,非正式缩写为MF),是一个自由及开放源代码的网页浏览器;
- 支持多种操作系统,如Windows、Mac OS X及GNU/Linux等。
Firefox ESR版本
- Firefox提供了普通版和ESR(Extended Support Release,延长支持)版;
- ESR版本是Mozilla专门为那些无法或不愿每隔六周就升级一次的企业打造;
- Firefox ESR 版的升级周期为42周,而普通Firefox的升级周期为6周;
Firefox完整安装包
- web:http://www.firefox.com.cn/download/
- ftp:http://ftp.mozilla.org/pub/firefox/releases/
- 例如:获取Firefox某个ESR版本完整安装包 http://ftp.mozilla.org/pub/firefox/releases/52.2.0esr/win64/zh-CN/
常用Firefox浏览器插件
Firefox 附加组件: https://addons.mozilla.org/zh-CN/firefox/
下载
- Download Manager (S3):https://addons.mozilla.org/zh-CN/firefox/addon/s3download-statusbar/
- 多线程下载管理器:https://addons.mozilla.org/zh-CN/firefox/addon/multithreaded-download-manager/
网页浏览
- Dark Reader:https://darkreader.org/
GitHub代码查看
- Octotree:https://addons.mozilla.org/zh-CN/firefox/addon/octotree/
- Git History:https://addons.mozilla.org/zh-CN/firefox/addon/github-history/
网页保存
- Save Page WE:https://addons.mozilla.org/zh-CN/firefox/addon/save-page-we/
- 网页剪贴簿:https://addons.mozilla.org/zh-CN/firefox/addon/web-scrapbook/
广告拦截器
- https://addons.mozilla.org/zh-CN/firefox/addon/incognito-adblocker/
- https://addons.mozilla.org/zh-CN/firefox/addon/adblock-for-firefox/
- https://addons.mozilla.org/zh-CN/firefox/addon/adblock-plus/
其他
- Firebug:https://getfirebug.com/
- Selenium IDE:https://addons.mozilla.org/zh-CN/firefox/addon/selenium-ide/
- NoScript安全套件:https://addons.mozilla.org/zh-CN/firefox/addon/noscript/
- JSONView:https://addons.mozilla.org/zh-CN/firefox/addon/jsonview/
Waterfox
- https://www.waterfoxproject.org/
- Waterfox是一个纯64位版的火狐浏览器,使用Firefox官方源码,专门为64位Windows操作系统优化编译而成。
- 内置了最新Flash、Java和Silverlight插件的64位版本,支持任何官方火狐支持的扩展。
读书笔记--用Python写网络爬虫01--网络爬虫简介的更多相关文章
- 读书笔记--用Python写网络爬虫02--数据抓取
抓取(scraping)---爬虫从网页中抽取一些数据用以实现某些用途. 三种抽取网页数据的方法:正则表达式.Beautiful Soup和lxml. 2.1 分析网页 通过浏览器自带选项,查看网页源 ...
- 使用Python写的第一个网络爬虫程序
今天尝试使用python写一个网络爬虫代码,主要是想訪问某个站点,从中选取感兴趣的信息,并将信息依照一定的格式保存早Excel中. 此代码中主要使用到了python的以下几个功能,因为对python不 ...
- Python爬虫-01:爬虫的概念及分类
目录 # 1. 为什么要爬虫? 2. 什么是爬虫? 3. 爬虫如何抓取网页数据? # 4. Python爬虫的优势? 5. 学习路线 6. 爬虫的分类 6.1 通用爬虫: 6.2 聚焦爬虫: # 1. ...
- hadoop学习笔记——用python写wordcount程序
尝试着用3台虚拟机搭建了伪分布式系统,完整的搭建步骤等熟悉了整个分布式框架之后再写,今天写一下用python写wordcount程序(MapReduce任务)的具体步骤. MapReduce任务以来H ...
- 【读书笔记】iOS-网络-测试与操纵网络流量
一,观测网络流量. 观测网络流量的行为叫做嗅探或数据包分析. 1,嗅探硬件. 从iOS模拟器捕获数据包不需要做特别的硬件或网络配置.如果需要捕获这些数据包,那么可以使用嗅探软件来监听回送设备或是用于连 ...
- 用python写一个豆瓣短评通用爬虫(登录、爬取、可视化)
原创技术公众号:bigsai,本文在1024发布,祝大家节日快乐,心想事成. @ 目录 前言 登录 爬取 储存 可视化分析 前言 在本人上的一门课中,老师对每个小组有个任务要求,介绍和完成一个小模块. ...
- 【读书笔记】《写给大忙人看的Java SE 8》——Java8新特性总结
虽然看过一些Java 8新特性的资料,但是平时很少用到,时间长了就忘了,正好借着Java 9的发布,来总结下一些Java 8中的新特性. 接口中的默认方法和静态方法 先考虑一个问题,如何向Java中的 ...
- 读书笔记「Python编程:从入门到实践」_10.文件和异常
10.1 从文件中读取数据 10.1.1 读取整个文件 with open(~) as object: contents=object.read() with open('C:/Users/jou/ ...
- python 进阶读书笔记2 -- python魔法函数
#!/usr/bin/env python# -*- coding: utf-8 -*- class student: def __init__(self, name_list): self.stud ...
随机推荐
- 【NEERC 2003】有向图破坏
[题目描述] Alice和Bob正在玩如下的游戏.首先Alice画一个有N个顶点,M条边的有向图.然后Bob试着摧毁它.在一次操作中他可以找到图中的一个点,并且删除它所有的入边或所有的出边. Alic ...
- android布局1
第二类:属性值必须为id的引用名“@id/id-name” 仅RelativeLayout中有效 android:layout_below 在某元素的下方 android:la ...
- 关于ligerui和其他前端脚本的学习方法(适用于自己)
特别是看别人的源代码(来源于自己看的那个cms系统),比如ligerui,别人用的juery和ligerui结合的很灵活,比如下面一段代码 var itemiframe = "#framec ...
- (转)QT常用快捷键
F1 查看帮助F2 跳转到函数定义(和Ctrl+鼠标左键一样的效果)Shift+F2 声明和定义之间切换F4 头文件和源文件之间切换Ctrl+1 ...
- 初涉JavaScript模式 (7) : 原型模式 【三】
组合使用构造函数模式和原型模式 上篇,我们提到了原型模式的缺点,就是每个实例不能拥有自己的属性,因为纯原型模式所有的属性都是公开给每个实例的,故我们可以组合使用构造函数模式和原型模式.构造函数用来定义 ...
- c程序代码的内存布局(学好C的基础)
一个程序本质上都是由 BSS 段.data段.text段三个组成的.这样的概念在当前的计算机程序设计中是很重要的一个基本概念,而且在嵌入式系统的设计中也非常重要,牵涉到嵌入式系统运行时的内存大小分配, ...
- 【Maven实战】仓库介绍和Nexus的安装
在Maven中我们之前进行配置一个项目的依赖时,引用一下jar包,这些jar包第一次都会从一个地方进行下载,这个地方称为仓库,而对于仓库一般有本地仓库和中心仓库之分,但是我们一般在做项目时会在自己的服 ...
- Quantization Method
如上一篇Quantization所说,可以在编码端通过设置offset来调整量化后的值,从而趋向于期望的量化值,而且在逆量化公式可以看出offset值在逆量化的时候是不会用到的. 目前来说,确定off ...
- hibernate之CRUD操作
CRUD是指在做计算处理时的增加(Create).读取(Retrieve)(重新得到数据).更新(Update)和删除(Delete)几个单词的首字母简写. 下面列举实例来讲解这几个操作: 实体类: ...
- 14.1.3 检查InnoDB 可用性:
14.1.3 Checking InnoDB Availability 14.1.3 检查InnoDB 可用性: 确定是否你的server 支持InnoDB: 1.执行命令 SHOW ENGINES; ...