Python3爬虫环境配置

　　

一、包管理工具Anaconda安装

1、安装
直接在官网下载最新版本的 https://www.continuum.io/downloads

2、配置环境变量
PATH：C:\Users\Administrator\Anaconda3;C:\Users\Administrator\Anaconda3\Scripts;C:\Users\Administrator\Anaconda3\Library\bin

3、包管理工具
# 安装 matplotlib
conda install matplotlib
# 查看已安装的包
conda list
# 包更新
conda update matplotlib
# 删除包
conda remove matplotlib

4、提高下载速度
Anaconda 的镜像地址默认在国外，用 conda 安装包的时候会很慢，目前可用的国内镜像源地址是清华大学提供的。修改 ~/.condarc (Linux/Mac) 或 C:\Users\当前用户名.condarc (Windows) 配置

channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
- defaults
show_channel_urls: true
除此之外，你也可以把 pip 的镜像源地址也换成国内的，豆瓣源速度比较快。修改 ~/.pip/pip.conf (Linux/Mac) 或 C:\Users\当前用户名\pip\pip.ini (Windows) 配置：

[global]
trusted-host = pypi.douban.com
index-url = http://pypi.douban.com/simple

二、安装必要的库及浏览器驱动
1、安装库
pip install requests/conda install requests
验证安装：
$ python3
>>import requests
首先输入python3，进入命令行模式，然后输入上述内容，如果什么错误提示也没有，就证明已经成功安装了requests。

pip install wheel/conda install wheel

pip install selenium/conda install selenium

验证安装：
$ python3
>>import selenium
如果没有报错，则证明安装成功.

2、Chromedriver的安装
接下来查看本机的Chrome浏览器版本号
点击Chrome菜单“帮助”→“关于GoogleChrome”，即可查看Chrome的版本号

挂VPN：下载与Chrome浏览器对应的驱动文件--注意版本号和驱动对应详见下面网页的notes.txt文件

https://chromedriver.storage.googleapis.com/index.html

本文浏览器版本为52--下载的对应驱动是2.24版本
----------ChromeDriver v2.24 (2016-09-09)----------
Supports Chrome v52-54

下载好解压exe文件（windows）到C:\Users\Administrator\Anaconda3\Scripts

验证是否一致：
$ python3
>>from selenium import webdriver
>>browser = webdriver.Chrome()
运行之后， 如果弹出一个空白的Chrome浏览器网页，则证明所有的配置都没有问题。 如果没有弹出，请检查之前的每一步配置。
如果弹出后闪退，则可能是ChromeDriver版本和Chrome版本不兼容，请更换ChromeDriver版本。
如果没有问题，接下来就可以利用Chrome来做网页抓取了。