python爬虫的scrapy安装+pymongo的安装

我的：python2.7版本    32位

注意scrapy只支持2.7及以上的版本。

1.安装python

2.安装pip

安装pip就不赘述了，网上很多教学

pip安装时要注意更新，如果pip版本过老，会安装其他东西时失败。

说一下如何更新pip（命令行）：

pip install -U pip

pip安装后在命令行输入

pip  list

可查看已经安装的包

3.scrapy的安装

python -m pip install scrapy

scrapy安装的时候如果报错“ReadTimeoutError”，大概长这样子的。。。

raise ReadTimeoutError(self._pool, None, 'Read timed out.')
ReadTimeoutError: HTTPSConnectionPool(host='pypi.python.org', port=443): Read timed out.

那么就用国内的源下载：

python -m pip install --index https://pypi.mirrors.ustc.edu.cn/simple/  scrapy

scrapy我安装的时候报错：

  building 'twisted.test.raiser' extension
  error: Microsoft Visual C++ 9.0 is required. Get it from http://aka.ms/vcpython27

缺少Twisted了

解决办法：

在http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件（像我2.7版本的python,32位就是下载的Twisted-18.7.0-cp27-cp27m-win32.whl），cp后面是python版本，amd64代表64位，运行命令：

pip install C:\Users\PC\Downloads\Twisted-18.7.0-cp27-cp27m-win32.whl

pip install +twisted对应whl的路径。

可以在命令行输入python查看自己python的版本。

如下，我的就是2.7.14的32位的python。

Python 2.7.14 (v2.7.14:84471935ed, Sep 16 2017, 20:19:30) [MSC v.1500 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.

 pymongo

pip真的是太方便了，表白一波~

pip install pymongo -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

后来在pycharm实际操作mongo数据库的时候，报出这个错误：

ImportError: No module named bson.code

那么就：  pip install bson   就可以解决了