python3 爬虫开发 学习总结一

virtualenv 安装虚拟环境的   pip install  virtualenv

安装慢的话，可以指定源
    pip install  -i  源地址  xxx  就可以安装xxx

virtualenv xxx 生成xxx的虚拟环境
    指定环境：  virtualenv -p  c:/xxx/xxpy/(windows 要加pythom3.exe) xxx   用python3生成xxx的虚拟环境
虚拟环境位于当前目录下

进入虚拟环境 ：找到目录，然后  virtualenv xxx  进入 

找目录麻烦，所以可以使用 virtualenvwrapper
安装virtualenvwrapper
  pip install virtualenvwrapper

用virtualenvwrapper生成虚拟环境

mkvirtualenv xxx  生成xxx的环境，但是目录是是在默认目录下，我们可以修改：
    在电脑环境变量里新建一个 WORKON_HOME 变量自己指定一下位置
    如 ：  WORKON_HOME  D:\env 就默认到d盘env文件夹下了

当我们再次cmd中运行workon的时候，就会去d盘env下找我们的虚拟环境
同时当用mkvirtualenv xxx的时，就会把虚拟环境建立到d盘下的env文件夹下

（mkvirtualenv xxx 创建的时候，同时会自动进入虚拟环境）

退出virtualenv用 deactivate
进入则： workon  xxx  进入虚拟环境

尝试安装scrapy
 pip install -i https://pypi.douban.com/simple scrapy  

（有可能会报错，我回到的貌似是ssl证书问题，所以需要先安装一下 certifi）

我是去https://pypi.python.org/pypi/certifi 下载的   certifi-2017.7.27.1-py2.py3-none-any.whl (md5, pgp)

   然后进入certifi-2017..所在目录 ，再cmd下执行 pip install  certifi.....whl，安装后
   再次执行 pip install -i https://pypi.douban.com/simple scrapy   
   又遇到了 building 'twisted.test.raiser' extension c++的问题，然后根据提示去 
   然后安装了c++工具之后，
   http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
  我电脑是intel64，py版本是3的所以 我下载了Twisted-17.5.0-cp36-cp36m-win32.whl

scrapy终于安装成功了