Windows下配置scrapy需要MVC的14.0版本(转载)

转载于--http://blog.csdn.net/MrWilliamVs/article/details/77130965

杨煜冬煜杨的博客，他的博客比较杂，Java、Python都有--http://blog.csdn.net/yyd19921214

环境依赖于 microsoft visual C++ 14.0, 仔细看报错后面还写着该C++库的下载地址；(但我电脑上C++是13.0版本的，这是2017年的博客，不再维护这篇博客了)

因此，去提示的链接地址， 老老实实下载该库就可以正常配置，不会报错了。

我是在配置twisted的时候报错的， twisted是一个C++编写的库，需要visual C++的环境去编译，因此，要求电脑上装有Visual C++ 14.0的环境。

网络爬虫， 诚心推荐使用scrapy框架，会方便高效很多。

关于scrapy的配置，电脑上文章太多了，我这里附一个我觉得比较好的，给大家分享下吧，按照教程一步一步来，就不会出错，电脑上pip配置好的话，直接使用指令，会方便很多

http://blog.csdn.net/playstudy/article/details/17296473

http://jingyan.baidu.com/article/fcb5aff7578501edaa4a712b.html

scrapy框架已经把爬虫的架子搭好了，只需要在每个模块里，按照自己的需求去修改就可以了。
这里推荐一个比较好的教程：http://blog.csdn.net/zjiang1994/article/details/52779537