Python3(3.5.4)搭建爬虫系统步骤描述:

1.下载python安装包,路径:https://www.python.org/downloads/windows/  选择3.5.4版本64位的安装文件,如果不能下载可直接联系我,地址见底。

2.下载安装完成后直接cmd输入python,可正常查看版本,以本人为例:

注:安装过程中请注意一定要请勾选pip安装并加入到环境变量中,否则后续无法正常安装第三方类库。

3.安装爬虫框架必须依赖的第三方类库Twisted,在使用pip安装时会出现下载文件失败而无法安装问题,所以我直接下载源文件,然后cmd进入下载文件

目录下是用pip install 下载文件全名  安装即可,下载地址如下: https://www.lfd.uci.edu/~gohlke/pythonlibs/  搜索Twisted  然后找到跟本地Python版本匹配的whl文件

,比如我本地安装Python3.5.3 64位,name下载的文件就应该选择:

4.安装selenimu  自动化web包,cmd进入任意目录,执行 pip install selenium

5.安装pymysql 连接mysql包,cmd进入任意目录,执行pip install pymysql

6.安装pillow图片处理包, pip install piplow

7.安装pypiwin32 操作底层dll包,pip install pypiwin32

8.安装requests 发送web请求包 pip install requests

9.安装scrapy 爬虫框架包 pip install scrapy

10.安装解析网页内容包 pip install bs4。

11.截止以上十步爬虫所主要依赖第三方类库安装完成,下一步验证爬虫框架。

11.进入cmd,输入scrapy 查看scrapy是否安装成功。

12在cmd中进入任意目录,输入scrapy startproject testproject 创建一个机遇scrapy的爬虫工程,目录结构如下>

13.创建完工程后,可通过scrapy genspider mydomain mydomain.com 命令创建一个名字为mydomain 网站为mydomain.com的爬虫。

14创建完爬虫后,在工程目录下执行scrapy list 查看刚才创建的爬虫是否成功,如下:

15.不修改爬虫内容,测试爬虫是否正常运行,执行如下命令:

scrapy crawl 爬虫名称(比如我的工程执行 scrapy crawl test_pc)如下:

至此,一个简单的爬虫系统从头到最后运行的过程全部搭建完成。

另:本人微信ma0603kang 邮箱:ma0603kang@163.com,如果有什么问题可以联系我。

python+scrapy环境搭建步骤描述的更多相关文章

  1. python+selenium环境搭建步骤

    一.自动化简介 1.自动化测试概念: 是把以人为驱动的测试转化为机器执行的一种过程,它是一种以程序测试程序的过程 2.自动化测试分类: 一般IT上所说的自动化测试是指功能自动化测试,通过编码的方式用一 ...

  2. Python Scrapy环境搭建(一)

    本来是以学习的目的添加了几个QQ群,但是发现群内有着很多的小白都在咨询如何搭建环境的问题,所以我这里把自己搭建的方法分享下 1.首先我们需要查看下自己安装的python的版本; 最简单的版本就是在命令 ...

  3. windows下,python+scrapy环境搭建

    •安装lxml(官网给出的地址http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml,下载whl文件安装) •安装zope.interface https:// ...

  4. 基于Selenium2与Python自动化测试环境搭建

    简介: selenium 是一个web的自动化测试工具,不少学习功能自动化的同学开始首选selenium ,相因为它相比QTP有诸多有点: *  免费,也不用再为破解QTP而大伤脑筋 *  小巧,对于 ...

  5. [转]MonkeyRunner在Windows下的Eclipse开发环境搭建步骤(兼解决网上Jython配置出错的问题)

    MonkeyRunner在Windows下的Eclipse开发环境搭建步骤(兼解决网上Jython配置出错的问题)   网上有一篇shangdong_chu网友写的文章介绍如何在Eclipse上配置M ...

  6. linux下scrapy环境搭建

    最近使用scrapy做数据挖掘,使用scrapy定时抓取数据并存入MongoDB,本文记录环境搭建过程以作备忘 OS:ubuntu 14.04  python:2.7.6 scrapy:1.0.5 D ...

  7. 自动化测试 Appium之Python运行环境搭建 Part1

    Appium之Python运行环境搭建 Part1 by:授客 QQ:1033553122 实践环境 Win7 Python 3.4.0 JAVA JDK 1.8.0_121 node.js8.11. ...

  8. 基于Python3.7的robotframework环境搭建步骤

    一.前言 Robot Framework作为公司能快速落地实现UI自动化测试的一款框架,同时也非常适合刚入门自动化测试的朋友们去快速学习自动化,笔者计划通过从搭建逐步到完成自动化测试的过程来整体描述它 ...

  9. Eclipse中Python开发环境搭建

    Eclipse中Python开发环境搭建  目 录  1.背景介绍 2.Python安装 3.插件PyDev安装 4.测试Demo演示 一.背景介绍 Eclipse是一款基于Java的可扩展开发平台. ...

随机推荐

  1. 如何绘制ER图

    先画出多个实体(用长方形表示),然后是联系类型(菱形),和属性(椭圆).

  2. Python模块入门(一)

    一.模块介绍 模块就是一系列功能的集合体 模块有三种来源: 1.内置模块:python内提供的模块 2.第三方模块:由第三方提供的模块 3.自定义模块:自行定义的模块 模块的格式: 1.使用pytho ...

  3. Kindeditor单独调用多图上传

    html代码: <input type="button" id="J_selectImage" value="图片上传" />& ...

  4. $.ajax显示进度条

  5. Struts_OGNL(Object Graph Navigation Language) 对象图导航语言

    1.访问值栈中的action的普通属性: 请求: <a href="ognl.action?username=u&password=p">访问属性</a& ...

  6. Verilog八线 - 三线优先编码器设计(74LS148)

    百度百科_74LS148 if语句法 //8线-3线优先编码器设计(74LS148) // //EI | A7 A6 A5 A4 A3 A2 A1 A0 | Y2 Y1 Y0 GS EO //0 | ...

  7. Leetcode back(215) to be continue

    solution discussion https://leetcode.com/problems/kth-largest-element-in-an-array/description/ -- 21 ...

  8. Jmeter入门8 连接microsoft sql server数据库取数据

    本文以Jmeter 连接microsoft sql server为例. 1 从微软官网下载Microsoft SQL Server JDBC Driver 地址:http://www.microsof ...

  9. JavaRebel 2.0 发布,一个JVM插件

    JavaRebel是一个JVM插件(-javaagent),能够即时重载java class更改,因此不需要重新部署一个应用或者重启容器,节约开发者时间. JavaRebel 2.0的新特征: 改变了 ...

  10. EasyHook实用指南

    所谓实用指南就是全是干货,没那么多虚头巴脑的东西,真正要用的人会发现对自己有用的东西,浅尝辄止的人看起来会不知所云. FileMon自己实做的过程中遇到的问题: 1. exe和dll文件必须强命名,对 ...