python+scrapy环境搭建步骤描述
Python3(3.5.4)搭建爬虫系统步骤描述:
1.下载python安装包,路径:https://www.python.org/downloads/windows/ 选择3.5.4版本64位的安装文件,如果不能下载可直接联系我,地址见底。
2.下载安装完成后直接cmd输入python,可正常查看版本,以本人为例:
注:安装过程中请注意一定要请勾选pip安装并加入到环境变量中,否则后续无法正常安装第三方类库。
3.安装爬虫框架必须依赖的第三方类库Twisted,在使用pip安装时会出现下载文件失败而无法安装问题,所以我直接下载源文件,然后cmd进入下载文件
目录下是用pip install 下载文件全名 安装即可,下载地址如下: https://www.lfd.uci.edu/~gohlke/pythonlibs/ 搜索Twisted 然后找到跟本地Python版本匹配的whl文件
,比如我本地安装Python3.5.3 64位,name下载的文件就应该选择:
4.安装selenimu 自动化web包,cmd进入任意目录,执行 pip install selenium
5.安装pymysql 连接mysql包,cmd进入任意目录,执行pip install pymysql
6.安装pillow图片处理包, pip install piplow
7.安装pypiwin32 操作底层dll包,pip install pypiwin32
8.安装requests 发送web请求包 pip install requests
9.安装scrapy 爬虫框架包 pip install scrapy
10.安装解析网页内容包 pip install bs4。
11.截止以上十步爬虫所主要依赖第三方类库安装完成,下一步验证爬虫框架。
11.进入cmd,输入scrapy 查看scrapy是否安装成功。
12在cmd中进入任意目录,输入scrapy startproject testproject 创建一个机遇scrapy的爬虫工程,目录结构如下>
13.创建完工程后,可通过scrapy genspider mydomain mydomain.com 命令创建一个名字为mydomain 网站为mydomain.com的爬虫。
14创建完爬虫后,在工程目录下执行scrapy list 查看刚才创建的爬虫是否成功,如下:
15.不修改爬虫内容,测试爬虫是否正常运行,执行如下命令:
scrapy crawl 爬虫名称(比如我的工程执行 scrapy crawl test_pc)如下:
至此,一个简单的爬虫系统从头到最后运行的过程全部搭建完成。
另:本人微信ma0603kang 邮箱:ma0603kang@163.com,如果有什么问题可以联系我。
python+scrapy环境搭建步骤描述的更多相关文章
- python+selenium环境搭建步骤
一.自动化简介 1.自动化测试概念: 是把以人为驱动的测试转化为机器执行的一种过程,它是一种以程序测试程序的过程 2.自动化测试分类: 一般IT上所说的自动化测试是指功能自动化测试,通过编码的方式用一 ...
- Python Scrapy环境搭建(一)
本来是以学习的目的添加了几个QQ群,但是发现群内有着很多的小白都在咨询如何搭建环境的问题,所以我这里把自己搭建的方法分享下 1.首先我们需要查看下自己安装的python的版本; 最简单的版本就是在命令 ...
- windows下,python+scrapy环境搭建
•安装lxml(官网给出的地址http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml,下载whl文件安装) •安装zope.interface https:// ...
- 基于Selenium2与Python自动化测试环境搭建
简介: selenium 是一个web的自动化测试工具,不少学习功能自动化的同学开始首选selenium ,相因为它相比QTP有诸多有点: * 免费,也不用再为破解QTP而大伤脑筋 * 小巧,对于 ...
- [转]MonkeyRunner在Windows下的Eclipse开发环境搭建步骤(兼解决网上Jython配置出错的问题)
MonkeyRunner在Windows下的Eclipse开发环境搭建步骤(兼解决网上Jython配置出错的问题) 网上有一篇shangdong_chu网友写的文章介绍如何在Eclipse上配置M ...
- linux下scrapy环境搭建
最近使用scrapy做数据挖掘,使用scrapy定时抓取数据并存入MongoDB,本文记录环境搭建过程以作备忘 OS:ubuntu 14.04 python:2.7.6 scrapy:1.0.5 D ...
- 自动化测试 Appium之Python运行环境搭建 Part1
Appium之Python运行环境搭建 Part1 by:授客 QQ:1033553122 实践环境 Win7 Python 3.4.0 JAVA JDK 1.8.0_121 node.js8.11. ...
- 基于Python3.7的robotframework环境搭建步骤
一.前言 Robot Framework作为公司能快速落地实现UI自动化测试的一款框架,同时也非常适合刚入门自动化测试的朋友们去快速学习自动化,笔者计划通过从搭建逐步到完成自动化测试的过程来整体描述它 ...
- Eclipse中Python开发环境搭建
Eclipse中Python开发环境搭建 目 录 1.背景介绍 2.Python安装 3.插件PyDev安装 4.测试Demo演示 一.背景介绍 Eclipse是一款基于Java的可扩展开发平台. ...
随机推荐
- vueHistory 模式下,布置到服务器上路由刷新会报nginx404错误
之前写完vue项目后,布置到服务器,用nginx反向代理后,一开始进去,进各种路由都是没问题的,但是一旦f5刷新后就会出现一个nginx404的错误. 经过翻阅vue文档后,发现这是vueHistor ...
- 开启win7笔记本自带无线功能
在cmd中输入以下命令: netsh wlan set hostednetwork mode=allow /disallow netsh wlan set hostednetwork ssid=Myw ...
- Java1.7新特性
1.switch语句支持字符串变量 public String getTypeOfDayWithSwitchStatement(String dayOfWeekArg) { String typeOf ...
- HTML:::before和::after伪元素的用法
随笔 - 366 文章 - 0 评论 - 392 ::before和::after伪元素的用法 一.介绍 css3为了区分伪类和伪元素,伪元素采用双冒号写法. 常见伪类——:hover,:li ...
- 【转载】SQL执行计划
要理解执行计划,怎么也得先理解,那各种各样的名词吧.鉴于自己还不是很了解.本文打算作为只写懂的,不懂的懂了才写. 在开头要先说明,第一次看执行计划要注意,SQL Server的执行计划是从右向左看的. ...
- gitlab安装详解
官方网站---https://www.gitlab.com.cn/downloads/ 1.选择操作系统 例如:CentOS6.CentOS7.Ubuntu12.04.Ubuntu14.04等,选择相 ...
- JavaScript 编写随机四位数验证码(大小写字母和数字)
1.JavaScript编写随机四位数验证码,用到的知识点为: a.Math对象的随机数:Math.random() b.Math对象的取整 :Math.floor() c.处理所需要的下标个数 ...
- April 8 2017 Week 14 Saturday
Life is the art of drawing without an eraser. 人生如画,落笔无悔. Yesterday I watched a film from Japan, Afte ...
- java IO流——字符流
一.概述 流的概念: 流是个抽象的概念,是对输入输出设备的抽象,Java程序中,对于数据的输入/输出操作都是以“流”的方式进行.设备可以是文件,网络,内存等. 流具有方向性,至于是输入流还是输出流则是 ...
- Vim-命令合集
命令历史 以:和/开头的命令都有历史纪录,可以首先键入:或/然后按上下箭头来选择某个历史命令. 启动vim 在命令行窗口中输入以下命令即可 vim 直接启动vim vim filename 打开vim ...