scrapy之基础概念与用法

框架

　　所谓的框架就是一个项目的半成品。也可以说成是一个已经被集成了各种功能（高性能异步下载、队列、分布式、解析、持久化等）的具有很强通用性的项目模板。

安装

Linux:

pip3 install scrapy  // pip3具体看自己的pip是pip3

windows:

a. 下载安装wheel

pip3 install wheel

b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

c. 进入下载文件的目录，下载那安装Twisted

pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl  # cp35为python的版本

d. 下载安装pywin32

pip3 install pywin32

e. 下载安装scrapy

pip install scrapy

使用

创建工程

scrapy startproject xxoo  # xxoo为项目工程名称

创建爬虫文件

　　需要先切换到工程项目的目录中

cd xxoo  # xxoo为项目名称

　　然后创建爬虫文件

scrapy genspider ooxx www.xxoo.com # ooxx为爬虫文件的名称, www.xxoo.com为起始URL

　　爬虫文件会自动创建到spiders文件夹中。

　　执行完上边的命令，会产生一个项目工程，文件结构入下：

-- xxoo

  												


											
scrapy之基础概念与用法的更多相关文章
	

    
								
  1. scrapy的基础概念和流程
		
    1. 什么是scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量的代码,就能够快速的抓取. Scrapy 使用了Twisted['twɪstɪd]异步网 ...
    
		
    2. 
						
  2. 理解 angular2 基础概念和结构 ----angular2系列（二)
		
    前言: angular2官方将框架按以下结构划分: Module Component Template Metadata Data Binding Directive Service Dependen ...
    
		
    3. 
						
  3. linux设备驱动归纳总结（二）：模块的相关基础概念【转】
		
    本文转载自:http://blog.chinaunix.net/uid-25014876-id-59415.html linux设备驱动归纳总结(二):模块的相关基础概念 系统平台:Ubuntu 10 ...
    
		
    4. 
						
  4. 初识webpack——webpack四个基础概念
		
    前面的话 webpack是当下最热门的前端资源模块化管理和打包工具.它可以将许多松散的模块按照依赖和规则打包成符合生产环境部署的前端资源.当webpack处理应用程序时,它会递归地构建一个依赖关系图表 ...
    
		
    5. 
						
  5. vue初学：基础概念
		
    一.vue使用步骤: 1.引包vue.js 2.html中写要操作的DOM节点 3.创建vue对象:new Vue({options}); 4.配置options:el:(要操作的对象,用选择器,同j ...
    
		
    6. 
						
  6. 【Linux开发】linux设备驱动归纳总结（二）：模块的相关基础概念
		
    linux设备驱动归纳总结(二):模块的相关基础概念 系统平台:Ubuntu 10.04 开发平台:S3C2440开发板 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx ...
    
		
    7. 
						
  7. 小白学 Python 爬虫（35）：爬虫框架 Scrapy 入门基础（三） Selector 选择器
		
    人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Li ...
    
		
    8. 
						
  8. 小白学 Python 爬虫（38）：爬虫框架 Scrapy 入门基础（六） Item Pipeline
		
    人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Li ...
    
		
    9. 
						
  9. 白日梦的ES笔记三：万字长文 Elasticsearch基础概念统一扫盲
		
    目录 一.导读 二.彩蛋福利:账号借用 三.ES的Index.Shard及扩容机制 四.ES支持的核心数据类型 4.1.数字类型 4.2.日期类型 4.3.boolean类型 4.4.二进制类型 4. ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. c/c++ 线性表之单向链表
			
    c/c++ 线性表之单向链表 线性表之单向链表 不是存放在连续的内存空间,链表中的每个节点的next都指向下一个节点,最后一个节点的下一个节点是NULL. 真实的第一个节点是头节点,头节点不存放数据, ...
    
			
    2. 
						
  2. 【Ubuntu16.04.4】常用配置
			
    1.为root用户设置密码 sudo passwd root 2.设置用户登陆界面 sudo gedit  /usr/share/lightdm/lightdm.conf.d/50-unity-gre ...
    
			
    3. 
						
  3. SQLServer数据表用法
			
    数据表定义 数据表(或称表)是数据库最重要的组成部分之一,数据库中以表为组织单位存储数据,数据库只是一个框架,数据表才是其实质内容.数据库管理工具中可以显示数据库中的所有数据表,数据表是数据库中一个非 ...
    
			
    4. 
						
  4. 网络协议与OSI体系结构
			
    网络协议与网络体系结构 一.网络协议的概念 1.含义: 网络协议是计算机间进行通信时遵循的一些约定和规则 2.三要素: (1)语法:用于确定协议元素的格式,即数据与控制信息的结构 (2)语义:用于确定 ...
    
			
    5. 
						
  5. Spring缓存注解@Cacheable、@CacheEvict、@CachePut使用
			
    从3.1开始,Spring引入了对Cache的支持.其使用方法和原理都类似于Spring对事务管理的支持.Spring Cache是作用在方法上的,其核心思想是这样的:当我们在调用一个缓存方法时会把该 ...
    
			
    6. 
						
  6. 从Hadoop到Spark的架构实践
			
    当下,Spark已经在国内得到了广泛的认可和支持:2014年,Spark Summit China在北京召开,场面火爆:同年,Spark Meetup在北京.上海.深圳和杭州四个城市举办,其中仅北京就 ...
    
			
    7. 
						
  7. ccf  再买菜  搜索 dfs
			
    //递推关系式:(b[n-1]+b[n]+b[n+1])/3=a[n] //所以b[n+1]=3*a[n]-b[n-1]-b[n],或b[n+1]=3*a[n]-b[n-1]-b[n]+1,或b[n+ ...
    
			
    8. 
						
  8. UVA225-Golygons(dfs)
			
    Problem UVA225-Golygons Accept:307  Submit:3646 Time Limit: 3000 mSec  Problem Description Imagine a ...
    
			
    9. 
						
  9. java实现随机四则运算
			
    使用JAVA编程语言,独立完成一个包含3到5个数字的四则运算练习,软件基本功能要求如下: 程序可接收一个输入参数n,然后随机产生n道加减乘除练习题,每个数字在 0 和 100 之间,运算符在3个到5个 ...
    
			
    10. 
						
  10. fastText文本分类算法
			
    1.概述 FastText 文本分类算法是有Facebook AI Research 提出的一种简单的模型.实验表明一般情况下,FastText 算法能获得和深度模型相同的精度,但是计算时间却要远远小 ...
    
			
    11.