scrapy之基础概念与用法

框架

　　所谓的框架就是一个项目的半成品。也可以说成是一个已经被集成了各种功能（高性能异步下载、队列、分布式、解析、持久化等）的具有很强通用性的项目模板。

安装

Linux:

pip3 install scrapy  // pip3具体看自己的pip是pip3

windows:

a. 下载安装wheel

pip3 install wheel

b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

c. 进入下载文件的目录，下载那安装Twisted

pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl  # cp35为python的版本

d. 下载安装pywin32

pip3 install pywin32

e. 下载安装scrapy

pip install scrapy

使用

创建工程

scrapy startproject xxoo  # xxoo为项目工程名称

创建爬虫文件

　　需要先切换到工程项目的目录中

cd xxoo  # xxoo为项目名称

　　然后创建爬虫文件

scrapy genspider ooxx www.xxoo.com # ooxx为爬虫文件的名称, www.xxoo.com为起始URL

　　爬虫文件会自动创建到spiders文件夹中。

　　执行完上边的命令，会产生一个项目工程，文件结构入下：

-- xxoo

  												


											
scrapy之基础概念与用法的更多相关文章
	

    
								
  1. scrapy的基础概念和流程
		
    1. 什么是scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量的代码,就能够快速的抓取. Scrapy 使用了Twisted['twɪstɪd]异步网 ...
    
		
    2. 
						
  2. 理解 angular2 基础概念和结构 ----angular2系列（二)
		
    前言: angular2官方将框架按以下结构划分: Module Component Template Metadata Data Binding Directive Service Dependen ...
    
		
    3. 
						
  3. linux设备驱动归纳总结（二）：模块的相关基础概念【转】
		
    本文转载自:http://blog.chinaunix.net/uid-25014876-id-59415.html linux设备驱动归纳总结(二):模块的相关基础概念 系统平台:Ubuntu 10 ...
    
		
    4. 
						
  4. 初识webpack——webpack四个基础概念
		
    前面的话 webpack是当下最热门的前端资源模块化管理和打包工具.它可以将许多松散的模块按照依赖和规则打包成符合生产环境部署的前端资源.当webpack处理应用程序时,它会递归地构建一个依赖关系图表 ...
    
		
    5. 
						
  5. vue初学：基础概念
		
    一.vue使用步骤: 1.引包vue.js 2.html中写要操作的DOM节点 3.创建vue对象:new Vue({options}); 4.配置options:el:(要操作的对象,用选择器,同j ...
    
		
    6. 
						
  6. 【Linux开发】linux设备驱动归纳总结（二）：模块的相关基础概念
		
    linux设备驱动归纳总结(二):模块的相关基础概念 系统平台:Ubuntu 10.04 开发平台:S3C2440开发板 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx ...
    
		
    7. 
						
  7. 小白学 Python 爬虫（35）：爬虫框架 Scrapy 入门基础（三） Selector 选择器
		
    人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Li ...
    
		
    8. 
						
  8. 小白学 Python 爬虫（38）：爬虫框架 Scrapy 入门基础（六） Item Pipeline
		
    人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Li ...
    
		
    9. 
						
  9. 白日梦的ES笔记三：万字长文 Elasticsearch基础概念统一扫盲
		
    目录 一.导读 二.彩蛋福利:账号借用 三.ES的Index.Shard及扩容机制 四.ES支持的核心数据类型 4.1.数字类型 4.2.日期类型 4.3.boolean类型 4.4.二进制类型 4. ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. vim 高亮
			
    vim 高亮显示所选单词在文中全部出现的地方: ’g' + 'd'
    
			
    2. 
						
  2. Shell按行读取文件的3种方法
			
    Shell按行读取文件的方法有很多,常见的三种方法如下: 要读取的文件: [root@mini05 -]# cat file.info 写法一: [root@mini05 -]# cat read1. ...
    
			
    3. 
						
  3. JSP内置对象概述
			
    JSP内置对象预先定义了九个这个的对象: request(请求) . response (响应). session (会话). application (应用程序). out . pageContex ...
    
			
    4. 
						
  4. springboot事物回滚
			
    要添加事物 必须在方法上添加 @Transactional 注解 如果需要事物回滚有两个条件 1.方法中有异常或者主动抛异常 2.主动去回滚 TransactionAspectSupport.curr ...
    
			
    5. 
						
  5. 配置数据库方言——hibernate
			
    RDBMS 方言 DB2 org.hibernate.dialect.DB2Dialect DB2 AS/400 org.hibernate.dialect.DB2400Dialect DB2 OS3 ...
    
			
    6. 
						
  6. 2.01-request_header
			
    import urllib.request def load_baidu(): url= "https://www.baidu.com" header = { #浏览器的版本 &q ...
    
			
    7. 
						
  7. 笔记-Android中打开各种格式的文件（apk、word、excel、ppt、pdf、音视频、图片等）
			
    打开后缀.apk的文件.即启动安装程序. //apkFilePath 文件路径 public void installAPK(String apkFilePath) { // 创建URI Uri ur ...
    
			
    8. 
						
  8. Pull is not possible because you have unmerged files
			
    Pull is not possible because you have unmerged files.   在git pull的过程中,如果有冲突,那么除了冲突的文件之外,其它的文件都会做为sta ...
    
			
    9. 
						
  9. 使用java实现快速排序（挖坑填数法和指针交换法）
			
    快速排序:通过一趟排序,将数据分为两部分,其中一部分中的所有数据比另外一部分的所有数据要小,然后按照此方法,分别对这两部分进行排序,达到最终的排序结果. 每趟排序选取基准元素,比该基准元素大的数据放在 ...
    
			
    10. 
						
  10. 理论篇-MySQL知识汇总
			
    1. 唯一索引 普通索引允许被索引的数据列包含重复的值.唯一索引则是不允许有重复的值,当然 null 除外,唯一索引不仅仅可以存储 null , 还可以存储多个 null.这么做的好处是: 简化了My ...
    
			
    11.