1、创建一个简单的scrapy项目

scrapy startproject search(项目名称)
按照提示
cd  search
scrapy genspider serachname  search.com 

生成的项目结构如下：

searchname.py :

1、一种方式，入口为 start_urls =[]

2、另外一种方式，重写start_requests, 这里yield出去一个Request, 且不带callback参数，则默认回调parse方法

可以yield  request， 可以yield item， 也可以yield {‘’：‘’} dict类型数据到管道中，在管道中进行处理

如果需要入库或者进行抓取的数据，可以记录到item中去，进行后续的处理。

在item中进行各种类型的数据定义，比较简单；并引入到spider中去使用

pipelines.py



												


											
scrapy 简单操作的更多相关文章
	

    
								
  1. x01.MagicCube: 简单操作
		
    看最强大脑,发现魔方还是比较好玩的,便买了一个,对照七步还原法,居然也能成功还原. 为什么不写一个魔方程序呢?在网上找了找,略作修改,进行简单操作,还是不错的,其操作代码如下: protected o ...
    
		
    2. 
						
  2. js简单操作Cookie
		
    贴一段js简单操作Cookie的代码: //获取指定名称的cookie的值 function getCookie(objName) { var arrStr = document.cookie.spl ...
    
		
    3. 
						
  3. GitHub学习心得之 简单操作
		
    作者:枫雪庭 出处:http://www.cnblogs.com/FengXueTing-px/ 欢迎转载 前言 本文对Github的基本操作进行了总结, 主要基于以下文章: http://gitre ...
    
		
    4. 
						
  4. Linq对XML的简单操作
		
    前两章介绍了关于Linq创建.解析SOAP格式的XML,在实际运用中,可能会对xml进行一些其它的操作,比如基础的增删该查,而操作对象首先需要获取对象,针对于DOM操作来说,Linq确实方便了不少,如 ...
    
		
    5. 
						
  5. Linux 中 Vi 编辑器的简单操作
		
    Linux 中 Vi 编辑器的简单操作 Vi 编辑器一共有3种模式:命名模式(默认),尾行模式,编辑模式.3种模式彼此需要切换. 一.进入 Vi 编辑器的的命令 vi  filename //打开或新 ...
    
		
    6. 
						
  6. python（pymysql）之mysql简单操作
		
    一.mysql简单介绍 说到数据库,我们大多想到的是关系型数据库,比如mysql.oracle.sqlserver等等,这些数据库软件在windows上安装都非常的方便,在Linux上如果要安装数据库 ...
    
		
    7. 
						
  7. ZooKeeper系列3：ZooKeeper命令、命令行工具及简单操作
		
    问题导读1.ZooKeeper包含哪些常用命令?2.通过什么命令可以列出服务器 watch 的详细信息?3.ZooKeeper包含哪些操作?4.ZooKeeper如何创建zookeeper? 常用命令 ...
    
		
    8. 
						
  8. ORACLE的安装与网页版创建表空间的简单操作以及PLsql的简单操作
		
    1.oracle的安装: 安装简单易学,在这里不做解释.下载看装包后耐心等待,注意安装目录不要有中文字符,尽量按照指定目录进行安装.安装完成后会占用有大约5g的内存. 如果要卸载oracle,需要用其 ...
    
		
    9. 
						
  9. C#反射技术的简单操作(读取和设置类的属性)
		
    public class A { public int Property1 { get; set; } } static void Main(){ A aa = new A(); Type type  ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. [bzoj4241][历史研究] (分块)
			
    Description IOI国历史研究的第一人——JOI教授,最近获得了一份被认为是古代IOI国的住民写下的日记.JOI教授为了通过这份日记来研究古代IOI国的生活,开始着手调查日记中记载的事件.  ...
    
			
    2. 
						
  2. UVALive 7008 Tactical Multiple Defense System
			
     Tactical Multiple Defense System Time Limit:3000MS     Memory Limit:0KB     64bit IO Format:%lld &a ...
    
			
    3. 
						
  3. C++ - new delete 高维数组小结
			
    借鉴:http://www.cnblogs.com/beyondstorm/archive/2008/08/26/1276278.html http://www.cnblogs.com/platero ...
    
			
    4. 
						
  4. 自定义EL表达式，将对象转成json格式，关键代码
			
    做javaweb开发的最常用的一个东西el表达式,这个东西是个很好用的东西,但有些时候我们处理复杂的字符串操作,就有些相形见绌了,这个时候就需要用自定义的方法去实现更多简洁方便的事情. 下面自定义一个 ...
    
			
    5. 
						
  5. Ajax提交post请求返回404错误
			
    最近使用ajax提交表单的时候,发现无法执行success函数,后台的代码也正常执行了,但是就是无法执行success函数,执行error函数,返回的错误代码时404.显然是找不到请求的url. 可是 ...
    
			
    6. 
						
  6. linux下安装并配置vim
			
    1.安装:sudo apt-get install vim-gtk  安装好后vim,并按“tab”键,可以看到vim的存在,则安装好2.设置更加人性化:sudo vim /etc/vim/vimrc ...
    
			
    7. 
						
  7. 洛谷——P2212 [USACO14MAR]浇地Watering the Fields
			
    P2212 [USACO14MAR]浇地Watering the Fields 题目描述 Due to a lack of rain, Farmer John wants to build an ir ...
    
			
    8. 
						
  8. - > 听学姐讲那过去的故事——打代码的小女孩
			
    童话故事 不知道大家有没有看过  天冷极了,下着雪,又快黑了.这是一年的最后一天——大年夜.在这又冷又黑的晚上,一个乖巧的小女孩在机房里调试程序.她从家里出来的时候还穿着一件外套,但是有什么用呢?那是 ...
    
			
    9. 
						
  9. Memcached高可用方案收集（集群及分布式）
			
    Memcached的集群方案有很多,不止magent一个,但是单靠集群软件去实现高可用感觉还是会缺少一步,最推荐的方案应该是软件加编码去实现高可用,至少能保证站点的99.5%的可运行行,以下是集群的方 ...
    
			
    10. 
						
  10. 使用SwipeRefreshLayout和RecyclerView实现仿“简书”下拉刷新和上拉载入很多其它
			
    一.概述 本篇博客介绍的是怎样使用SwipeRefreshLayout和RecyclerView实现高仿简书Android端的下拉刷新和上拉载入很多其它的效果. 依据效果图能够发现,本案例实现了例如以 ...
    
			
    11.