1、创建一个简单的scrapy项目

scrapy startproject search(项目名称)
按照提示
cd  search
scrapy genspider serachname  search.com 

生成的项目结构如下：

searchname.py :

1、一种方式，入口为 start_urls =[]

2、另外一种方式，重写start_requests, 这里yield出去一个Request, 且不带callback参数，则默认回调parse方法

可以yield  request， 可以yield item， 也可以yield {‘’：‘’} dict类型数据到管道中，在管道中进行处理

如果需要入库或者进行抓取的数据，可以记录到item中去，进行后续的处理。

在item中进行各种类型的数据定义，比较简单；并引入到spider中去使用

pipelines.py



												


											
scrapy 简单操作的更多相关文章
	

    
								
  1. x01.MagicCube: 简单操作
		
    看最强大脑,发现魔方还是比较好玩的,便买了一个,对照七步还原法,居然也能成功还原. 为什么不写一个魔方程序呢?在网上找了找,略作修改,进行简单操作,还是不错的,其操作代码如下: protected o ...
    
		
    2. 
						
  2. js简单操作Cookie
		
    贴一段js简单操作Cookie的代码: //获取指定名称的cookie的值 function getCookie(objName) { var arrStr = document.cookie.spl ...
    
		
    3. 
						
  3. GitHub学习心得之 简单操作
		
    作者:枫雪庭 出处:http://www.cnblogs.com/FengXueTing-px/ 欢迎转载 前言 本文对Github的基本操作进行了总结, 主要基于以下文章: http://gitre ...
    
		
    4. 
						
  4. Linq对XML的简单操作
		
    前两章介绍了关于Linq创建.解析SOAP格式的XML,在实际运用中,可能会对xml进行一些其它的操作,比如基础的增删该查,而操作对象首先需要获取对象,针对于DOM操作来说,Linq确实方便了不少,如 ...
    
		
    5. 
						
  5. Linux 中 Vi 编辑器的简单操作
		
    Linux 中 Vi 编辑器的简单操作 Vi 编辑器一共有3种模式:命名模式(默认),尾行模式,编辑模式.3种模式彼此需要切换. 一.进入 Vi 编辑器的的命令 vi  filename //打开或新 ...
    
		
    6. 
						
  6. python（pymysql）之mysql简单操作
		
    一.mysql简单介绍 说到数据库,我们大多想到的是关系型数据库,比如mysql.oracle.sqlserver等等,这些数据库软件在windows上安装都非常的方便,在Linux上如果要安装数据库 ...
    
		
    7. 
						
  7. ZooKeeper系列3：ZooKeeper命令、命令行工具及简单操作
		
    问题导读1.ZooKeeper包含哪些常用命令?2.通过什么命令可以列出服务器 watch 的详细信息?3.ZooKeeper包含哪些操作?4.ZooKeeper如何创建zookeeper? 常用命令 ...
    
		
    8. 
						
  8. ORACLE的安装与网页版创建表空间的简单操作以及PLsql的简单操作
		
    1.oracle的安装: 安装简单易学,在这里不做解释.下载看装包后耐心等待,注意安装目录不要有中文字符,尽量按照指定目录进行安装.安装完成后会占用有大约5g的内存. 如果要卸载oracle,需要用其 ...
    
		
    9. 
						
  9. C#反射技术的简单操作(读取和设置类的属性)
		
    public class A { public int Property1 { get; set; } } static void Main(){ A aa = new A(); Type type  ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. 微信小程序开发过程中tabbar页面显示的相关问题及解决办法！
			
    在微信小程序的开发过程中如果有使用过tabbar的同学,我相信一定会遇到一些困扰.为什么有些时候代码中明明已经在app.json里面增加了tabbar,可以页面中就是不显示呢?可不可以有些页面显示ta ...
    
			
    2. 
						
  2. python3 的   zip
			
    准备放弃生命中这4个小时,然后翻开了python,人生苦短,音乐和python才味甘 1. zip  可以看到zip两个列表,返回一个元组的列表,但是它是个可迭代的对象,得用list才能调用显示: 2 ...
    
			
    3. 
						
  3. python3接口测试某个模块的很多接口有的用post有的用get
			
    没啥好说的,啊哈哈  大神提示可以判断下用post还是get,但是加到哪里合适呢?仔细看认真看 耶耶耶
    
			
    4. 
						
  4. 51nod 1285 山峰和分段
			
    [题解] 枚举n的各个因数作为段长,O(n)判断每一段内是否有山峰即可. #include<cstdio> #include<cstring> #include<algo ...
    
			
    5. 
						
  5. 【网络流24题】最长k可重区间集问题（费用流）
			
    [网络流24题]最长k可重区间集问题 [问题分析] 最大权不相交路径问题,可以用最大费用最大流解决. [建模方法] 方法1 按左端点排序所有区间,把每个区间拆分看做两个顶点<i.a>< ...
    
			
    6. 
						
  6. DJANGO中正规的建立与USER外键的方式
			
    以前都是直接与user 最近看书,上说settings.AUTH_USER_MODEL,这样好些...是为记. from django.db import models from django.con ...
    
			
    7. 
						
  7. Bellman_ford 算法 Currency Exchange  POJ1860
			
    Bellman_ford算法用于寻找正环或者负环! 算法导论: 24.1 The Bellman-Ford algorithm The Bellman-Ford algorithm solves th ...
    
			
    8. 
						
  8. 使用C#执行PowerShell命令
			
    按照网上的教程配置会发生SSL链接错误 该文章的最后使用了SSL来保证账户在连接服务器的时候不发生账户认证错误,但是我经过测试发现这个是不可行的,有一种更为简单的方法 首先要对服务器进行winrm设置 ...
    
			
    9. 
						
  9. 洛谷—— P2176 [USACO14FEB]路障Roadblock
			
    https://www.luogu.org/problem/show?pid=2176 题目描述 每天早晨,FJ从家中穿过农场走到牛棚.农场由 N 块农田组成,农田通过 M 条双向道路连接,每条路有一 ...
    
			
    10. 
						
  10. Mutual Training for Wannafly Union #6
			
    A =w= B QvQ C 题意:有长度为n的序列(n<=5e5),求满足条件的a,b,c,d的组数,要求满足条件:min([a,b])<=min([c,d]),a<=b<c& ...
    
			
    11.