1、创建一个简单的scrapy项目

scrapy startproject search(项目名称)
按照提示
cd  search
scrapy genspider serachname  search.com 

生成的项目结构如下：

searchname.py :

1、一种方式，入口为 start_urls =[]

2、另外一种方式，重写start_requests, 这里yield出去一个Request, 且不带callback参数，则默认回调parse方法

可以yield  request， 可以yield item， 也可以yield {‘’：‘’} dict类型数据到管道中，在管道中进行处理

如果需要入库或者进行抓取的数据，可以记录到item中去，进行后续的处理。

在item中进行各种类型的数据定义，比较简单；并引入到spider中去使用

pipelines.py



												


											
scrapy 简单操作的更多相关文章
	

    
								
  1. x01.MagicCube: 简单操作
		
    看最强大脑,发现魔方还是比较好玩的,便买了一个,对照七步还原法,居然也能成功还原. 为什么不写一个魔方程序呢?在网上找了找,略作修改,进行简单操作,还是不错的,其操作代码如下: protected o ...
    
		
    2. 
						
  2. js简单操作Cookie
		
    贴一段js简单操作Cookie的代码: //获取指定名称的cookie的值 function getCookie(objName) { var arrStr = document.cookie.spl ...
    
		
    3. 
						
  3. GitHub学习心得之 简单操作
		
    作者:枫雪庭 出处:http://www.cnblogs.com/FengXueTing-px/ 欢迎转载 前言 本文对Github的基本操作进行了总结, 主要基于以下文章: http://gitre ...
    
		
    4. 
						
  4. Linq对XML的简单操作
		
    前两章介绍了关于Linq创建.解析SOAP格式的XML,在实际运用中,可能会对xml进行一些其它的操作,比如基础的增删该查,而操作对象首先需要获取对象,针对于DOM操作来说,Linq确实方便了不少,如 ...
    
		
    5. 
						
  5. Linux 中 Vi 编辑器的简单操作
		
    Linux 中 Vi 编辑器的简单操作 Vi 编辑器一共有3种模式:命名模式(默认),尾行模式,编辑模式.3种模式彼此需要切换. 一.进入 Vi 编辑器的的命令 vi  filename //打开或新 ...
    
		
    6. 
						
  6. python（pymysql）之mysql简单操作
		
    一.mysql简单介绍 说到数据库,我们大多想到的是关系型数据库,比如mysql.oracle.sqlserver等等,这些数据库软件在windows上安装都非常的方便,在Linux上如果要安装数据库 ...
    
		
    7. 
						
  7. ZooKeeper系列3：ZooKeeper命令、命令行工具及简单操作
		
    问题导读1.ZooKeeper包含哪些常用命令?2.通过什么命令可以列出服务器 watch 的详细信息?3.ZooKeeper包含哪些操作?4.ZooKeeper如何创建zookeeper? 常用命令 ...
    
		
    8. 
						
  8. ORACLE的安装与网页版创建表空间的简单操作以及PLsql的简单操作
		
    1.oracle的安装: 安装简单易学,在这里不做解释.下载看装包后耐心等待,注意安装目录不要有中文字符,尽量按照指定目录进行安装.安装完成后会占用有大约5g的内存. 如果要卸载oracle,需要用其 ...
    
		
    9. 
						
  9. C#反射技术的简单操作(读取和设置类的属性)
		
    public class A { public int Property1 { get; set; } } static void Main(){ A aa = new A(); Type type  ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. Vmware下的Linux系统，安装WPS报错：[Errno 256] No more mirrors to try
			
    最近新装了虚拟环境Vmware下的Linux系统,准备看doc文档发现不能读取,才想起来一起都是重新开始的~没别的~开始安装吧: 1.关虚拟机Linux,添加cdrom镜像ISO文件--开虚拟机--- ...
    
			
    2. 
						
  2. linux find-在指定目录下查找文件
			
    推荐:更多Linux 文件查找和比较 命令关注:linux命令大全 find命令用来在指定目录下查找文件.任何位于参数之前的字符串都将被视为欲查找的目录名.如果使用该命令时,不设置任何参数,则find ...
    
			
    3. 
						
  3. lastpass密码管理工具使用教程
			
    现在移动互联网发展异常空气,无论访问哪个平台或者网站必须要注册账号,日子久了就会发现最痛苦的就是记住这些网站的密码.因为我们不可能将所有的网站都是设置同样的的账号密码,因为国内网站用户数据库被泄露的事 ...
    
			
    4. 
						
  4. 腾讯云，搭建Http静态服务器环境
			
    任务时间:15min ~ 30min 搭建静态网站,首先需要部署环境.下面的步骤,将告诉大家如何在服务器上通过 Nginx 部署 HTTP 静态服务. 安装 Nginx 在 CentOS 上,可直接使 ...
    
			
    5. 
						
  5. Oracle学习总结（4）——MySql、SqlServer、Oracle数据库行转列大全
			
    MySql行转列 以id分组,把name字段的值打印在一行,逗号分隔(默认) select CustomerDrugCode,group_concat(AuditItemName) from noau ...
    
			
    6. 
						
  6. 数据库——mysql如何获取当前时间---https://www.cnblogs.com/Chenshuai7/p/5136469.html
			
    数据库——mysql如何获取当前时间 1.1 获得当前日期+时间(date + time)函数:now() -------https://www.cnblogs.com/Chenshuai7/p/51 ...
    
			
    7. 
						
  7. @requestbody---接受前端传json对象并绑定javabean
			
    @requestbody---接受前端传json对象并绑定javabean----https://blog.csdn.net/ljxbbss/article/details/74452326 最近代码 ...
    
			
    8. 
						
  8. poj   1364  查分约束
			
    #include<stdio.h> #include<iostream> #include<stack> #include<string.h> usin ...
    
			
    9. 
						
  9. codevs——1675 大质数 2
			
    1675 大质数 2  时间限制: 1 s  空间限制: 1000 KB  题目等级 : 钻石 Diamond 题解       题目描述 Description 小明因为没做作业而被数学老师罚站,之 ...
    
			
    10. 
						
  10. WCF 配置文件中的MaxStringContentLength & MaxReceivedMessageSize
			
    中午测试员在测试系统模块时发现无法通过WCF从服务器下载数据,检查配置文件后,建议开发人员修改站点的WEB.CONFIG文件,具体修改对比如下: 旧的: <binding name=" ...
    
			
    11.