以下命令都是在CMD中运行,首先把路径定位到项目文件夹

------------------------------------------------------------------------------------------

1. 创建一个scrapy project

scrapy startproject project_name

--------------------------------------------------------------------------------------------

------------------------------------------------------------------------------------------

2. 自动生成spider代码命令

首先进入项目目录,然后敲入如下命令

scrapy genspider spider_name start_url

------------------------------------------------------------------------------------------

--------------------------------------------------------------------------------------

3. 列出项目中所有spider

scrapy list

返回项目中所有爬虫的名字

-------------------------------------------------------------------------------------------

---------------------------------------------------------------------------------------

4. 运行一个scrapy project,并且保存结果到csv文件

scrapy crawl spider_name -o file.csv

会通过yield命令生成iteration generator,把数据保存到file.csv文件中

---------------------------------------------------------------------------------------------

English Version

The Below commands will run at CMD which included python path in system env path.

Before run the commands, navigate to the directory where you want to create Scrapy project.

------------------------------------------------------------------------------------------

1. Createa a Scrapy project

scrapy startproject project_name

--------------------------------------------------------------------------------------------

------------------------------------------------------------------------------------------

2. Create a spider. It will create a spider sub-class in your source code based on template.

Navigete to project directory, then key in below command

scrapy genspider spider_name start_url

------------------------------------------------------------------------------------------

--------------------------------------------------------------------------------------

3. List all spiders in your project

scrapy list

It will return all spiders with spider name

-------------------------------------------------------------------------------------------

---------------------------------------------------------------------------------------

4. Run a Scrapy project and save the result set into a CSV file.

scrapy crawl spider_name -o file.csv -t csv

Scrapy framework will make a iteration generator thru yield command in code and save your data into file.csv

---------------------------------------------------------------------------------------------

scrapy常用命令(持续) | Commonly used Scrapy command list (con't)的更多相关文章

  1. scrapy常用命令

    终端命令 创建一个项目: scrapy startproject name 利用蜘蛛名创建一个py文件: scrapy genspider name domain.name 在终端运行:scrapy ...

  2. Appium无线连接安卓终端方法 + ADB Shell常用命令(持续更新)

    ADB无线连接手机的方法1)手机与PC有线相连 - 检查是否连接正常: adb devices - 执行以下命令:adb tcpip 5555 # 当前9001       - 成功提示:restar ...

  3. python常用命令(持续) | Commonly used Python command list (con't)

    ---------------------------------------------------------------------------------------------------- ...

  4. Scrapy常用命令行工具

    查看所有命令 scrapy -h 查看帮助信息 scapy --help 查看版本信息 (venv)ql@ql:~$ scrapy version Scrapy 1.1.2 (venv)ql@ql:~ ...

  5. Centos 常用命令[持续积累中...]

    CentOS常用到的查看系统命令 uname -a cat /etc/issue /sbin/ifconfig # 查看内核/操作系统/CPU信息 head -n 1 /etc/issue # 查看操 ...

  6. Linux常用命令(持续更新中)

    cd 目录名 :进入某个目录 ls :列出当前目录的内容 locate 文件名/目录名:寻找文件.目录 find 目录名1 -name 文件名/目录名2 :在目录1中寻找目录2 whereis  文件 ...

  7. Linux常用命令——持续更新(2018-05-09)

    此命令默认是在centos环境下执行,除非特殊标明. 1.查看ip: ifconfig 2.创建指定用户并分配到某个组:创建用户user并分配到root组 useradd -g root user 3 ...

  8. linux常用命令---持续添加中...

    1.cp -r  源文件夹  目的文件夹   // -r 可递归所有子目录及文件 2.grep -r 查找内容 ./*    //递归查找当前目录下所有文件指定内容 3. 查看系统运行时间 who - ...

  9. docker-compose常用命令(持续更新...)

    build 构建或重建服务 help 命令帮助 kill 杀掉容器 logs 显示容器的输出内容 port 打印绑定的开放端口 ps 显示容器 pull 拉取服务镜像 restart 重启服务 rm ...

随机推荐

  1. video与audio的使用

    HTML5 DOM 为 <audio> 和 <video> 元素提供了方法.属性和事件. 这些方法.属性和事件允许您使用 JavaScript 来操作 <audio> ...

  2. linux cenots7安装mysql

        1.下载mysql 下载的话先确认好版本. system:centos7 mysql:5.7 下面的版本自己选择,一般是86位的. 下载好的文件 2.上传到服务器 soft文件夹,终端也进入了 ...

  3. Css之导航栏下拉菜单

    Css: /*下拉菜单学习-2017.12.17 20:17 added by ldb*/ ul{ list-style-type:none; margin:; padding:; overflow: ...

  4. Python内置函数(48)——__import__

    英文文档: __import__(name, globals=None, locals=None, fromlist=(), level=0) This function is invoked by ...

  5. 写一个vue组件

    写一个vue组件 我下面写的是以.vue结尾的单文件组件的写法,是基于webpack构建的项目.如果还不知道怎么用webpack构建一个vue的工程的,可以移步到vue-cli. 一个完整的vue组件 ...

  6. angular2 学习笔记 ( translate, i18n 翻译 )

    更新 : 2017-06-17 <h1 i18n="site header|An introduction header for this sample">Hello ...

  7. 阿里云API网关(14)流控策略

    网关指南: https://help.aliyun.com/document_detail/29487.html?spm=5176.doc48835.6.550.23Oqbl 网关控制台: https ...

  8. 面向对象的PHP(5)

    OOP的好处 封装 封装可以隐藏实现细节,使代码模块化,代码重用 继承 继承可以扩展已存在的代码模块(class),代码重用 多态 为了类在继承和派生的时候,保证实例的某一属性正确调用,接口重用 关键 ...

  9. python基础——列表推导式

    python基础--列表推导式 1 列表推导式定义 列表推导式能非常简洁的构造一个新列表:只用一条简洁的表达式即可对得到的元素进行转换变形 2 列表推导式语法 基本格式如下: [expr for va ...

  10. 工作笔记 | Visual Studio 调用 Web Service

    引言 最近笔者负责ERP财务系统跟中粮集团财务公司的财务系统做对接,鉴于ERP系统中应付结算单结算量比较大,而且管理相对集中,ERP系统与中粮财务公司的支付平台系统对接,实现银企直联,将网银录入的环节 ...