scrapy 常用命令

startproject  创建一个新的工程 scrapy startproject <name>[dir]

genspider    创建一个爬虫        scrapy genspider  [options]<name><domain>

settings 　　获得爬虫的配置信息scrapy settings [options]

crawl           运行一个爬虫　　　 scrapy crawl <spider>

list 　　　　  列出工程中所有爬虫 scrapy list

shell            启动URL调试命令行 scrapy shell[url]

一个工程是一个最大的单元，一个project 中 ，可以有多可 spider模块

命令行逻辑

修改后的spider

# -*- coding: utf-8 -*-
import scrapy

# 这里有继承关系,scrapy.Spider

class DemoSpider(scrapy.Spider):
    name = "demo"
    #allowed_domains = ["python123.io"]
　　
    start_urls = ['http://python123.io/ws/demo.html']
    #面向对象中类所属方法的标记
    def parse(self, response):
        fname=response.url.split('/')[-1]
        with open(fname,"wb") as f:
            f.write(response.body)
        self.log("Saved file %s."%fname)

def parse 中是解析网站内容的解析方法

url_strat  启动的时候初始的页面

start_requests(self):

　　这个作为一个生成器，对他的调用每次返回一个url连接

爬虫的使用步骤

1.创建一个工程与spider 模板

2. 编写Spider

3.编写Item Pipeline

4.优化配置策略

基本类

Request     表示一个Request // 一个http请求

由spider 生成 由download 执行

有几个属性或方法

.url

.method  GET POST

.headers 字典类型的请求头

.body    请求内容的啊主题

.meta  用户添加的信息为，再scrapy内部中使用

.copy() 复制该请求

Response

.url   返回信息关联的url

.statys 表示返回状态吗

.header response 对应的头部信息

.body response 对应的内容信息

.flags 对应的标记

.request 对应的request 方法

.copy()  复制该响应

Item

由Spider 生成 ，由

类字典类型，可以按照字典类型使用

风转正字典键值对

支持多种HTML 提取方法

Beatutiful Soup

lxml

re

XPath Seletor

css Seletor

<HTML>.css("a::attr(hred)").extract()

　　　　标签名称           标签属性

PYTHON网络爬虫与信息提取[scrapy框架应用](单元十、十一)的更多相关文章

  1. PYTHON网络爬虫与信息提取[正则表达式的使用](单元七)

    正则表达式由字符和操作符构成 . 表示任何单个字符 []字符集,对单个字符给出取值范围 [abc]或者关系  [a-z]表示 [^abc]表示非这里面的东西 非字符集 * 表示星号之前的字符出现0次或 ...

  2. Python网络爬虫与信息提取

    1.Requests库入门 Requests安装 用管理员身份打开命令提示符: pip install requests 测试:打开IDLE: >>> import requests ...

  3. 第3次作业-MOOC学习笔记：Python网络爬虫与信息提取

    1.注册中国大学MOOC 2.选择北京理工大学嵩天老师的<Python网络爬虫与信息提取>MOOC课程 3.学习完成第0周至第4周的课程内容,并完成各周作业 4.提供图片或网站显示的学习进 ...

  4. 第三次作业-Python网络爬虫与信息提取

    1.注册中国大学MOOC 2.选择北京理工大学嵩天老师的<Python网络爬虫与信息提取>MOOC课程 3.学习完成第0周至第4周的课程内容,并完成各周作业 过程. 5.写一篇不少于100 ...

  5. 第三次作业-MOOC学习笔记：Python网络爬虫与信息提取

    1.注册中国大学MOOC 2.选择北京理工大学嵩天老师的<Python网络爬虫与信息提取>MOOC课程 3.学习完成第0周至第4周的课程内容,并完成各周作业 第一周 Requests库的爬 ...

  6. 【python 网络爬虫】之scrapy系列

    网络爬虫之scripy系列 [scrapy网络爬虫]之0 爬虫与反扒 [scrapy网络爬虫]之一 scrapy框架简介和基础应用 [scrapy网络爬虫]之二 持久化操作 [scrapy网络爬虫]之 ...

  7. 学习推荐《精通Python网络爬虫：核心技术、框架与项目实战》中文PDF+源代码

    随着大数据时代的到来,我们经常需要在海量数据的互联网环境中搜集一些特定的数据并对其进行分析,我们可以使用网络爬虫对这些特定的数据进行爬取,并对一些无关的数据进行过滤,将目标数据筛选出来.对特定的数据进 ...

  8. Python网络爬虫与信息提取笔记

    直接复制粘贴笔记发现有问题 文档下载地址//download.csdn.net/download/hide_on_rush/12266493 掌握定向网络数据爬取和网页解析的基本能力常用的 Pytho ...

  9. 【学习笔记】PYTHON网络爬虫与信息提取(北理工 嵩天)

    学习目的:掌握定向网络数据爬取和网页解析的基本能力the Website is the API- 1 python ide 文本ide:IDLE,Sublime    Text集成ide:Pychar ...

随机推荐

  1. MFC安装与部署(程序打包)

    (发现csdn传照片实在是太麻烦, 不能够直接拖拽进来;所以我直接使用云笔记生成一张图片 直接完成!) (懒癌晚期-)

  2. mahout in Action2.2-给用户推荐图书（3）-评价推荐系统

    推荐系统引擎是一个工具,一种回答问题的手段,"对用户来讲什么是最好的推荐?",在研究回答的前先研究一下这个问题.一个好的推荐的准确含义是什么?如何知道推荐系统是如何生成推荐的?下面 ...

  3. 微信小程序之组件的集合（五）

    这个是学习复杂的组件的封装的,在课程中,主要实现的是书单上方的搜索功能组件的开发,这个应该是较之前的组件是有一定难度的,但是现在学到现在,感觉前端的内容和后端的内容比较起来,还是比较容易的,而且好多内 ...

  4. csp-s模拟测试52平均数，序列题解

    题面:https://www.cnblogs.com/Juve/articles/11602244.html 平均数: 第k个平均数不好求,我们考虑二分,转化成平均数小于x的有几个 虑把序列中的每个数 ...

  5. 转载 ASP.NET SignalR 与LayIM配合，轻松实现网站客服聊天室（一） 整理基础数据

    ASP.NET SignalR 与LayIM配合,轻松实现网站客服聊天室(一) 整理基础数据   最近碰巧发现一款比较好的Web即时通讯前端组件,layim,百度关键字即可,我下面要做的就是基于这个前 ...

  6. (精简)Spring框架的IoC(替代工厂类实现方法)和AOP(定义规则，约定大于配置)

    Spring的核心框架主要包含两个技术,分别用来处理工厂类,以及事务处理和连接管理的. 两大核心概念 1)  IoC:控制反转,在现在的开发中,如果想建立对象并设置属性,是需要先new对象,再通过se ...

  7. TZOJ 2965 A Coin Game(DP)

    描述 Farmer John's cows like to play coin games so FJ has invented with a new two-player coin game cal ...

  8. LeetCode389Find the Difference找不同

    给定两个字符串 s 和 t,它们只包含小写字母. 字符串 t 由字符串 s 随机重排,然后在随机位置添加一个字母. 请找出在 t 中被添加的字母. 示例: 输入: s = "abcd&quo ...

  9. istio1.1（openshift） 流量路由

    1.准备测试应用 准备两个nginx Pod和一个proxy 创建应用 apiVersion: apps.openshift.io/v1 kind: DeploymentConfig metadata ...

  10. php传入参数

    项目中时常会使用php编写脚本,进行一些统计与批量更新的需求需要进行操作其中使用的方式主要是getopt函数,写法如下 <?php $opt = getopt('m:n:'); $value_m ...