初探scrapy,发现很多入门教程对应的网址都失效或者改变布局了,走了很多弯路。于是自己摸索做一个笔记。

环境是win10 python3.6(anaconda)。

安装

pip install scrapy

由于是第一次尝试,这次爬取美剧天堂(http://www.meijutt.com/)以下模块的剧名:

1.创建工程

scrapy startproject movie

2.编辑items.py,设置数据存储模版

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html import scrapy class MovieItem(scrapy.Item):
# define the fields for your item here like:
name = scrapy.Field()

3.查看网页源代码,在spiders目录下创建爬虫文件meiju.py,如下:

# -*- coding: utf-8 -*-
import scrapy
from movie.items import MovieItem class MeijuSpider(scrapy.Spider):
name = "meiju"
allowed_domains = ["meijutt.com"]
start_urls = ['http://meijutt.com/'] def parse(self, response):
movies=response.xpath('//div[@class="c1_l_wap_contact"]/ul/li')
for each_movie in movies:
item=MovieItem()
item['name']=each_movie.xpath('./a/@title').extract()[0]
yield item

在parse函数中取文档中(//为选择匹配的节点,不考虑位置;/为选择根目录下的节点)属性为c1_l_wap_condact的div标签下的ul标签中的li标签。对每个元素选取a标签中的title属性。返回list格式,取第一个元素。(xpath语法参见 http://www.w3school.com.cn/xpath/xpath_syntax.asp)

yield函数的作用:“函数中使用yield,可以使函数变成生成器。一个函数如果是生成一个数组,就必须把数据存储在内存中,如果使用生成器,则在调用的时候才生成数据,可以节省内存。 ”

4.settings.py中增加以下内容,激活item pipeline组件:

ITEM_PIPELINES = {'movie.pipelines.MoviePipeline':100}

这里的整数值决定pipelines运行的先后顺序,小的先运行,大的后运行。整数值通常设置在0-1000之间。

为了避免莫名奇妙的报错,暂时设置ROBOTSTXT_OBEY = False。以后会尽量遵守君子协定吧。。

5.编辑pipelines.py

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html class MoviePipeline(object):
def process_item(self, item, spider):
with open("my_meiju.txt",'ab+') as fp:
fp.write(item['name'].encode('utf-8')+'\n'.encode('utf-8'))
return item

为了写入中文并且每次写入新的一行而不要覆盖,使用'ab+'。'\n'也要转为utf8格式。

6.执行爬虫(在movie目录下)

scrapy crawl meiju

生成的txt文件会出现在目录下了。内容如下:

抵押第一季
沉默的天使第一季
此时此刻第一季
黑道无边第一季
芝加哥故事第一季
相对宇宙第一季
不列颠尼亚第一季
一起单身第一季

今天先探秘到这里~

scrapy学习笔记(1)的更多相关文章

  1. Scrapy:学习笔记(2)——Scrapy项目

    Scrapy:学习笔记(2)——Scrapy项目 1.创建项目 创建一个Scrapy项目,并将其命名为“demo” scrapy startproject demo cd demo 稍等片刻后,Scr ...

  2. Scrapy:学习笔记(1)——XPath

    Scrapy:学习笔记(1)——XPath 1.快速开始 XPath是一种可以快速在HTML文档中选择并抽取元素.属性和文本的方法. 在Chrome,打开开发者工具,可以使用$x工具函数来使用XPat ...

  3. scrapy 学习笔记1

    最近一段时间开始研究爬虫,后续陆续更新学习笔记 爬虫,说白了就是获取一个网页的html页面,然后从里面获取你想要的东西,复杂一点的还有: 反爬技术(人家网页不让你爬,爬虫对服务器负载很大) 爬虫框架( ...

  4. Scrapy学习笔记(5)-CrawlSpider+sqlalchemy实战

    基础知识 class scrapy.spiders.CrawlSpider 这是抓取一般网页最常用的类,除了从Spider继承过来的属性外,其提供了一个新的属性rules,它提供了一种简单的机制,能够 ...

  5. scrapy 学习笔记2

    本章学习爬虫的 回调和跟踪链接 使用参数 回调和跟踪链接 上一篇的另一个爬虫,这次是为了抓取作者信息 # -*- coding: utf-8 -*- import scrapy class Myspi ...

  6. scrapy学习笔记一

    以前写爬虫都是直接手写获取response然后用正则匹配,被大佬鄙视之后现在决定开始学习scrapy 一.安装 pip install scrapy 二.创建项目 scrapy startprojec ...

  7. Scrapy 学习笔记(一)数据提取

    Scrapy 中常用的数据提取方式有三种:Css 选择器.XPath.正则表达式. Css 选择器 Web 中的 Css 选择器,本来是用于实现在特定 DOM 元素上应用花括号内的样式这样一个功能的. ...

  8. scrapy 学习笔记

    1.scrapy 配合 selenium.phantomJS 抓取动态页面, 单纯的selemium 加 Firefox浏览器就可以抓取动态页面了, 但开启窗口太耗资源,而且一般服务器的linux 没 ...

  9. scrapy学习笔记

    1.scrapy用哪条命令行重新编辑已有的项目?cd projectname 2.如何在pycharm中开启scrapy?先在终端创建一个项目(即文件夹),再在pycharm中打开.

随机推荐

  1. mycat 测试主从读写分离

    下载解压及创建用户组和目录属性 下载地址:1.https://github.com/MyCATApache/Mycat-download.2.http://dl.mycat.io/ wget http ...

  2. iOS -- Effective Objective-C 阅读笔记 (8)

    若想令自己缩写的对象具有拷贝功能, 则需要实现 NSCopying 协议, 如果自定义的对象分为可变版本与不可变版本, 那么就要同时实现 NSCopying 协议和 NSMutableCopying ...

  3. socket.io中 connect与connection的区别

    参考网址:https://blog.csdn.net/sinat_18474835/article/details/80115961

  4. 阿里云学生服务器搭建网站-Ubuntu16.04安装php开发环境

    阿里云学生服务器搭建网站(2)-Ubuntu16.04安装php开发环境  优秀博文:https://www.linuxidc.com/Linux/2016-10/136327.htm https:/ ...

  5. select2 api参数的文档

    具体参数可以参考一下: 参数 类型 描述 Width 字符串 控制 宽度 样式属性的Select2容器div minimumInputLength int 最小数量的字符 maximumInputLe ...

  6. xmind-HTTP协议

  7. ExtJs5的基本理论概念

    概述 理解ExtJs里面的一些基本关键字的概念是使用ExtJs搭建MMVC框架的基础,在ExtJs中,我们通常遇到ExtJs的配置和启动项Ext.application(),该方法是ExtJs程序初始 ...

  8. Android+openCV人脸检测2(静态图片)

    前几篇文章中有提到对openCV环境配置,这里再重新梳理导入和使用openCV进行简单的人脸检测(包括使用级联分类器) 一 首先导入openCVLibrary320 二 设置gradle的sdk版本号 ...

  9. mybatis循环、mybatis传map

    mybatis中使用循环.mybatis传入map案例 <!-- 根据id修改商户提成配置--> <update id="editStopAll" paramet ...

  10. 网页布局之flex

    Flex是Flexible Box的缩写,意为“弹性布局”,用来为盒状模型提供最大的灵活性.设为Flex布局以后,子元素的float.clear和vertical-align属性将失效.使用flex ...