Scrapy实战-新浪网分类资讯爬虫

• 项目要求：

• 爬取新浪网导航页所有下所有大类、小类、小类里的子链接，以及子链接页面的新闻内容。

• 

• 什么是Scrapy框架：

  • Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。

  • 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。

  • Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求.

• 　　Scrapy架构图

　　　　

• 制作Scrapy爬虫需要4个步骤：

• • 　　新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目
  • 　　明确目标 （编写items.py）：明确你想要抓取的目标
  • 　　制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页
  • 　　存储内容 （pipelines.py）：设计管道存储爬取内容

• 开始实战：

• 新建Scrapy项目

　　进入终端后，cd进入自定义的目录中，运行以下命令

　　 scrapy startproject sina

　　成功创建项目　　

　　

　　

• 明确目标(编写items.py）明确你想要抓取的目标　　

• 接下来需要明确抓取的目标，编写爬虫

1. 打开mySpider目录下的items.py，该文件下已自动为我们创建好scrapy.Item 类， 并且定义类型为 scrapy.Field的类属性来定义一个Item（可以理解成类似于ORM的映射关系）。

　　

　　

　　2.接下来，修改已创建好的SinaItem类，构建item模型（model）。

　　

• 制作爬虫 （spiders/xxspider.py）

• 第三步就开始制作爬虫开始爬取网页

• 在当前目录下输入命令，将在sina/sina/spiders目录下创建一个名为sina_guide的爬虫，并指定爬取域的范围：

　　 scrapy genspider sina_guide 'sina.com'

　　

• 打开sina_guide.py文件，爬虫类也已创建好，默认爬虫名为‘sina_guide’，爬取范围为sina.com，起始网址为‘http://sina.com/’（需修改）

　　

• 　需要修改起始网址为 http://news.sina.com.cn/guide/，该导航网址下有众多一级标题，又细分为众多二级标题

　　

• 爬取所有大类标题及小类标题，右键点击‘审查元素’，可定位到该元素的地址，提取出XPATH地址(可使用xpath helper插件帮助定位生成)

　　

     def parse(self, response):
         #items =[]
         #所有大类标题和网址
         first_title = response.xpath("//h3[@class='tit02']/a/text()").extract()
         first_urls = response.xpath("//h3[@class='tit02']//@href").extract()

         #所有小类标题和网址
         second_title = response.xpath("//ul[@class='list01']/li/a/text()").extract()
         second_urls = response.xpath("//ul[@class='list01']/li/a/@href").extract()

• 根据爬取到的标题名分层创建文件夹，
  • 　　创建大类标题文件夹　　　

     def parse(self, response):
         #items =[]
         #所有大类标题和网址
         first_title = response.xpath("//h3[@class='tit02']/a/text()").extract()
         first_urls = response.xpath("//h3[@class='tit02']//@href").extract()

         #所有小类标题和网址
         second_title = response.xpath("//ul[@class='list01']/li/a/text()").extract()
         second_urls = response.xpath("//ul[@class='list01']/li/a/@href").extract()

         #爬取大类并指定文件路径
         for i in range(0,len(first_title)):

             item =SinaItem()

             #指定大类工作路径和文件名
             first_filename = "/Users/jvf/Downloads/数据分析/练习/0715-新浪网导航/DATA" + '/' + first_title[i]

             #if判断，防止重复创建
             #创建大类文件夹
             if (not os.path.exists(first_filename)):
                 os.makedirs(first_filename)

             #保存大类的标题和网址
             item['first_title'] = first_title[i]
             item['first_urls'] = first_urls[i]　　　　　

• • 创建二级标题文件夹　　　　

          #爬取小类标题并指定文件路径
            for j in range(0,len(second_urls)):

                if second_urls[j].startswith(first_urls[i]):
                    second_filename =first_filename +'/'+ second_title[j]

                    #if判断，防止重复创建文件夹
                    #创建文件夹，指定小类工作路径和文件名
                    if (not os.path.exists(second_filename)):
                        os.makedirs(second_filename)

                    #保存小类标题和网址
                    item['second_title'] = second_title[j]
                    item['second_urls'] = second_urls[j]
                    item['second_filename']=second_filename

                    #items.append(item)

                    b_filename =r"/Users/jvf/Downloads/数据分析/练习/0715-新浪网导航/DATA/111.txt"
                    with open (b_filename,'a+') as b:
                        b.write(item['second_filename']+'\t'+item['second_title']+'\t'+item['second_urls']+'\n')   

            #发送每个小类url的Request请求，得到Response连同包含meta数据 一同交给回调函数 second_parse 方法处理
        #for item in items:
                    yield scrapy.Request(url = item['second_urls'],meta={'meta_1':copy.deepcopy(item)},callback=self.second_parse)

            #b_filename =r"/Users/jvf/Downloads/数据分析/练习/0715-新浪网导航/DATA/222.txt"
            #with open (b_filename,'a+') as b:
            #   b.write(item['second_filename']+'\t'+item['second_title']+'\n')

    def second_parse(self,response):
        item = response.meta['meta_1']
        third_urls =response.xpath('//a/@href').extract()

        #items =[]

        for i in range(0,len(third_urls)):

            #检查每个链接是否以大类网址开头，shtml结束，结果返回TRue
            if_belong = third_urls[i].startswith(item['first_urls']) and third_urls[i].endswith('shtml')
            if (if_belong):
                '''
                item = SinaItem()
                item['first_title'] = meta_1['first_title']
                item['first_urls'] = meta_1['first_urls']
                item['second_title'] = meta_1['second_title']
                item['second_urls'] = meta_1['second_urls']
                item['second_filename']=meta_1['second_filename']
                '''
                item['third_urls'] =third_urls[i]
            yield scrapy.Request(url=item['third_urls'],meta={'meta_2':copy.deepcopy(item)},
                                     callback = self.detail_parse)
                #items.append(item)

            b_filename =r"/Users/jvf/Downloads/数据分析/练习/0715-新浪网导航/DATA/222.txt"
            with open (b_filename,'a+') as b:
                b.write(item['second_filename']+'\t'+item['second_title']+'\t'+item['second_urls']+'\n') 

• 创建完成后即可得到文件夹按标题分类创建　

　　

• 创建文件夹后，便需要对内容进行采集并按文件夹存放　

　　　

     def detail_parse(self,response):
         item =response.meta['meta_2']

         #抓取标题
         head = response.xpath("//li[@class='item']//a/text() | //title/text()").extract()[0]
         #抓取的内容返回列表
         content =""
         content_list = response.xpath('//div[@id=\"artibody\"]/p/text()').extract()
         for i in content_list:
             content += i
         content = content.replace('\u3000','')

         item['head']=head
         item['content'] =content

         yield item

         b_filename =r"/Users/jvf/Downloads/数据分析/练习/0715-新浪网导航/DATA/333.txt"
         with open (b_filename,'a+') as b:
             b.write(item['second_filename']+'\t'+item['second_title']+'\t'+item['second_urls']+'\n') 

• 存储内容 （pipelines.py）

• 配置pipelines.py

 import random

 class SinaPipeline(object):
     def process_item(self, item, spider):
        # head=item['head']
        # filename ='/' + str(random.randint(1,100))+r'.txt'
        # f = open(item['second_filename']+filename,'w')
         f = open(item['second_filename'] + '/' + item['head']+r'.txt','w')
         f.write(item['content'])
         f.close()

         b_filename =r"/Users/jvf/Downloads/数据分析/练习/0715-新浪网导航/DATA/444.txt"
         with open (b_filename,'a') as b:
             b.write(item['second_filename']+'\t'+item['second_title']+'\t'+item['second_urls']+'\n') 

         return item

• 在终端执行爬虫文件：

scrapy crawl sina_guide

完

附上完整sina_guide.py以供参考：

 # -*- coding: utf-8 -*-

 ####注意scrapy.Request中meta参数深拷贝的问题！！！！！！！
 #https://blog.csdn.net/qq_41020281/article/details/83115617
 import copy
 #import os
 #os.chdir('/Users/jvf/Downloads/数据分析/练习/0715-新浪网导航/sina/sina')
 import sys
 sys.path.append('/Users/jvf/Downloads/数据分析/练习/0715-新浪网导航/sina')
 #print(sys.path)

 import scrapy
 import os
 from sina.items import SinaItem

 class SinaGuideSpider(scrapy.Spider):
     name = 'sina_guide'
     allowed_domains = ['sina.com.cn']
     start_urls = ['http://news.sina.com.cn/guide/']

     def parse(self, response):
         #items =[]
         #所有大类标题和网址
         first_title = response.xpath("//h3[@class='tit02']/a/text()").extract()
         first_urls = response.xpath("//h3[@class='tit02']//@href").extract()

         #所有小类标题和网址
         second_title = response.xpath("//ul[@class='list01']/li/a/text()").extract()
         second_urls = response.xpath("//ul[@class='list01']/li/a/@href").extract()

         #爬取大类并指定文件路径
         for i in range(0,len(first_title)):

             item =SinaItem()

             #指定大类工作路径和文件名
             first_filename = "/Users/jvf/Downloads/数据分析/练习/0715-新浪网导航/DATA" + '/' + first_title[i]

             #if判断，防止重复创建
             #创建大类文件夹
             if (not os.path.exists(first_filename)):
                 os.makedirs(first_filename)

             #保存大类的标题和网址
             item['first_title'] = first_title[i]
             item['first_urls'] = first_urls[i]

             #爬取小类标题并指定文件路径
             for j in range(0,len(second_urls)):

                 if second_urls[j].startswith(first_urls[i]):
                     second_filename =first_filename +'/'+ second_title[j]

                     #if判断，防止重复创建文件夹
                     #创建文件夹，指定小类工作路径和文件名
                     if (not os.path.exists(second_filename)):
                         os.makedirs(second_filename)

                     #保存小类标题和网址
                     item['second_title'] = second_title[j]
                     item['second_urls'] = second_urls[j]
                     item['second_filename']=second_filename

                     #items.append(item)

                     b_filename =r"/Users/jvf/Downloads/数据分析/练习/0715-新浪网导航/DATA/111.txt"
                     with open (b_filename,'a+') as b:
                         b.write(item['second_filename']+'\t'+item['second_title']+'\t'+item['second_urls']+'\n')   

             #发送每个小类url的Request请求，得到Response连同包含meta数据 一同交给回调函数 second_parse 方法处理
         #for item in items:
                     yield scrapy.Request(url = item['second_urls'],meta={'meta_1':copy.deepcopy(item)},callback=self.second_parse)

             #b_filename =r"/Users/jvf/Downloads/数据分析/练习/0715-新浪网导航/DATA/222.txt"
             #with open (b_filename,'a+') as b:
             #   b.write(item['second_filename']+'\t'+item['second_title']+'\n')

     def second_parse(self,response):
         item = response.meta['meta_1']
         third_urls =response.xpath('//a/@href').extract()

         #items =[]

         for i in range(0,len(third_urls)):

             #检查每个链接是否以大类网址开头，shtml结束，结果返回TRue
             if_belong = third_urls[i].startswith(item['first_urls']) and third_urls[i].endswith('shtml')
             if (if_belong):
                 '''
                 item = SinaItem()
                 item['first_title'] = meta_1['first_title']
                 item['first_urls'] = meta_1['first_urls']
                 item['second_title'] = meta_1['second_title']
                 item['second_urls'] = meta_1['second_urls']
                 item['second_filename']=meta_1['second_filename']
                 '''
                 item['third_urls'] =third_urls[i]
             yield scrapy.Request(url=item['third_urls'],meta={'meta_2':copy.deepcopy(item)},
                                      callback = self.detail_parse)
                 #items.append(item)

             b_filename =r"/Users/jvf/Downloads/数据分析/练习/0715-新浪网导航/DATA/222.txt"
             with open (b_filename,'a+') as b:
                 b.write(item['second_filename']+'\t'+item['second_title']+'\t'+item['second_urls']+'\n') 

         #for item in items:

     def detail_parse(self,response):
         item =response.meta['meta_2']

         #抓取标题
         head = response.xpath("//li[@class='item']//a/text() | //title/text()").extract()[0]
         #抓取的内容返回列表
         content =""
         content_list = response.xpath('//div[@id=\"artibody\"]/p/text()').extract()
         for i in content_list:
             content += i
         content = content.replace('\u3000','')

         item['head']=head
         item['content'] =content

         yield item

         b_filename =r"/Users/jvf/Downloads/数据分析/练习/0715-新浪网导航/DATA/333.txt"
         with open (b_filename,'a+') as b:
             b.write(item['second_filename']+'\t'+item['second_title']+'\t'+item['second_urls']+'\n')