python scrapy框架爬取豆瓣

刚刚学了一下，还不是很明白。随手记录。

在piplines.py文件中 将爬到的数据 放到json中

class DoubanmoviePipelin2json(object):
#打开文件 open_spider 内部自带 不能自己起名
    def open_spidef(self,spider):
        self.json=open("doubantop250.json","w",encoding="utf-8")
        self.jsonfile.write("["+"/n")
        self.first=1
# 对数据进行跌代 放入json文件中
    def process_item(self,item,spider):
        if self ==1:
            movie=json.dumps(dict(item),ensure_ascii=False)
            self.jsonfile.write(movie)
            self.first=0
        else:
             movie=",\n"+json.dumps(dict(item),ensure_ascii=False)
            self.jsonfile.write(movie)
    return item
#关闭文件
    def close_spider(self,spider):
        self.jsonfile.write("\n"+"]")
        self.jsonfile.close()

写入xls中

 class DoubanmoviePipline2xls(object):
     def open_spider(self,spider):
         self.workbook=xlwt.Workbook(encoding="utf-8")
         self.worksheet=self.work.add_sheet("doubantop250")
         hearder=["电影排名","电影名"]
         for colsIndex in range(len(header)):
             worksheet.write(0,colsIndex,header[colsIndex])
         self.rows=1
     def process_item(self,item,spider):
         movie=[item[k] for k in item]
         for colsIndex in range(len(movie)):
 　　　　　　　self.worksheet.write(self.rows,colsIndex,movie[colsIndex])]
 　　　　　　　self.rows+=1
14　　 return item
     def close_spider(self,spider):
         self.rows=0
         self.workbook.save("doubantop250.xls")