成功抓取douban 所有电影

之前爬了250，想爬所有的电影

Rule(LinkExtractor(allow=(r'https://movie.douban.com/subject/\d+')), callback="parse_item"),

修改为

start_urls = ["https://movie.douban.com/subject/26611090/"]

rules = [

Rule(LinkExtractor(allow=(r'https://movie.douban.com/subject/\d+'), restrict_xpaths='//*[@id="recommendations"]/div'),

callback="parse_item", follow=True),

]

提取 喜欢这部电影的人也喜欢  推荐的10部电影，这样应该不会出现太多电视剧。

问题：

https://movie.douban.com/subject/2074813 这种页面没有评分

https://movie.douban.com/subject/1292945

解决，插入库之前判断。如果数据不符合格式，可传默认值0分等。或丢弃

1，如果存在了，就更新下分数和投票数据

---

最后爬到 https://movie.douban.com/subject/2127013 共 41924 行

2017-11-15 11:30:56 ERROR:Item 404:https://movie.douban.com/subject/2970103/?from=subject-page