Redis 七月小说网的爬虫缓存设计

一、爬虫策略

1.主服务器先根据spider.all set排重，再 lpush request_url 到spider.wait List中，并且 sadd request_url 到 set中；

2.两台从服务器 brpop 出最后一条url 进行解析，再抓取数据；

二、缓存策略

1.主服务器通过爬取各类排行榜或首页等Book集合、简短字段的页面

创建多个不同key的Hash

expect => create {"siteId_bookId": Hash}

2.从服务器通过爬书详细页

更新单个key的部分Hash字段， 创建章节有序集合存放章节id ，生成request_url到spider.wait中

expect =>
update {"siteId_bookId": Hash} ,
create {"siteId_bookId_chapters": Sort Set}

3.从服务器通过爬章节详细页

创建章节Hash对象

expect => create {"siteId_bookId_chapterId": Hash}

4.从主服务器归并两个hash对象和一个sort set对象，生成Book信息导入数据库。