Beta阶段爬取数目预估

【Beta阶段爬取数目预估】的更多相关文章

Beta阶段爬取数目预估

预计于12月29号能进行Beta版本发布. Beta阶段我们的爬取动作应该更有针对性,在爬取期间如若数据处理小组有需求,会优先爬取数据处理小组提供的种子链接.预估在项目展示之前能够爬取的数目: 普通网页(不包括问答页):50000,因为数据处理小组表示其他小组的主要需求是问答页和视频链接,所以相应减少普通网页的爬取动作. 问答页:10万以上. 视频:3万.按照在线小组的要求,主要是把channel9上的3W多个视频链接爬取下来即可. PDF:1000. PPT:100. DOC:100. PDF…

百度地图POI数据爬取，突破百度地图API爬取数目“400条“的限制11。

1.POI爬取方法说明 1.1AK申请登录百度账号,在百度地图开发者平台的API控制台申请一个服务端的ak,主要用到的是Place API.检校方式可设置成IP白名单,IP直接设置成了0.0.0.0/0比较方便. Place API 提供的接口用于返回查询某个区域的某类POI数据,且提供单个POI的详情查询服务,用户可以使用C#.C++.Java,Python等开发语言发送请求,接收json.xml的数据.关于Place API的具体使用可以参考:Place API Web服务API 1.2爬…

Beta阶段冲刺五

Beta阶段冲刺五 Task1:团队TSP 团队任务预估时间实际时间完成日期新增其他学院的爬虫 180 130 11.30 新增其他学院的数据库字段修改 180 160 12.1 新增其他学院的数据库部署到es 180 180 12.2 前端和新增学院数据的交互 300 160 12.2 实现网站的定时爬取以及es的自动同步(绝对路径版) 200 180 11.30 实现网站的定时爬取以及es的自动同步(相对路径版) 60 120 12.1 主界面设置最新通知播报栏样式 300 200…

Beta阶段冲刺四

Beta阶段冲刺四 Task1:团队TSP 团队任务预估时间实际时间完成日期新增其他学院的爬虫 180 130 11.30 新增其他学院的数据库字段修改 180 160 12.1 新增其他学院的数据库部署到es 180 180 12.2 前端和新增学院数据的交互 300 160 12.2 实现网站的定时爬取以及es的自动同步(绝对路径版) 200 180 11.30 实现网站的定时爬取以及es的自动同步(相对路径版) 60 120 12.1 主界面设置最新通知播报栏样式 300 200…

Beta阶段冲刺三

Beta阶段冲刺三 Task1:团队TSP 团队任务预估时间实际时间完成日期新增其他学院的爬虫 180 130 11.30 新增其他学院的数据库字段修改 180 160 12.1 新增其他学院的数据库部署到es 180 180 12.2 前端和新增学院数据的交互 300 160 12.2 实现网站的定时爬取以及es的自动同步(绝对路径版) 200 180 11.30 实现网站的定时爬取以及es的自动同步(相对路径版) 60 120 12.1 主界面设置最新通知播报栏样式 300 200…

Beta阶段冲刺前的准备

Beta阶段冲刺前的准备凡事预则立,在Beta开始前,以小组为单位,在敏捷冲刺前发布一篇博客,描述: 1. 讨论组长是否重选的议题和结论经过我们小组在周二下午的会议中有重新认真的考虑了是否要更换组长的问题我们也提出了看法和建议首先经过前半段的共同努力我们一致表示我们组的组长秦玉是状态非常好的无论是从全局的掌握还是具体事件上的安排她都完成的非常好也很大程度上提高了我们组的效率再次如果换组长的话这个角色谁来担任更合适是否在完成度上可以达到更高的层次使我们组的状态会变得更好…

利用python爬取海量疾病名称百度搜索词条目数的爬虫实现

实验原因: 目前有一个医疗百科检索项目,该项目中对关键词进行检索后,返回的结果很多,可惜结果的排序很不好,影响用户体验.简单来说,搜索出来的所有符合疾病中,有可能是最不常见的疾病是排在第一个的,而最有可能的疾病可能需要翻很多页才能找到. 实验目的: 为了优化对搜索结果的排序,想到了利用百度搜索后有显示搜索到多少词条,利用这个词条数,可以有效的对疾病排名进行一个优化.从一方面看,某一个疾病在百度的搜索词条数目越多,表示这个词条的信息特别丰富,侧面反映了搜索这个词条的人特别多,从而可以推出这个疾病在…