产品描述

这个产品的目的是为了学霸网站提供后台数据获取以及处理操作。在alpha阶段基本调通的基础至上，我们希望在bate版本中加入对于问答对的处理，图片的获取等功能。

预期目标

在alpha阶段，我们受限于时间，基本沿用了上届老旧的代码，所以遇到了很多bug问题，并且因为隐藏很深、缺失文档等原因导致较难调试。并且受限于整体程序框架，很多功能性问题都根本上无法解决。于是在bate版本中，我们选择了完全重构。针对于爬虫，我们抛弃掉alpha中纯手工爬取的方式，采用了crawler4j作为基础框架开发。针对于数据处理，也将上届代码完全拆分，并且将C#语言的代码改写成java（为了与代码整体框架更好的配合），同时计划新增管理网页，可以实现实时看到处理进度以及对于处理程序进行控制，这里采用Bootstrap框架，对于不同分辨率等支持较好。

阶段改进

无法过滤已爬网站 -> 过滤已爬网站并且可以即时保存
爬虫无法停止 -> 支持动态停止以及重启，动态新增种子，同时脱离eclipse运行环境
无法爬取word文档、图片等 -> 增加对于word文档、图片爬取的支持
中文乱码 -> 中英文支持，并且支持关键词英汉互译
两个单独桌面应用 -> 用网页管理的后台应用
无法处理问答对 -> 新增对于问答对的专门识别以及处理
数量的累计：注：以下全部为全新的数据

html：12000

pdf：50

doc：113

image：1800

效果展示

技术亮点

交叉编译：在决定用java作为整个程序的核心框架时，为了即满足顶层语言需要，又保留上届劳动成果，使用微软支持更好的C#库类，我们在克服了许多困难之后成功的在程序中使用了很多交叉编译技术。
夸服务器交互：因为我们的程序需要跨两个服务器，爬虫与数据库在78，网页以及数据处理在79，所以就涉及到网页对于爬虫程序得控制。最终我们的解决办法是通过特定格式的文件进行爬虫程序的控制以及信息获取。
效率改进：为了更直观的说明，可以参考下面的时间对比情况

项目	改进前	改进后
爬虫	60-100/h	1500-2000/h
数据处理	1-2min/per	4-6s/per

To Do

虽然目前为止我们已经完成了很多的事情，但是仍然有不少的工作是可以后续接着做来让这套系统变得更好的

对于cookie的支持还不够完善
服务器网络环境的配置使得爬虫顺利运行
视频的爬取支持
爬虫的关键词筛选

阶段成果

项目管理改进

更明确的任务定义
更简洁的会议
更高效的沟通
更多的留存成果
更多的成长

收获

继往开来
耐心加一点点运气
软工永远不是一个人的事情

数据获取以及处理Beta版本展示的更多相关文章

Beta版本展示
Beta版本展示开发团队:MyGod 团队成员:程环宇张芷祎王田路张宇光王婷婷源码地址:https://github.com/WHUSE2017/MyGod MyGod团队项目的目标: 让 ...
团队作业9——Beta版本展示博客
一. 骆杰宁(组长) 风格:少说话,多做事. 擅长技术:Jsp 编程兴趣:GUI 希望角色:PM 一句话宣言:年轻是本钱,不努力就不值钱. 胡丹丹风格:不断沉淀自己擅长技术:擅长TCP/IP协议模 ...
Beta版本展示博客
1 团队介绍团队组成: 齐爽爽(258)个人博客:http://www.cnblogs.com/shuangshuangblog/ 马帅(248)个人博客:http://www.cnblogs.co ...
Beta版本演示
小组信息组名:斗地组组长博客:地址组内成员: 组员学号林涛(组长) 031702616 童圣滔 031702117 林红莲 031702213 潘雨佳 031702214 覃鸿浩 03170 ...
第05组 Beta版本演示
第05组 Beta版本演示小组信息组名:天码行空组长博客:地址组内成员: 组员学号卢欢(组长) 031702513 陈天恒 031702527 古力亚尔·艾山 031702511 张聪 0 ...
第04组 Beta版本演示
小组信息组名:斗地组组长博客:地址组内成员: 组员学号林涛(组长) 031702616 童圣滔 031702117 林红莲 031702213 潘雨佳 031702214 覃鸿浩 03170 ...
第02组 Beta版本演示
目录 1. 博客链接及组员信息(2分) 2. 贡献比例(3分) 3. GitHub 项目链接(1分) 4. 博客汇总(2分) 5. 燃尽图(3分) 6. 原计划.达成情况及原因分析(6分) 7. Be ...
第02组Beta版本演示
组长博客组名:十一个憨比本组组员: 学号姓名分工贡献比例 181700413 黄智写Beta冲刺的四次博客,写评审表,写word,统筹规划 9% 131700309 林闽沪代码实现,答辩 ...
第09组 Beta版本演示
组长博客本组(组名)所有成员短学号姓名 2236 王耀鑫(组长) 2210 陈超颖 2209 陈湘怡 2228 许培荣 2204 滕佳 2205 何佳琳 2237 沈梓耀 2233 陈志荣 22 ...

随机推荐

Asp.net MVC 示例
public ActionResult Browse(string id){ using (musicstoreEntities db = new musicstoreEntities( ...
clistctrl失去焦点高亮显示选中行
clistctrl失去焦点高亮显示选中行响应两个消息 NM_SETFOCUS,NM_KILLFOCUS void CDatabaseParseDlg::OnNMKillfocusListGroup( ...
redis清空缓存
进入redis命令行首先启动redis服务 redis-server /home/redis/redis_7901.conf redis-cli -p 7901(指定进入端口号为7901的redis ...
CSS之照片集效果
代码: <!DOCTYPE html><html><head> <title>照片影集</title> <meta charset=& ...
GoldenGate针对OEM 13.1的版本发布
OGG 针对OEM(Oracle Enterprise Manager) 13.1的插件已经可以从这里下载: http://www.oracle.com/technetwork/middleware/ ...
类似qq的左滑菜单栏简单实现
代码托管到了Github https://github.com/cyuanyang/YYSlideView 主演实现代码: 1.滑动的viewController的初始化主要view -(instan ...
安全协议系列（二）----CCM与CCMP
CCMP(CTR with CBC-MAC Protocol) 是 IEEE 802.11i 中推出使用基于 AES 的 CCM 模式的安全加密协议.与原来脆弱的 WEP 算法及临时补救措施 TKIP ...
css 水平居中垂直居中的几种方法
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
php 画图片
<?php // 使用php操作gd库做图 // 1. 创建一个画布资源 $im = imagecreatetruecolor(80, 40); // 2. 画内容 // 2.1 先位画布准备颜 ...
Java优化
Java初级优化 1. 对于明确不需要派生的类,添加final修饰符,此时该类的所有方法都是final的.Java编译器会寻找机会内联(inline)所有的final方法.(能使性能提升50%)2. ...

数据获取以及处理Beta版本展示