产品描述

这个产品的目的是为了学霸网站提供后台数据获取以及处理操作。在alpha阶段基本调通的基础至上，我们希望在bate版本中加入对于问答对的处理，图片的获取等功能。

预期目标

在alpha阶段，我们受限于时间，基本沿用了上届老旧的代码，所以遇到了很多bug问题，并且因为隐藏很深、缺失文档等原因导致较难调试。并且受限于整体程序框架，很多功能性问题都根本上无法解决。于是在bate版本中，我们选择了完全重构。针对于爬虫，我们抛弃掉alpha中纯手工爬取的方式，采用了crawler4j作为基础框架开发。针对于数据处理，也将上届代码完全拆分，并且将C#语言的代码改写成java（为了与代码整体框架更好的配合），同时计划新增管理网页，可以实现实时看到处理进度以及对于处理程序进行控制，这里采用Bootstrap框架，对于不同分辨率等支持较好。

阶段改进

无法过滤已爬网站 -> 过滤已爬网站并且可以即时保存
爬虫无法停止 -> 支持动态停止以及重启，动态新增种子，同时脱离eclipse运行环境
无法爬取word文档、图片等 -> 增加对于word文档、图片爬取的支持
中文乱码 -> 中英文支持，并且支持关键词英汉互译
两个单独桌面应用 -> 用网页管理的后台应用
无法处理问答对 -> 新增对于问答对的专门识别以及处理
数量的累计：注：以下全部为全新的数据

html：12000

pdf：50

doc：113

image：1800

效果展示

技术亮点

交叉编译：在决定用java作为整个程序的核心框架时，为了即满足顶层语言需要，又保留上届劳动成果，使用微软支持更好的C#库类，我们在克服了许多困难之后成功的在程序中使用了很多交叉编译技术。
夸服务器交互：因为我们的程序需要跨两个服务器，爬虫与数据库在78，网页以及数据处理在79，所以就涉及到网页对于爬虫程序得控制。最终我们的解决办法是通过特定格式的文件进行爬虫程序的控制以及信息获取。
效率改进：为了更直观的说明，可以参考下面的时间对比情况

项目	改进前	改进后
爬虫	60-100/h	1500-2000/h
数据处理	1-2min/per	4-6s/per

To Do

虽然目前为止我们已经完成了很多的事情，但是仍然有不少的工作是可以后续接着做来让这套系统变得更好的

对于cookie的支持还不够完善
服务器网络环境的配置使得爬虫顺利运行
视频的爬取支持
爬虫的关键词筛选

阶段成果

项目管理改进

更明确的任务定义
更简洁的会议
更高效的沟通
更多的留存成果
更多的成长

收获

继往开来
耐心加一点点运气
软工永远不是一个人的事情

数据获取以及处理Beta版本展示的更多相关文章

Beta版本展示
Beta版本展示开发团队:MyGod 团队成员:程环宇张芷祎王田路张宇光王婷婷源码地址:https://github.com/WHUSE2017/MyGod MyGod团队项目的目标: 让 ...
团队作业9——Beta版本展示博客
一. 骆杰宁(组长) 风格:少说话,多做事. 擅长技术:Jsp 编程兴趣:GUI 希望角色:PM 一句话宣言:年轻是本钱,不努力就不值钱. 胡丹丹风格:不断沉淀自己擅长技术:擅长TCP/IP协议模 ...
Beta版本展示博客
1 团队介绍团队组成: 齐爽爽(258)个人博客:http://www.cnblogs.com/shuangshuangblog/ 马帅(248)个人博客:http://www.cnblogs.co ...
Beta版本演示
小组信息组名:斗地组组长博客:地址组内成员: 组员学号林涛(组长) 031702616 童圣滔 031702117 林红莲 031702213 潘雨佳 031702214 覃鸿浩 03170 ...
第05组 Beta版本演示
第05组 Beta版本演示小组信息组名:天码行空组长博客:地址组内成员: 组员学号卢欢(组长) 031702513 陈天恒 031702527 古力亚尔·艾山 031702511 张聪 0 ...
第04组 Beta版本演示
小组信息组名:斗地组组长博客:地址组内成员: 组员学号林涛(组长) 031702616 童圣滔 031702117 林红莲 031702213 潘雨佳 031702214 覃鸿浩 03170 ...
第02组 Beta版本演示
目录 1. 博客链接及组员信息(2分) 2. 贡献比例(3分) 3. GitHub 项目链接(1分) 4. 博客汇总(2分) 5. 燃尽图(3分) 6. 原计划.达成情况及原因分析(6分) 7. Be ...
第02组Beta版本演示
组长博客组名:十一个憨比本组组员: 学号姓名分工贡献比例 181700413 黄智写Beta冲刺的四次博客,写评审表,写word,统筹规划 9% 131700309 林闽沪代码实现,答辩 ...
第09组 Beta版本演示
组长博客本组(组名)所有成员短学号姓名 2236 王耀鑫(组长) 2210 陈超颖 2209 陈湘怡 2228 许培荣 2204 滕佳 2205 何佳琳 2237 沈梓耀 2233 陈志荣 22 ...

随机推荐

Oracle表解锁语句
如果你发现无法对一个表进行修改.删除等操作时,你可以利用以下语句查询是否是该表被锁住了 --查询锁select sess.sid,sess.serial#, lo.oracle_username,lo ...
Raspberry Pi UART with PySerial
参考:http://programmingadvent.blogspot.hk/2012/12/raspberry-pi-uart-with-pyserial.html Raspberry Pi UA ...
Sqrtx
我只能想出二分的方法,而且还不一定能写出最简洁的代码.无论刷多少遍,牛顿迭代法我都想不到,莫名有种悲哀的感觉:智力是硬伤啊.就算如此,却还要一遍遍不厌其烦地刷,这才是最悲剧的.多说无益,上代码. 二分 ...
java多线程总结
java中的多线程一般来说,当运行一个应用程序的时候,就启动了一个进程,当然有些会启动多个进程.启动进程的时候,操作系统会为进程分配资源,其中最主要的资源是内存空间,因为程序是在内存中运行的.在进程 ...
aspx在页面跳转（Response.Redirect）时丢失session问题及解决办法
[问题描述] 假设a.aspx.cs页面保存有Session["empid"]="3",当a.aspx.cs通过Response.Redirect(" ...
MySQL，排序，统计行转列
表 -- ------------------------------ Table structure for a-- ---------------------------- DROP TABLE ...
linux rlwrap
无意中发现了rlwrap,终于可以在linux下使用方向键上下翻页输入过的语句了. 比如sqlplus or ggsci中使用. 如果是ubuntu,则在software center中可以直接安装r ...
jsp取得绝对路径的方法(避免请求转发的方式导致路径错误）
<%String path = request.getContextPath();String basePath = request.getScheme()+"://"+re ...
Ubuntu下libpcap安装
1.首先按下面的博客教程下载和安装四个软件包: 点击打开链接 2.这四个软件都安装好之后按下面教程新建Makefile文件和test.c文件: 点击打开链接 Makefie: all: test.c ...
android 内存查看的不同数据指标
内存耗用:VSS/RSS/PSS/USS 的介绍 VSS - Virtual Set Size 虚拟耗用内存(包含共享库占用的内存) RSS - Resident Set Size 实际使用物理内存( ...

数据获取以及处理Beta版本展示