Daily Scrum 11.19 部分测试报告

下面是我们的部分测试报告：

功能测试部分：

1
Exception in thread "Thread-11" java.lang.IllegalArgumentException: Invalid uri 'http://tieba.baidu.com/home/main?un=?????1': Invalid query
at org.apache.commons.httpclient.HttpMethodBase.<init>(HttpMethodBase.java:222)
at org.apache.commons.httpclient.methods.GetMethod.<init>(GetMethod.java:89)
at DownLoadFile.run(DownLoadFile.java:59)
出现页面：贴吧404
2
Exception in thread "Thread-13" java.lang.IllegalArgumentException: Invalid uri 'http://tieba.baidu.com/f/index/forumpark?cn=??????&ci=0&pcn=???&pci=0&ct=1&rn=20&pn=1': Invalid query
at org.apache.commons.httpclient.HttpMethodBase.<init>(HttpMethodBase.java:222)
at org.apache.commons.httpclient.methods.GetMethod.<init>(GetMethod.java:89)
at DownLoadFile.run(DownLoadFile.java:59)
出现页面：？？？？？贴吧

上面几个都是因为url网址里面的字符无法识别导致的

3 测试了爬取若干页面所需时间：

网址：http://ask.csdn.net
爬取页面数：100
远航所有时间：22898（毫秒，下面的数字都用毫秒计算）
newbe所用时间：24318
cpu占有率：34.3%-44.7%
所占内存：161.6MB
爬取页面数：1000
远航所用时间：596204
newbe所用时间：855707
cpu占有率：29.6%-43.8%
所占内存：199.1-228.6MB
极限情况：
尝试爬取10000个页面，但是由于爬取速度随着爬取页面数的增加明显减慢，导致爬取过程缓慢，而且中途总是出现异常，最终最高达到4571个页面，时间：8378920（毫秒），花费了2小时以上，感觉这种极限极限测下去意义不是很大，所以就停止了。爬虫速度越爬越慢感觉非常明显，而且测试的时候偶然性很大，和电脑运行时的情况也有很大关系，而且本人测试的时候爬取失败率有点高，失败率达到了惊人的20-%-30%，感觉这方面是不是可以改进下，而且newbe爬虫速度也比远航的略慢。

下一步要开始测多个网址的情况和关键字搜索的情况。希望在下次测试结果之前能够把由于网页字符不能识别导致的bug解决掉。

UI测试：

1.对现有UI各个BUTTON的功能测试
所有按钮功能正常，没有问题。

2.对现有UI的布局的建议、改善方案与理由（尤其在细节方面）

a.首先是单词错误，how much pages 改为how many pages

b.how to use 按钮的位置不合理，目前是处于how much pages后面，逻辑性不强。改善建议是将其放在整个界面的顶部，并且将其长度拉长，使用户第一眼看到的的就是我们的how to use

c.or you can select the file按钮应放在第二模块的位置，即放在URL seed 下面，同时改名为or select the URL file(txt)。改动理由是这个模块与URL seed模块功能是一致的，同时其名字也应直接显示其功能

d.应统一所有按钮说明的单词写法，全部改为每个单词首字母大写。URL seed-> URL Seed,keyword->Keyword,how many pages->How Many Pages等

3.对使用说明文档的重新编写，要求文档简洁、清晰，方便用户

本爬虫软件是由newbe软件工程队在远航1617软件工程队的爬虫软件基础上进行改写开发而成的。
使用方法：
1.输入网址：在URL Seed中输入爬取的网址，可以输入多个网址（缺省为百度搜索）；或者选择yes按钮后用Select File按钮选择包含多个URL地址的txt文件
2.输入关键词：在Keyword中输入即可（缺省为通常爬取）
3.输入爬取数：在How Many Pages中输入即可（不可缺省）
4.选择页面保存地址：通过Save Path选项后的select即可，还可以通过open按钮打开目录
5.爬取：点击Start按钮；爬取开始后可以暂停Pause和继续Continue
6.分析：点击Analyze按钮
7.关闭：点击Close按钮
PS：
1.运行本爬虫软件需要连接指定服务器，服务器不是全天开启的，不连接服务器本软件无法正确运行。
2.本爬虫软件具有关键字搜索功能，并且可以展示爬取过程。
3.Keyword关键字搜索，可以通过输入关键字对爬取的网页进行过滤处理，只爬取带有关键字的网页（并进行排序，得到根据热度排列的相对最优结果）；
4.由于爬取速度有限，建议爬取网页的数量不要输入太多。
5.当爬取成功网页数达到How Many Pages中输入的网页数量时，爬取过程将会停止。
6.analyze中的饼状图是对服务器中存有的所有网页进行分类分析；条形图是本次爬取中根据热度排列的结果。

4.对已产生的图表的建议与测试
测试正常，全部实现了既定功能；显示清晰，标示了所有的情况。

下面是今天的燃尽图：