说说gogoTester-nodejs 的实现

一直在使用goagent，所以对于查找google可用ip有了很大的兴趣，在github上面发现有一个项目是gogoTester，是用来查找google ip的，于是突发奇想自己用nodejs写了一个，为gogoTester-nodejs，用nodejs实现查询google可用ip。gogoTester-nodejs 跟 gogoTester其实没有啥联系，除了使用一样的ip range（ip 段范围），其他的都是自己折腾出来的，因为gogoTester是用c#写得，看得不懂...

git项目地址为：osc@git https://git.oschina.net/subying/gogoTester-nodejs ;github:https://github.com/subying/gogoTester-nodejs

其实实现起来并不难，毕竟菜鸟。实现的方式可以能会有多种，但是流程应该是差不多，这也是一个很傻瓜化的方式，就是拿到一堆google可能会用到的ip段，然后逐个去测试，测试通过的就是可用的ip，至少能够通过这个ip直接访问google了，可以分一下几步来实现：

1.找到可用的ip 段

我承认我也不知道，所以我直接拿的是别人的，直接从gogoTester那里拿到了，然后转换成了数组，在我git项目中的ip.js可以看到，以后扩展也是通过维护这个文件。其中的代码是这样的方式

var iptables = [];
iptables.push("1.179.248.0-255");
iptables.push("1.179.249.0-255");
iptables.push("1.179.250.0-255");

数组里面的每一项是用ip段和范围组成的，“1.179.248.0-255 ”表示1.179.248.0-1.179.248.255这样的Ip段范围，所以需要一个转换的方法。

2.把数组中的每一项转成对应的ip段

“1.179.248.0-255”表示1.179.248.0-1.179.248.255这样的Ip段范围 ,那么就用split方法把字符串分成四段，最后一段是范围值，可以这样做：

checkStr:function(str){//检查并转换
        var arr = str.split('.')
            ,_ipStr = arr[0]+'.'+arr[1]+'.'+arr[2]+'.'
            ,_range = arr[3].split('-')
            ,_start = _range[0] || 1
            ,_end = _range[1]
            ,i = _start
            ,_self = this
        ;
        _self._ipStr = _ipStr;
        for(;i<_end;i++){
            _self.pushTask(i);
        }
    }

这样通过最后的一段循环，把需要查询的ip给记录下来。

3.   测试的方法

拿到需要查询的Ip后就是进行测试了，我这里用的是简单的http请求，通过判断返回的是否为'gws'（google服务器）来判断是否为google ip。方法里面还设置了超时，毕竟大家都不想访问一个太卡的Ip,所以设置了请求响应的时间，方法如下

function httpGet(ip,cb){
    var req = http.get('http://'+ip)
        ,err=false
    ;

    function endAysnc(){
        req.abort();

        if(!err){
            err = true;
            cb();
        }
    }

    req.on('response',function(res){
        //修改了判断，直接用header信息中server的判断，加快了判断速度
        if(res.headers.server === 'gws'){
            checkIpPad.addGoodIp(ip);
        }
        res.destroy();

        endAysnc();
    })
    .on('error',function(err){
        endAysnc();
        //throw err;
    })
    .setTimeout(checkIpPad.timeout,function(){
        endAysnc();
    });

    return req;
}

4.执行测试的控制

nodejs的http请求都是异步的，如果你不控制请求的数量，我保证你的程序很快就挂掉了，那么就需要控制同时执行的任务数量，我这里用的是async模块，这是一个很不错的模块，这里就不介绍了，大家可以搜索来了解，方法如下：

var q = async.queue(function(task, callback) {
    util.log('worker is processing task: '+task.name);
    task.run(callback);
}, checkIpPad.threadNum);
/**
* 监听：如果某次push操作后，任务数将达到或超过worker数量时，将调用该函数
*/
q.saturated = function() {
    util.log('all workers to be used');
}

/**
* 监听：当最后一个任务交给worker时，将调用该函数
*/
q.empty = function() {
    util.log('no more tasks wating');
}

/**
* 监听：当所有任务都执行完以后，将调用该函数
*/
q.drain = function() {
    checkIpPad.finishTask();
}

5.测试顺序的方式

ip.js文件里面包含的ip段就有2000多，每个ip段里面包含了一个范围，也就是有多个ip，这样下来就会有很多ip需要测试了，这个时候需要考虑测试的方式。当然最简单的就是从头到尾测试，这是最直接的方法，但是这样可能耗时会比较多。我这里还用了一个随机测试的方法，主要是数组长度范围内的随机数，然后再去找到这个对应的Ip段，再去测试里面的Ip，需要注意的是要防止重复

,randomCheck:function(){//随机查询
        var _self = this
            ,_num = _self.getRandom(0,_self.len-1)
            ,_str = _self.arr[_num];
        ;
        _self.checkType='random';
        _self.index = _num;
        _self._cacheIndex = _self._cacheIndex + '_'+_num+'_';

        _self.checkStr(_str);
    }
    ,listCheck:function(){//顺序查找
        var _self = this
            ,_num = _self.isInit?_self.index+1:_self.index
            ,_str
        ;
        if(_num>=_self.len){
            return false;
        }

        _self.checkType='list';
        _self.index = _num;
        _str = _self.arr[_num];
        _self.checkStr(_str);
    }
    ,getRandom:function(t1,t2){//获取随机数
    	var _self = this
    		,_num = Math.floor(Math.random()*(t2-t1)+t1)
    		,_flag = true
    		,_cache = _self._cacheIndex
    	;
    	while(_flag){
    		if(_cache.indexOf('_'+_num+'_')===-1){
    			_flag = false;
    		}else{
    			_num = Math.floor(Math.random()*(t2-t1)+t1);
    		}
    	}
        return _num;
    }

这里看到了随机测试和顺序测试的方法，经过本人测试，发现随机测试平均耗时会更少一些，不过话说是靠人品的...

实现的方式就是这样，里面主要是用到了Ip段、http请求、async控制和随机测试，感兴趣的朋友可以了解一下。另外，我用到的Http请求的方式是不够严谨的，因为google用的是https协议，所以用Https会更好，但是我目前还没有实现，希望已经实现的朋友能给我一些帮助。

本文同步发表在我的个人博客：http://www.subying.com/archives/125.html。