AWVS批量导入网站(刷漏洞入门)

今天整了一天这个AWVS批量扫描脚本，主要是下了好几个版本的AWVS，都不稳定，一次次删除又一次次安装。

做这件事儿目的就是为了批量刷漏洞，不过弄好之后又不打算刷漏洞了，不太喜欢无脑刷漏洞，没什么意义，并且现在水平也不是很高，先踏实学习吧。

这个文章目的就是记录一下整体的思路。

要想较为高效的刷漏洞(这里指的是和菜鸟相比)，需要两步，一 ： 获取大量的网页链接  ； 二 ： 误报率低，比较牛逼一点的漏洞扫描工具

一 ：获取大量的网页链接

这个有三种方法：

① fofa 这个有前提 ，必须得有 fofa 的VIP会员，直接下载工具  输入 账号 和 key 即可批量导，软件直接在 github 下载就行

软件下载链接  ：  https://github.com/tangxiaofeng7/Fofa-collect/releases/tag/V1.0

 ②  利用crawlergo工具，

这个工具 功能就是能爬取  你导入好的txt文件中   每个链接中  源码的  链接

这个工具的原理就是爬虫，开启多个chrom一起爬，（这个chrom不是咱们用的那个谷歌浏览器，只是名字差不多）

这个工具如果和 xray 联动 ，那就比较完美 ，这个工具可以设置代理 ，流量先通过 xray 最后在放出去，实现了被动扫描。具体详情可以看 我写的文章 在分类中的  xray和crawlergo联动

https://github.com/0Kee-Team/crawlergo

这个是crawlergo在github中的下载链接，里面也有 crawlergo 使用说明

③   这种方法就比较普通了，就是使用 layer 子域名挖掘机去一个个挖掘，不太推荐这种方法，layer扫出来的网站质量一般

二 ： 选一款牛批的漏洞扫描工具

常见的漏洞扫描工具无非就是 AWVS ,appscan ,OWAsp ,xray 等等 ，因为以前用awvs感觉不错，所以这次也选的 awvs (没想到坑死我。。。)

网上许多的 awvs破解版都不太稳定，要不就是没 api，要不就是使会儿就不行了，现在是2020.7.24 实测下面这款比较不错，有需要的可以下载

https://www.sqlsec.com/2020/04/awvs.html

下载完了之后按照步骤破解安装就行

AWVS这里有个小缺点就是只支持批量导入 csv 文件，这就有点xx，几百上千个网站，我总不能一个个导入，于是就在网上找了半天批量导入的脚本，还好，试了几个之后就找到了个合适的，

直接把文章链接放出来  https://www.imzzj.com/2020/05/18/shi-yong-python-gei-awvs13-pi-liang-tian-jia-ren-wu.html  顺便感谢下博主，给了我很大帮助！！

这里需要提示一点的就是 使用 pycharm打开的时候，import 导入包儿那块儿会报一些错误，也没明白是啥情况，反正我给改对了，直接贴出来前部分的代码

import requests
import json
import  requests.packages
import  urllib3.packages
from urllib3.exceptions import InsecureRequestWarning
# from requests.packages.urllib3.exceptions import InsecureRequestWarning
# requests.packages.urllib3.disable_warnings(InsecureRequestWarning)
urllib3.disable_warnings(InsecureRequestWarning)

apikey = '1986ad8c0a5b3df4d7028dc51b15d120bf015197e'
# 去 AWVS 配置文件里面  有个 API KEY  复制填进去就行
apikey = str(apikey)
headers = {'Content-Type': 'application/json',"X-Auth": apikey}

def addTask(url,target):
    try:
        url = ''.join((url, '/api/v1/targets/add'))
        data = {"targets":[{"address": target,"description":""}],"groups":[]}
        r = requests.post(url, headers=headers, data=json.dumps(data), timeout=30, verify=False)
        result = json.loads(r.content.decode())
        return result['targets'][0]['target_id']
    except Exception as e:
        return e
def scan(url,target,Crawl,user_agent,profile_id,proxy_address,proxy_port):
    scanUrl = ''.join((url, '/api/v1/scans'))
    target_id = addTask(url,target)

    if target_id:
        data = {"target_id": target_id, "profile_id": profile_id, "incremental": False, "schedule": {"disable": False, "start_date": None, "time_sensitive": False}}
        try:
            configuration(url,target_id,proxy_address,proxy_port,Crawl,user_agent)
            response = requests.post(scanUrl, data=json.dumps(data), headers=headers, timeout=30, verify=False)
            result = json.loads(response.content)
            return result['target_id']
        except Exception as e:
            print(e)

def configuration(url,target_id,proxy_address,proxy_port,Crawl,user_agent):
    configuration_url = ''.join((url,'/api/v1/targets/{0}/configuration'.format(target_id)))
    data = {"scan_speed":"fast","login":{"kind":"none"},"ssh_credentials":{"kind":"none"},"sensor": False,"user_agent": user_agent,"case_sensitive":"auto","limit_crawler_scope": True,"excluded_paths":[],"authentication":{"enabled": False},"proxy":{"enabled": Crawl,"protocol":"http","address":proxy_address,"port":proxy_port},"technologies":[],"custom_headers":[],"custom_cookies":[],"debug":False,"client_certificate_password":"","issue_tracker_id":"","excluded_hours_id":""}
    r = requests.patch(url=configuration_url,data=json.dumps(data), headers=headers, timeout=30, verify=False)
def main():
    Crawl = False
    proxy_address = '127.0.0.1'
    proxy_port = '8888'
    awvs_url = 'https://127.0.0.1:3443' #awvs url
    with open('url.txt','r',encoding='utf-8') as f:
        targets = f.readlines()
    profile_id = "11111111-1111-1111-1111-111111111111"
    user_agent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.21 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.21" #扫描默认UA头
    if Crawl:
        profile_id = "11111111-1111-1111-1111-111111111117"
    for target in targets:
        target = target.strip()
        if scan(awvs_url,target,Crawl,user_agent,profile_id,proxy_address,int(proxy_port)):
            print("{0} 添加成功".format(target))

if __name__ == '__main__':
    main()

使用说明就是  先更改配置 ，添加api_key   ； 把需要扫描的站点放在  url.txt  中  ； 运行awvs.py   ； 显示 XXX 导入成功；打开awvs，可以看到站点添加成功，直接就开始自动扫描了

最后哔哔一句，不知道为啥，AWVS误报率有些高，没太仔细看，也没准是我的问题，等真正投入到挖漏洞的时候在研究吧。

最后推荐几篇文章：

https://zhuanlan.zhihu.com/p/108065469