无界面Linux系统和Windows系统使用selenium爬取CNVD数据

因为CNVD官网采用了反爬机制，所以使用selenium能够更容易的爬取漏洞数据

1、在Windows中使用

注意根据chrome版本下载对应chromedriver

2、在无界面的Linux中使用

因为对于爬虫的识别，无头模式相对于有头模式特征多，所以尽量使用有头模式，在无界面Linux中使用有头模式需要安装Xvfb。对于cnvd，目前使用无头模式即可，可不需要安装xvfb。

yum install Xvfb -y

yum install xorg-x11-fonts* -y

有头模式不能添加add_argument('--headless')，如果使用无头模式则添加这一项。

安装Xvfb后可能会提示“DevToolsActivePort文件不存在”，那么添加options.add_argument('--no-sandbox')。

使用Xvfb启动：

xvfb-run python3 cnvd_download.py

3、对于各式各样的验证码最好的方法就是对接第三方打码平台，使用pytesseract需要pip安装pytesseract库，而且安装tesseract-ocr-w64-setup-v5.2.0.20220712.exe，并且别忘了添加环境变量。

使用ddddocr库识别库比较高，但只试了字母的简单验证码，其他验证码不清楚。

### selenium使用的版本为1.141.0
### Python版本为3.8.12
import os
import random
import sys
import time
from configparser import ConfigParser
from io import BytesIO
import ddddocr
from PIL import Image
# from pytesseract import pytesseract
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException

# 读取配置文件信息
cf = ConfigParser()
cf.read('config.ini')

sys_path = os.path.abspath(".")

def get_config_data(target):
    cnnvd_filed = {}
    for k, v in cf.items(target):
        cnnvd_filed[k] = v
    return cnnvd_filed

class DownloadCnvd(object):
    def __init__(self):
        # 从配置文件获取下载文件存放目录
        self.download_path = get_config_data('CNVDPATH')['download_path']
        # 从配置文件获取url
        self.url = get_config_data('CNVDURL')['url']
        # 登录CNVD官网的账号邮箱
        self.login_email = get_config_data('CNVDLOGIN')['email']
        # 登录CNVD官网的账号密码
        self.login_password = get_config_data('CNVDLOGIN')['password']
        options = webdriver.ChromeOptions()
        # 配置下载文件存放目录
        prefs = {'profile.default_content_settings.popups': 0,
                 'download.default_directory': os.path.join(sys_path, self.download_path)}
        options.add_experimental_option('prefs', prefs)
        # 修改windows.navigator.webdriver，防机器人识别机制，selenium自动登陆判别机制
        options.add_experimental_option('excludeSwitches', ['enable-automation'])
        # 禁止策略化
        options.add_argument('disable-infobars')
        # 当在Linux中使用xvfb进行有头操作时，此行配置解决DevToolsActivePort文件不存在的报错
        options.add_argument('--no-sandbox')
        #无头模式
        options.add_argument('--headless)
        options.add_argument('--ignore-certificate-errors')
        options.add_argument("--disable-web-security")
        # Linux中运行的配置，浏览器配置文件夹路径
        options.add_argument('--user-data-dir=/home/ubuntu/.config/google-chrome')
        # Windows中运行的配置，浏览器配置文件夹路径
        #options.add_argument(r'--user-data-dir=C:\Users\Leeeee\AppData\Local\Google\Chrome\User Data')
        # Linux中运行的配置， chromedriver的位置
        self.driver = webdriver.Chrome(executable_path='/usr/bin/chromedriver', chrome_options=options)
        #self.driver = webdriver.Chrome(executable_path='chromedriver.exe', chrome_options=options)
        self.driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
            "source": """
                          Object.defineProperty(navigator, 'webdriver', {
                            get: () => undefined
                          })
                        """
        })

    # 使用pytesseract库进行识别图片验证码，不过识别率感人
    def get_code(self):
        os.remove(code_path)
        element = self.driver.find_element_by_id('codeSpan')  # 定位验证码图片
        # 获取验证码图片在网页中的位置
        left = int(element.location['x'])  # 获取图片左上角坐标x
        top = int(element.location['y'])  # 获取图片左上角y
        right = int(element.location['x'] + element.size['width'])  # 获取图片右下角x
        bottom = int(element.location['y'] + element.size['height'])  # 获取图片右下角y
        # 通过Image处理图像
        code_path = os.path.join(sys_path, self.download_path) + 'img' + '.png'
        self.driver.save_screenshot(code_path)  # 截取当前窗口并保存图片
        im = Image.open(code_path)  # 打开图片
        im = im.crop((left, top, right, bottom))  # 截图验证码
        im.save(code_path)  # 保存验证码图片
        verityCode = Image.open(code_path)
        code = pytesseract.image_to_string(verityCode)
        return code

    # 在Linux中获取验证码图片并识别验证码，使用ddddocr库进行图片验证码识别
    def get_code2(self):
        element = self.driver.find_element_by_id('codeSpan')  # 定位验证码图片
        # 获取图片验证码的请求地址
        img_path0 = element.get_attribute('src')
        url = img_path0
        print(url)
        time.sleep(1)
        # 打开新的页面，url为图片验证码的请求地址，应该是分辨率的问题，在登陆页直接截图获得验证码图片的是白灰方格，不是正常验证码图片，所以。。。
        newTab = f'window.open("{url}");'
        self.driver.execute_script(newTab)
        self.driver.switch_to.window(self.driver.window_handles[-1])
        element2 = self.driver.find_element_by_xpath('/html/body/img')
        left = int(element2.location['x'])  # 获取图片左上角坐标x
        top = int(element2.location['y'])  # 获取图片左上角y
        right = int(element2.location['x'] + element2.size['width'])  # 获取图片右下角x
        bottom = int(element2.location['y'] + element2.size['height'])  # 获取图片右下角y
        code_image = self.driver.get_screenshot_as_png()
        code_png = Image.open(BytesIO(code_image))  # 打开图片
        code_png = code_png.crop((left, top, right, bottom))  # 截图验证码
        code_png.save('code_png.png')
        my_ocr = ddddocr.DdddOcr()
        with open('code_png.png', 'rb') as f:
            code_img_bytes = f.read()
        code = my_ocr.classification(code_img_bytes)
        # 切换标签页为登录页面
        self.driver.switch_to.window(self.driver.window_handles[0])
        print(code)
        return code

    def get_code1(self):
        element = self.driver.find_element_by_id('codeSpan')  # 定位验证码图片
        # 获取验证码图片在网页中的位置
        left = int(element.location['x'])  # 获取图片左上角坐标x
        top = int(element.location['y'])  # 获取图片左上角y
        right = int(element.location['x'] + element.size['width'])  # 获取图片右下角x
        bottom = int(element.location['y'] + element.size['height'])  # 获取图片右下角y
        # img = conn.get(img_url)
        # 通过Image处理图像
        code_path = os.path.join(sys_path, self.download_path)+ 'img' + '.png'  # 生成随机文件名
        # self.driver.save_screenshot(code_path)  # 截取当前窗口并保存图片
        # im = Image.open(code_path)  # 打开图片
        # im = im.crop((left, top, right, bottom))  # 截图验证码
        # im.save(code_path)  # 保存验证码图片
        code_image = self.driver.get_screenshot_as_png()
        code_png = Image.open(BytesIO(code_image))  # 将图片读入内存中
        code_png = code_png.crop((left, top, right, bottom))  # 截图验证码
        code_png.save(code_path)
        my_ocr = ddddocr.DdddOcr()
        with open(code_path, 'rb') as f:
            code_img_bytes = f.read()
        code = my_ocr.classification(code_img_bytes)
        os.remove(code_path)
        print(code)
        return code

    # 点击文件进行下载，一页下载十个文件
    def get_file(self, flag):
        file_count = 10
        if flag == 1:
            file_count = 1
        num = 1
        while num <= file_count:
            file = self.driver.find_element_by_xpath(
                '/html/body/div[4]/div[1]/div/div[2]/table/tbody/tr[{}]/td[1]/a'.format(num))
            file.click()
            num += 1
            time1 = random.random()
            time2 = random.randint(1, 3)
            time.sleep(time1 + time2)

    # 获取“下一页”按钮并点击进行翻页
    def get_next_page(self):
        try:
            page = self.driver.find_element_by_class_name('nextLink')
            page.click()
        except Exception as e:
            return False
        return True

    # 在登录页进行登录
    def login(self):
        # 莫名其妙有时根据ID获取不到邮箱填写框，出错时根据xpath再找一次
        try:
            email = self.driver.find_element_by_id('email')
        except NoSuchElementException as e:
            email = self.driver.find_element_by_class_name('ipt')
        # email = self.driver.find_element_by_xpath('/html/body/div[4]/div/form/div/p[1]/input')
        passwd = self.driver.find_element_by_id('password')
        code = self.driver.find_element_by_id('myCode')
        code_password = self.get_code1()
        email.clear()
        # 怕填写太快，添加延时
        for i in self.login_email:
            email.send_keys(i)
            time.sleep(random.random())
        for i in self.login_password:
            passwd.send_keys(i)
            time.sleep(random.random())
        for i in code_password:
            code.send_keys(i)
            time.sleep(random.random())
        time.sleep(5)
        # 找到登录按钮点击登录
        login = self.driver.find_element_by_xpath('/html/body/div[4]/div/form/div/p[5]/a/span')
        login.click()
        time.sleep(2)
        # 如果捕捉到“验证码错误”，则重新进行填写登录
        try:
            code_err = self.driver.find_element_by_id('myCode_error')
            #重新填写
            self.login()
        except:
            time.sleep(2)
            self.driver.get(self.url)
            return True

    # 如果flag为0则全量下载，如果flag为1则只下载最新的一个文件
    def run(self, flag=0):
        self.driver.get(self.url)
        if self.login():
            while True:
                self.get_file(flag=flag)
                time.sleep(2)
                if flag == 1:
                    break
                result = self.get_next_page()

                if not result:
                    break
            self.driver.close()
            self.driver.quit()

if __name__ == '__main__':
    if len(sys.argv) != 2:
        print('请添加参数 init：初始化规则库 update：更新规则库')
        sys.exit()
    get_cnvd_rule = DownloadCnvd()
    if sys.argv[1] == 'init':
        get_cnvd_rule.run()
    elif sys.argv[1] == 'update':
        get_cnvd_rule.run(1)
    else:
        print('请添加参数 init：初始化规则库 update：更新规则库')
    #get_cnvd_rule = DownloadCnvd()
    #get_cnvd_rule.run()