【Python】多线程-线程池使用

1、学习目标

线程池使用

2、编程思路

2.1 代码原理

线程池是预先创建线程的一种技术。线程池在还没有任务到来之前，创建一定数量的线程，放入空闲队列中。这些线程都是处于睡眠状态，即均为启动，不消耗 CPU，而只是占用较小的内存空间。当请求到来之后，缓冲池给这次请求分配一个空闲线程，把请求传入此线程中运行，进行处理。当预先创建的线程都处于运行状态，即预制线程不够，线程池可以自由创建一定数量的新线程，用于处理更多的请求。当系统比较闲的时候，也可以通过移除一部分一直处于停用状态的线程。

一个典型的线程池，应该包括如下几个部分：

1、线程池管理器（ThreadPool），用于启动、停用，管理线程池

2、工作线程（WorkThread），线程池中的线程

3、请求接口（WorkRequest），创建请求对象，以供工作线程调度任务的执行

4、请求队列（RequestQueue）,用于存放和提取请求

5、结果队列（ResultQueue）,用于存储请求执行后返回的结果

2.2 编写细节

1、定制线程数

ThreadPool(poolsize)

例如定制20个线程数：

ThreadPool（20）

2、创建要开启多线程的函数

makeRequests(some_callable, list_of_args, callback)

some_callable：开启多线程的函数

list_of_args：函数相关参数

callback：回调函数

3、运行多线程的请求扔进线程池

第三步将多线程请求丢进线程池，官方说明是一行代码：

[pool.putRequest(req) for req in requests]

这行代码如果用简单容易理解的编写方式去写那就相当于：

for req in requests:

    pool.putRequest(req)

然后丢进线程池后，还有一个退出的函数。

pool.wait()

例子：

>>> pool = ThreadPool(poolsize)                                        # 定制线程数

>>> requests = makeRequests(some_callable, list_of_args, callback)     # 创建要开启多线程的函数

>>> [pool.putRequest(req) for req in requests]                         # 将多线程的请求扔进线程池

>>> pool.wait()                                                        # 等待所有的线程完成工作后退出

3 实现代码



#!/usr/bin/env python

# -*- coding:utf-8 -*-

import json

import threading

import requests

import urllib2

import sys

import threading

from time import ctime,sleep

import threadpool

# 主要执行函数

def main():

    f = open("target.txt")

    line = f.readlines()

    global g_list

    g_list = []

    urllist = []

    for url in line:

        url = url.rstrip()                      #  读取文本

        urllist.append(url)                     #  保存url的列表

    thread_requestor(urllist)                   # 线程池函数

    f = open('vulurl.txt','w')

    for q in g_list:                            # 保存线程回调函数的值到vulurl.txt中

        f.write(q+"\n")

    f.close()

# 回调函数的结果保存到g_list数组中

def res_printer(res1,res2):

    if res2:

        #print ('"线程返回的地址 = " %s ')% res2

        g_list.append(res2)

    else:

        pass

# 线程池函数

def thread_requestor(urllist):

    pool =  threadpool.ThreadPool(200)                                    # 线程池数量

    reqs =  threadpool.makeRequests(getScan,urllist,res_printer)          # 使用线程池

    [pool.putRequest(req) for req in reqs]                                # 简写 for req in reqs pool.putRequest(req)

    pool.wait()

# 检测HTTP状态码函数

def getScan(url):

    try:

        requests.packages.urllib3.disable_warnings()                      # 忽略HTTPS连接错误的警告

        status = requests.get(url, proxies=None, timeout=3,verify=False)  # 获取HTTP状态码

        print "scanning " + url + "\n"                                    # 正在扫描的地址

        if status.status_code == 200:                                     # 访问成功的网站可以返回

            return url

        else:

            pass

    except:

        pass

if __name__ == "__main__":

    main()

4、参考文章

python（13）多线程：线程池，threading

http://www.cnblogs.com/lovychen/p/5411743.html

Threadpool

https://chrisarndt.de/projects/threadpool/