线程池:简单地说,线程池 就是预先创建好一批线程,方便、快速地处理收到的业务。比起传统的到来一个任务,即时创建一个线程来处理,节省了线程的创建和回收的开销,响应更快,效率更高。

在linux中,使用的是posix线程库,首先介绍几个常用的函数:

1 线程的创建和取消函数

pthread_create

创建线程

pthread_join

合并线程

pthread_cancel

取消线程

2 线程同步函数

pthread_mutex_lock

pthread_mutex_unlock

pthread_cond_signal

pthread_cond_wait

关于函数的详细说明,参考man手册

线程池的实现:

线程池的实现主要分为三部分,线程的创建、添加任务到线程池中、工作线程从任务队列中取出任务进行处理。

主要有两个类来实现,CTask,CThreadPool

/**
执行任务的类,设置任务数据并执行
**/
class CTask
{
protected:
 string m_strTaskName;  //任务的名称
 void* m_ptrData;       //要执行的任务的具体数据
public:
 CTask(){}
 CTask(string taskName)
 {
  this->m_strTaskName = taskName;
  m_ptrData = NULL;
 }
 virtual int Run()= 0;
 void SetData(void* data);    //设置任务数据
};

任务类是个虚类,所有的任务要从CTask类中继承 ,实现run接口,run接口中需要实现的就是具体解析任务的逻辑。m_ptrData是指向任务数据的指针,可以是简单数据类型,也可以是自定义的复杂数据类型。

线程池类

/**
线程池
**/
class CThreadPool
{
private:
 vector<CTask*> m_vecTaskList;         //任务列表
 int m_iThreadNum;                            //线程池中启动的线程数          
 static vector<pthread_t> m_vecIdleThread;   //当前空闲的线程集合
 static vector<pthread_t> m_vecBusyThread;   //当前正在执行的线程集合
 static pthread_mutex_t m_pthreadMutex;    //线程同步锁
 static pthread_cond_t m_pthreadCond;    //线程同步的条件变量
protected:
 static void* ThreadFunc(void * threadData); //新线程的线程函数
 static int MoveToIdle(pthread_t tid);   //线程执行结束后,把自己放入到空闲线程中
 static int MoveToBusy(pthread_t tid);   //移入到忙碌线程中去
 int Create();          //创建所有的线程
public:
 CThreadPool(int threadNum);
 int AddTask(CTask *task);      //把任务添加到线程池中
 int StopAll();
};

当线程池对象创建后,启动一批线程,并把所有的线程放入空闲列表中,当有任务到达时,某一个线程取出任务并进行处理。

线程之间的同步用线程锁和条件变量。

这个类的对外接口有两个:

AddTask函数把任务添加到线程池的任务列表中,并通知线程进行处理。当任务到到时,把任务放入m_vecTaskList任务列表中,并用pthread_cond_signal唤醒一个线程进行处理。

StopAll函数停止所有的线程

************************************************

代码:

××××××××××××××××××××CThread.h

#ifndef __CTHREAD
#define __CTHREAD
#include <vector>
#include <string>
#include <pthread.h>

using namespace std;

/**
执行任务的类,设置任务数据并执行
**/
class CTask
{
protected:
 string m_strTaskName;  //任务的名称
 void* m_ptrData;       //要执行的任务的具体数据
public:
 CTask(){}
 CTask(string taskName)
 {
  this->m_strTaskName = taskName;
  m_ptrData = NULL;
 }
 virtual int Run()= 0;
 void SetData(void* data);    //设置任务数据
};

/**
线程池
**/
class CThreadPool
{
private:
 vector<CTask*> m_vecTaskList;         //任务列表
 int m_iThreadNum;                            //线程池中启动的线程数          
 static vector<pthread_t> m_vecIdleThread;   //当前空闲的线程集合
 static vector<pthread_t> m_vecBusyThread;   //当前正在执行的线程集合
 static pthread_mutex_t m_pthreadMutex;    //线程同步锁
 static pthread_cond_t m_pthreadCond;    //线程同步的条件变量
protected:
 static void* ThreadFunc(void * threadData); //新线程的线程函数
 static int MoveToIdle(pthread_t tid);   //线程执行结束后,把自己放入到空闲线程中
 static int MoveToBusy(pthread_t tid);   //移入到忙碌线程中去
 int Create();          //创建所有的线程
public:
 CThreadPool(int threadNum);
 int AddTask(CTask *task);      //把任务添加到线程池中
 int StopAll();
};

#endif

类的实现为:

××××××××××××××××××××CThread.cpp

#include "CThread.h"
#include <string>
#include <iostream>

using namespace std;

void CTask::SetData(void * data)
{
 m_ptrData = data;
}

vector<pthread_t> CThreadPool::m_vecBusyThread;
vector<pthread_t> CThreadPool::m_vecIdleThread;
pthread_mutex_t CThreadPool::m_pthreadMutex = PTHREAD_MUTEX_INITIALIZER;
pthread_cond_t CThreadPool::m_pthreadCond = PTHREAD_COND_INITIALIZER;

CThreadPool::CThreadPool(int threadNum)
{
 this->m_iThreadNum = threadNum;
 Create();
}
int CThreadPool::MoveToIdle(pthread_t tid)
{
 vector<pthread_t>::iterator busyIter = m_vecBusyThread.begin();
 while(busyIter != m_vecBusyThread.end())
 {
  if(tid == *busyIter)
  {
   break;
  }
  busyIter++;
 }
 m_vecBusyThread.erase(busyIter);
 m_vecIdleThread.push_back(tid);
 return 0;
}

int CThreadPool::MoveToBusy(pthread_t tid)
{
 vector<pthread_t>::iterator idleIter = m_vecIdleThread.begin();
 while(idleIter != m_vecIdleThread.end())
 {
  if(tid == *idleIter)
  {
   break;
  }
  idleIter++;
 }
 m_vecIdleThread.erase(idleIter);
 m_vecBusyThread.push_back(tid);
 return 0;
}
void* CThreadPool::ThreadFunc(void * threadData)
{
 pthread_t tid = pthread_self();
 while(1)
 {
  pthread_mutex_lock(&m_pthreadMutex);
  pthread_cond_wait(&m_pthreadCond,&m_pthreadMutex);
  cout << "tid:" << tid << " run" << endl;
  //get task
  vector<CTask*>* taskList = (vector<CTask*>*)threadData;
  vector<CTask*>::iterator iter = taskList->begin();
  while(iter != taskList->end())
  {
   
   MoveToBusy(tid);
   break;
  }
  CTask* task = *iter;
  taskList->erase(iter);
  pthread_mutex_unlock(&m_pthreadMutex);
  cout << "idel thread number:" << CThreadPool::m_vecIdleThread.size() << endl;
  cout << "busy thread number:" << CThreadPool::m_vecBusyThread.size() << endl;
  //cout << "task to be run:" << taskList->size() << endl;
  task->Run();
  
  //cout << "CThread::thread work" << endl;
  cout << "tid:" << tid << " idle" << endl;
  
 }
 return (void*)0;
}

int CThreadPool::AddTask(CTask *task)
{
 this->m_vecTaskList.push_back(task);
 pthread_cond_signal(&m_pthreadCond);
 return 0;
}
int CThreadPool::Create()
{
 for(int i = 0; i < m_iThreadNum;i++)
 {
  pthread_t tid = 0;
  pthread_create(&tid,NULL,ThreadFunc,&m_vecTaskList);
  m_vecIdleThread.push_back(tid);
 }
 return 0;
}

int CThreadPool::StopAll()
{
 vector<pthread_t>::iterator iter = m_vecIdleThread.begin();
 while(iter != m_vecIdleThread.end())
 {
  pthread_cancel(*iter);
  pthread_join(*iter,NULL);
  iter++;
 }

iter = m_vecBusyThread.begin();
 while(iter != m_vecBusyThread.end())
 {
  pthread_cancel(*iter);
  pthread_join(*iter,NULL);
  iter++;
 }
 
 return 0;
}

简单示例:

××××××××test.cpp

#include "CThread.h"
#include <iostream>

using namespace std;

class CWorkTask: public CTask
{
public:
 CWorkTask()
 {}
 int Run()
 {
  cout << (char*)this->m_ptrData << endl;
  sleep(10);
  return 0;
 }
};
int main()
{
 CWorkTask taskObj;
 char szTmp[] = "this is the first thread running,haha success";
 taskObj.SetData((void*)szTmp);
 CThreadPool threadPool(10);
 for(int i = 0;i < 11;i++)
 {
  threadPool.AddTask(&taskObj);
 }
 while(1)
 {
  sleep(120);
 }
 return 0;
}

Linux下通用线程池的创建与使用的更多相关文章

  1. Linux下简单线程池的实现

    大多数的网络服务器,包括Web服务器都具有一个特点,就是单位时间内必须处理数目巨大的连接请求,但是处理时间却是比较短的.在传统的多线程服务器模型中是这样实现的:一旦有个服务请求到达,就创建一个新的服务 ...

  2. 一个Linux下C线程池的实现

    什么时候需要创建线程池呢?简单的说,如果一个应用需要频繁的创建和销毁线程,而任务执行的时间又非常短,这样线程创建和销毁的带来的开销就不容忽视,这时也是线程池该出场的机会了.如果线程创建和销毁时间相比任 ...

  3. linux下的线程池

    什么时候需要创建线程池呢?简单的说,如果一个应用需要频繁的创建和销毁线程,而任务执行的时间又非常短,这样线程创建和销毁的带来的开销就不容忽视,这时也是线程池该出场的机会了.如果线程创建和销毁时间相比任 ...

  4. Linux下简易线程池

    线程池简介 线程池是可以用来在后台执行多个任务的线程集合. 这使主线程可以自由地异步执行其他任务.线程池通常用于服务器应用程序. 每个传入请求都将分配给线程池中的一个线程,因此可以异步处理请求,而不会 ...

  5. Windows和Linux下通用的线程接口

    对于多线程开发,Linux下有pthread线程库,使用起来比较方便,而Windows没有,对于涉及到多线程的跨平台代码开发,会带来不便.这里参考网络上的一些文章,整理了在Windows和Linux下 ...

  6. Linux下查看线程数的几种方法汇总

    Linux下查看线程数的几种方法汇总 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Linux下查看某个进程的线程数量 pstree命令以树状图显示进程间的关系(display ...

  7. Java线程池的创建详解

    本篇文章主要总结了Java创建线程池的三种方式以及线程池参数的详细说明,对线程池感兴趣的同学可以作为参考学习. 1)通过工具类java.util.concurrent.Executors的静态方法来创 ...

  8. JAVA线程池的创建与使用

    为什么要用线程池? 我们都知道,每一次创建一个线程,JVM后面的工作包括:为线程建立虚拟机栈.本地方法栈.程序计数器的内存空间(下图可看出),所以线程过多容易导致内存空间溢出.同时,当频繁的创建和销毁 ...

  9. Linux网络通信(线程池和线程池版本的服务器代码)

    线程池 介绍 线程池: 一种线程使用模式.线程过多会带来调度开销,进而影响缓存局部性和整体性能.而线程池维护着多个线程,等待着监督管理者分配可并发执行的任务.这避免了在处理短时间任务时创建与销毁线程的 ...

随机推荐

  1. Android之与当前连接的wifi进行文件夹的浏览与传输

    先上传jar文件:ConnectWifi.jar.zip 上传源文件:org.zip 使用实例及相应的注释: import java.io.File; import java.net.InetAddr ...

  2. Informatica 常用组件Lookup缓存之三 重建查找高速缓存

    如果您认为查找源在 PowerCenter 上次构建高速缓存时已更改,则可指示 PowerCenter 重建查找高速缓存. 重建高速缓存时,PowerCenter 会覆盖现有永久高速缓存文件而创建新的 ...

  3. 第二十三章 springboot + 全局异常处理

    一.单个controller范围的异常处理 package com.xxx.secondboot.web; import org.springframework.web.bind.annotation ...

  4. C/C++中printf/cout 计算顺序与缓冲区问题

    1.printf/cout在同一个语句中都是从右向左计算的. 看如下的代码: #include <stdio.h> int main() { ; printf("%d %d&qu ...

  5. Framework连接oracle数据库以及Cognos服务器出现错误

     1:Framework连接oracle数据库时出现下面错误信息 环境: win2008R2 cognos10.2.1, 服务器上已经安装oracle11.2 content manager连接的也是 ...

  6. Boosted Tree

    原文:http://www.52cs.org/?p=429 作者:陈天奇,毕业于上海交通大学ACM班,现就读于华盛顿大学,从事大规模机器学习研究. 注解:truth4sex  编者按:本文是对开源xg ...

  7. 图像处理MATLAB源代码

    图像反转 I=imread('nickyboom.jpg'); J=double(I); J=-J+(256-1);                 %图像反转线性变换 H=uint8(J); sub ...

  8. EM算法求高斯混合模型參数预计——Python实现

    EM算法一般表述:       当有部分数据缺失或者无法观察到时,EM算法提供了一个高效的迭代程序用来计算这些数据的最大似然预计.在每一步迭代分为两个步骤:期望(Expectation)步骤和最大化( ...

  9. 灰度图像二值化-----c++实现

    前天闲着没事干,就写了写BMP图像处理,感觉大家还比较感兴趣..所以现在没事,继续更新..这次简单的写了灰度图像二值化..这是什么概念呢? 图像的二值化的基本原理 图像的二值化处理就是将图像上的点的灰 ...

  10. PHP 表单 - 5(完整表单实例)

    PHP 完整表单实例 本章节将介绍如何让用户在点击"提交(submit)"按钮提交数据前保证所有字段正确输入. PHP - 在表单中确保输入值 在用户点击提交按钮后,为确保字段值是 ...