MIT 2012分布式课程基础源码解析-线程池实现
主要内容
在正式讲解线程池实现之前,先讲解两个有用的工具类:
- ScopedLock
- fifo队列
ScopedLock:
ScopedLock是局域锁的实现(我也不知道叫什么,姑且这么说吧),它使用了C++中RAII(Resource acquisition is initialization资源获取即初始化),这种技巧实现的锁可在代码块开始处初始化锁,在代码块结束处释放锁,可省去try catch这样的语句,具体实现如下:
struct ScopedLock {
private:
pthread_mutex_t *m_;
public:
ScopedLock(pthread_mutex_t *m): m_(m) {
VERIFY(pthread_mutex_lock(m_)==);
}
~ScopedLock() {
VERIFY(pthread_mutex_unlock(m_)==);
}
};
其中宏VERIFY定义如下,这时贯穿于整个项目并最常用的一个宏:
#ifdef NDEBUG
#define VERIFY(expr) do { if (!(expr)) abort(); } while (0)
#else
#define VERIFY(expr) assert(expr)
#endif
ScopedLock的使用方法如下:
void func() {
......
{
ScopedLock lock(&m_);
......
}
......
}
在代码块{}定义一个lock变量即可,在}处便能自动调用析构函数,从而自动释放锁,这种技巧在《c++必知必会》中也是强烈推荐的一种技巧。
fifo队列实现
代码中的fifo队列实现了简单生产者消费者模型,提供了阻塞非阻塞选项,实现代码在fifo.h文件下,我们首先看看类定义:
template<class T>
class fifo {
public:
fifo(int m=); //默认limit为了,即代表队列大小无限制
~fifo();
//默认实现为阻塞队列
bool enq(T, bool blocking=true); //入队,默认为阻塞
void deq(T *); //出队
bool size(); //队列大小 private:
std::list<T> q_; //队列
pthread_mutex_t m_; //互斥量保护队列
pthread_cond_t non_empty_c_; // q went non-empty
pthread_cond_t has_space_c_; // q is not longer overfull
unsigned int max_; //maximum capacity of the queue, block enq threads if exceeds this limit
};
该实现仅是对C++ STL的list进行了简单的封装,在这基础上增加了些条件变量控制,我们主要看enq和deq的实现。
template<class T> bool
fifo<T>::enq(T e, bool blocking)
{
//使用了局域锁,在函数返回之前便会释放锁
ScopedLock ml(&m_);
while () {
//当limit = 0(即代表大小无限制时),插入元素
//或当队列大小小于max_时,插入元素
if (!max_ || q_.size() < max_) {
q_.push_back(e);
break;
}
if (blocking) //若为阻塞队列且队列中没有空间容纳新元素,则等待消费者取走元素
VERIFY(pthread_cond_wait(&has_space_c_, &m_) == );
else //若不是阻塞队列,当队列中没有空间可容纳新元素时,立即返回false
return false;
}
//现在队列中至少有一个元素,通知其它等待在该条件变量上的线程(生产者)
VERIFY(pthread_cond_signal(&non_empty_c_) == );
return true;
} template<class T> void
fifo<T>::deq(T *e)
{
ScopedLock ml(&m_); while() {
//当队列为空时,等待
if(q_.empty()){
VERIFY (pthread_cond_wait(&non_empty_c_, &m_) == );
} else { //否则,取出头部元素,注意函数中传入的参数是个指针
*e = q_.front();
q_.pop_front();
if (max_ && q_.size() < max_) { //通知其它线程队列中现在至少有一个空位
VERIFY(pthread_cond_signal(&has_space_c_)==);
}
break;
}
}
return;
}
这样一个简单的fifo队列便实现了,它也是后面线程池实现的一个重要环节。
线程池实现
线程池实现中技巧性要求有点高,其中涉及函数指针、类指针、函数对象以及回调等技巧。首先我们来看它的定义,见thr_pool.h文件:
class ThrPool { public:
struct job_t {
void *(*f)(void *); //function point
void *a; //function arguments
}; ThrPool(int sz, bool blocking=true); //默认使用阻塞队列
~ThrPool();
//添加工作,其中第一个参数是一个类指针,第二个参数是一个类函数,其参数是一个类型A,
//第三个参数是第二个类函数指针的参数类型变量
template<class C, class A> bool addObjJob(C *o, void (C::*m)(A), A a);
void waitDone();
//获得Job
bool takeJob(job_t *j); private:
pthread_attr_t attr_;
int nthreads_; //线程数目
bool blockadd_; fifo<job_t> jobq_; //job队列
std::vector<pthread_t> th_; //线程数组
//私有类,供addObjJob内部调用
bool addJob(void *(*f)(void *), void *a);
}; template <class C, class A> bool
ThrPool::addObjJob(C *o, void (C::*m)(A), A a)
{
//内部类,隐藏了实现细节
class objfunc_wrapper {
public:
C *o; //类指针,也即第一个变量
void (C::*m)(A a); //类函数
A a;
static void *func(void *vvv) {
//将vvv转换为objfunc_wrapper类
objfunc_wrapper *x = (objfunc_wrapper*)vvv;
//将转换后的各变量赋值给本类中的各变量
C *o = x->o;
void (C::*m)(A ) = x->m;
A a = x->a;
(o->*m)(a); //执行函数,回调的执行
delete x; //
return ;
}
}; objfunc_wrapper *x = new objfunc_wrapper;
x->o = o;
x->m = m;
x->a = a;
//添加工作回调函数
return addJob(&objfunc_wrapper::func, (void *)x);
}
看上面的实现特别是addObjJob,确认令人惊叹(大神忽略),这样工作类即可很容易的添加进去,使用线程池时也会更加方便,仅需实现相应的工作类及工作类的回调函数即可。接下来我们看thr_pool.cc文件中的具体实现:
//线程执行方法,while循环中获取队列中的工作,因为队列默认是阻塞队列
//线程在没获取到工作时,将阻塞在相应的条件变量上
static void *
do_worker(void *arg)
{
ThrPool *tp = (ThrPool *)arg; //将this转换为ThrPool指针
while () {
ThrPool::job_t j;
if (!tp->takeJob(&j))
break; //die (void)(j.f)(j.a); //执行工作
}
pthread_exit(NULL);
} //if blocking, then addJob() blocks when queue is full
//otherwise, addJob() simply returns false when queue is full
ThrPool::ThrPool(int sz, bool blocking)
: nthreads_(sz),blockadd_(blocking),jobq_(*sz)
{
pthread_attr_init(&attr_);
pthread_attr_setstacksize(&attr_, <<); for (int i = ; i < sz; i++) {
pthread_t t;
//注意这里函数是do_worker,添加的参数为this,这样在do_worker函数中方便取出更多的信息
VERIFY(pthread_create(&t, &attr_, do_worker, (void *)this) ==);
th_.push_back(t);
}
} //IMPORTANT: this function can be called only when no external thread
//will ever use this thread pool again or is currently blocking on it
ThrPool::~ThrPool()
{
for (int i = ; i < nthreads_; i++) {
job_t j;
j.f = (void *(*)(void *))NULL; //poison pill to tell worker threads to exit
jobq_.enq(j);
} for (int i = ; i < nthreads_; i++) {
VERIFY(pthread_join(th_[i], NULL)==);
} VERIFY(pthread_attr_destroy(&attr_)==);
} //添加工作的私有类,初始化job_t类,并添加到队列中
bool
ThrPool::addJob(void *(*f)(void *), void *a)
{
job_t j;
j.f = f;
j.a = a; return jobq_.enq(j,blockadd_);
} //获取队列中的工作回调,注意传入的是指针
bool
ThrPool::takeJob(job_t *j)
{
jobq_.deq(j);
return (j->f!=NULL);
}
该线程池的实现确认令人咋舌,很巧妙的将回调类转换成了内部的job_t类,也不失为一个很好的c++学习案例。
使用该线程池很简单,只需定义好相应的事件回调类,然后初始化线程池,再将回调类添加(addObjJob)到线程池中即可
MIT 2012分布式课程基础源码解析-线程池实现的更多相关文章
- MIT 2012分布式课程基础源码解析一-源码概述
课程主页 课程介绍:本课程会在给出的源码的基础上要求完成8个lab Lab overviewLab 1 - Lock ServerLab 2 - Basic File ServerLab 3 - MK ...
- MIT 2012 分布式课程基础源码解析-底层通讯实现
本节内容和前节事件管理封装是息息相关的,本节内容主要包含的代码在connection{.h, .cc}中. 这里面最主要的有两个类:connection类和tcpsconn类,connetion类主要 ...
- MIT 2012分布式课程基础源码解析-事件管理封装
这部分的内容主要包括Epoll/select的封装,在封装好相应函数后,再使用一个类来管理相应事件,实现的文件为pollmgr.{h, cc}. 事件函数封装 可看到pollmgr.h文件下定一个了一 ...
- nginx源码分析线程池详解
nginx源码分析线程池详解 一.前言 nginx是采用多进程模型,master和worker之间主要通过pipe管道的方式进行通信,多进程的优势就在于各个进程互不影响.但是经常会有人问道,n ...
- Elasticsearch源码分析—线程池(十一) ——就是从队列里处理请求
Elasticsearch源码分析—线程池(十一) 转自:https://www.felayman.com/articles/2017/11/10/1510291570687.html 线程池 每个节 ...
- JUC源码分析-线程池篇(三)ScheduledThreadPoolExecutor
JUC源码分析-线程池篇(三)ScheduledThreadPoolExecutor ScheduledThreadPoolExecutor 继承自 ThreadPoolExecutor.它主要用来在 ...
- JUC源码分析-线程池篇(二)FutureTask
JUC源码分析-线程池篇(二)FutureTask JDK5 之后提供了 Callable 和 Future 接口,通过它们就可以在任务执行完毕之后得到任务的执行结果.本文从源代码角度分析下具体的实现 ...
- JUC源码分析-线程池篇(三)Timer
JUC源码分析-线程池篇(三)Timer Timer 是 java.util 包提供的一个定时任务调度器,在主线程之外起一个单独的线程执行指定的计划任务,可以指定执行一次或者反复执行多次. 1. Ti ...
- JUC源码分析-线程池篇(一):ThreadPoolExecutor
JUC源码分析-线程池篇(一):ThreadPoolExecutor Java 中的线程池是运用场景最多的并发框架,几乎所有需要异步或并发执行任务的程序都可以使用线程池.在开发过程中,合理地使用线程池 ...
随机推荐
- WIX在VS2012中如何制作中文安装包
WIX安装图文并茂简易说明一文中介绍了WIX安装包的制作过程,不过生成的是英文版的,如果需要制作中文版的安装包呢? 方法很简单,只需要两步. 1.增加中文UI的文件WixUI_zh-cn.wxl到工程 ...
- iOS开发——UI篇OC篇&UITableView多项选择
UITableView多项选择 自定义cell和取到相应的cell就行了 TableViewCell.h #import <UIKit/UIKit.h> @interface TableV ...
- insert erase和replace的例子
9.43 编写一个函数,接受三个string参数s.oldVal和newVal.使用迭代器及insert和erase函数将s中所有oldval替换为newVal.测试程序,用它替换通用的简写形式,如, ...
- Google stuff
Google Pro Tip: Use Back-of-the-envelope-calculations to Choose the Best Design - High Scalability - ...
- 学通javaweb 24堂课 学习笔记
17.01:简单配置控制器 1.一个controller protected ModelAndView handleRequestInternal(HttpServletRequest request ...
- ios代理设计模式
代理设计模式的作用: 1.A对象监听B对象的一些行为,A成为B的代理 2.B对象想告诉A对象一些事情,A成为B的代理 代理设计模式的总结: 如果你想监听别人的一些行为,那么 ...
- aggregations 详解1(概述)
aggregation分类 aggregations —— 聚合,提供了一种基于查询条件来对数据进行分桶.计算的方法.有点类似于 SQL 中的 group by 再加一些函数方法的操作. 聚合可以嵌套 ...
- VSPackge插件系列:简单文本编辑器的实现
相比其它开发环境,VS的好用就不用多说了,尽管VS很人性化,但是针对具体的我们想实现的功能时,会力不从心,也许会有很多现成的插件,但是作为一名程序员,我还是喜欢自己去写一些东西,因为这样能随心所欲的想 ...
- Oracle恢复已删除数据
Oracle恢复已删除的数据,主要有两种方法:SCN和时间戳. 一.通过SCN恢复删除且已提交的数据 1.获得当前数据库的scn号 select current_scn from v$database ...
- Ubuntu 安装php mcrypt
sudo apt-get install php5-mcrypt libmcrypt4 libmcrypt-dev sudo php5enmod mcrypt sudo /etc/init.d/apa ...