转眼间离15年的春节越来越近了,还有两周的工作时间貌似心已经不在异乡了,期待与家人团聚的日子,当然最后两周也得坚持站好最后一班岗,另外期待的日子往往是心里不能平静的,越是想着过年,反而日子过得越慢,于是乎,还是用学习来充斥这些碎片时间,当人一充实,时间也就过得快了,继续学习:

上次中已经用互斥锁与条件变量来改造了生产者与消费者问题,这次利用它来实现一个线程池,加强对条件变量及互斥锁的认识,下面开始:

关于什么是线程池,这里就不多说了,应该基本都在实际中用到过,下面关于线程池实现有几个点需要说明一下:

线程池,顾名思义就是拥有若干个线程,对于线程的个数是有严格的要求的,并非越多越好,太多了会增加系统的开销,太少了又会降低并发量。

执行时间较长的任务是不太适合放在线程池中进行处理,比如说:线程的执行时间跟进程的生命周期是一致的,那么这个任务的执行就没必要放到线程池中进行,直接用普通的线程既可。

那线程池当中的线程个数究竟存放多少个比较合适呢?实际上这跟任务类型有关系:

①、计算密集型任务:一般这个任务是占用CPU的,它很少被外界的事件打断,这时线程个数 = CPU个数,如果线程个数>CPU个数,由于CPU的个数是一定的,那么能够并发的数目也是一定的,所以会用少量的CPU个数来调度多个线程,这肯定会涉及到线程与线程之间的切换开销,因而会降低效率。

②、I/O密集型任务:这种任务在运行时,可能会被I/O中断,也就是说这个线程会挂起,这时线程个数 > CPU个数

那接下来先了解一下线程池实现中,需要用到的结构体:

下面则开始实现,首先在头文件中定义上面的数据结构:

其中用到了条件变量,这里对条件变量进行了简单的封装,所以先来看下是如何封装的:

从声明的这些函数中很容易就能想到它们的各个实现:

condition.c:

#include "condition.h"

//初使化条件变量,可想而知是对互斥锁和条件变量进行初始化
int condition_init(condition_t *cond)
{
int status;
if ((status = pthread_mutex_init(&cond->pmutex, NULL)))
return status; if ((status = pthread_cond_init(&cond->pcond, NULL)))
return status; return ;
} //对互斥锁进行锁定
int condition_lock(condition_t *cond)
{
return pthread_mutex_lock(&cond->pmutex);
} //对互斥锁进行解锁
int condition_unlock(condition_t *cond)
{
return pthread_mutex_unlock(&cond->pmutex);
} //在条件变量上等待条件
int condition_wait(condition_t *cond)
{
return pthread_cond_wait(&cond->pcond, &cond->pmutex);
} //具有超时功能的等待功能
int condition_timedwait(condition_t *cond, const struct timespec *abstime)
{
return pthread_cond_timedwait(&cond->pcond, &cond->pmutex, abstime);
} //向等待线程发起一个通知
int condition_signal(condition_t *cond)
{
return pthread_cond_signal(&cond->pcond);
} //向等待线程发起广播
int condition_broadcast(condition_t* cond)
{
return pthread_cond_broadcast(&cond->pcond);
} //销毁条件变量
int condition_destroy(condition_t* cond)
{
int status;
if ((status = pthread_mutex_destroy(&cond->pmutex)))
return status; if ((status = pthread_cond_destroy(&cond->pcond)))
return status; return ;
}

接着来实现一下线程池:

在正式实现这些函数之前,其实可以先从使用者的角度来看,如何使用这些线程池,如下:

其实这是典型的“测试驱动开发”,先编写好测试代码,然后再来从使用的角度去具体实现,下面则开始具体实现线程池相应的方法:

接下来实现往线程池中添加任务:

其添加过程是从尾部进行添加的,其实就是单链表的应用。

这里需要注意一个问题,就是在使用条件变量之前是需要对进行互斥的,因为队列资源是生产者与消费者都可以访问的,所以需要互斥:

接下来来处理线程的执行入口函数,线程应该是等待任务并且处理任务,也就是它是一个消费者线程:

下面来编译运行一下,在运行之后,需要在main函数中做一下sleep:

而分析一下输出结果:

而且是经过15秒之后,则进程退出了,但是有个问题,就是当任务执行完了,应该线程也能动态减少,目前当任务执行完了之后,所有线程都还在,也就是需要看到这样的输出:

但是目前看不到这样的状态,而是等到进程退出来线程才销毁,所以需要对代码进行改进,这时就需要用到等待超时的一个函数:

也就是如果线程等待超时了,则代表没有任务了,则该线程就可以销毁了,所以将condition_wait需要换成condition_timedwait函数:

查看一相man帮助:

下面来改造一下:

【说明】:获取当前时间可以用函数clock_gettime:

下面再来做超时处理:

好了下面再来运行一下:

从结果中可以看出:

接下来就剩最后一个销毁方法没有实现了,而main中的sleep则可以去掉了:

其中看到有等待条件变量,那是谁来通知该条件变量呢,当然是在任务执行时,于时需要修改任务执行线程里面的代码:

下面再来编译运行一下,在运行之前,可以将之前的休眠代码去掉了:

下面再来看下最终效果:

可见当线程任务都执行完了,所有的线程也销毁了,这样代码就是比较合理的,好了今天的逻辑有些复杂,需好好消化。

linux网络编程之简单的线程池实现的更多相关文章

  1. linux网络编程-一个简单的线程池(41)

    有时我们会需要大量线程来处理一些相互独立的任务,为了避免频繁的申请释放线程所带来的开销,我们可以使用线程池 1.线程池拥有若干个线程,是线程的集合,线程池中的线程数目有严格的要求,用于执行大量的相对短 ...

  2. Linux C 实现一个简单的线程池

    线程池的定义 线程池是一种多线程处理形式,处理过程中将任务添加到队列,然后在创建线程后自动启动这些任务.线程池线程都是后台线程.每个线程都使用默认的堆栈大小,以默认的优先级运行,并处于多线程单元中.如 ...

  3. Linux网络编程:一个简单的正向代理服务器的实现

    Linux是一个可靠性非常高的操作系统,但是所有用过Linux的朋友都会感觉到, Linux和Windows这样的"傻瓜"操作系统(这里丝毫没有贬低Windows的意思,相反这应该 ...

  4. Linux网络编程简单示例

    linux 网络编程是通过socket(套接字)接口实现,Socket是一种文件描述符,socket起源于UNIX,在Unix一切皆文件哲学的思想下,socket是一种"打开—读/写—关闭& ...

  5. Linux 网络编程的5种IO模型:多路复用(select/poll/epoll)

    Linux 网络编程的5种IO模型:多路复用(select/poll/epoll) 背景 我们在上一讲 Linux 网络编程的5种IO模型:阻塞IO与非阻塞IO中,对于其中的 阻塞/非阻塞IO 进行了 ...

  6. Linux 网络编程的5种IO模型:异步IO模型

    Linux 网络编程的5种IO模型:异步IO模型 资料已经整理好,但是还有未竟之业:复习多路复用epoll 阅读例程, 异步IO 函数实现 背景 上一讲< Linux 网络编程的5种IO模型:信 ...

  7. 【linux草鞋应用编程系列】_5_ Linux网络编程

    一.网络通信简介   第一部分内容,暂时没法描述,内容实在太多,待后续专门的系列文章.   二.linux网络通信     在linux中继承了Unix下“一切皆文件”的思想, 在linux中要实现网 ...

  8. linux网络编程基础--(转自网络)

    转自 http://www.cnblogs.com/MyLove-Summer/p/5215287.html Linux下的网络编程指的是socket套接字编程,入门比较简单. 1. socket套接 ...

  9. Linux网络编程学习路线

    转载自:https://blog.csdn.net/lianghe_work/article 一.网络应用层编程   1.Linux网络编程01——网络协议入门 2.Linux网络编程02——无连接和 ...

随机推荐

  1. 【VS开发】最小化到托盘 shell_notifyicon和NOTIFYICONDATA

    shell_notifyicon和NOTIFYICONDATA Shell_NotifyIcon函数,向任务栏的状态栏发送一个消息 函数原型 BOOL Shell_NotifIcon( DWORD d ...

  2. android基础---->数据保存到文件

    Android使用与其他平台类似的基于磁盘的文件系统(disk-based file systems).这篇博客将描述如何在Android文件系统上使用File的读写APIs对Andorid的file ...

  3. Django 之redis的应用

    redis概述 redis是一种nosql数据库,他的数据是保存在内存中,同时redis可以定时把内存数据同步到磁盘,即可以将数据持久化,并且他比memcached支持更多的数据结构(string,l ...

  4. 漏洞复现之JBoss 4.x JBossMQ JMS 反序列化漏洞(CVE-2017-7504)

    前言: 序列化就是把对象转换成字节流,便于保存在内存.文件.数据库中:反序列化即逆过程,由字节流还原成对象. Java中的ObjectOutputStream类的writeObject()方法可以实现 ...

  5. linux 下安装docker

    Linux 下的 Docker 安装与使用 一.安装与配置 安装一些必要的系统工具: sudo yum install -y yum-utils device-mapper-persistent-da ...

  6. _string 灵活查询

    $process = (int)$_POST['process']; switch ($process) { case 0: // 全部 $where['_string'] = ' (`sale_wa ...

  7. lnmp 是不是该吐吐槽

    lnmp 提供提供了便捷 , 并且手也伸的挺长的,它已不仅仅是个服务器环境那么简单 作为服务器继承环境来讲,可能每个人的认知程度不一,总之用了它需要服从它的规则 但从个人感觉上,其埋的坑还是让人不适, ...

  8. CMakeLists 添加 -pthread 编译选项 undefined reference to pthread_atfork

    在与 main() 函数同级的 CMakeLists 中添加如下内容(根据项目实际情况修改): cmake_minimum_required (VERSION 2.6) find_package (T ...

  9. Python14之字符串(各种奇葩的内置方法)

    一.字符串的分片操作 其分片操作和列表和元组一样 str1 = 'keshengtao' str1[2:6] 'shen' str1[:] 'keshengtao' str1[:4] 'kesh' 二 ...

  10. C++基础(静态数据成员和静态成员函数)

    [简介] 1.静态数据成员在类中声明,在源文件中定义并初始化: 2.静态成员函数没有this指针,只能访问静态数据成员: 3.调用静态成员函数:(1)对象.(2)直接调用: 4.静态成员函数的地址可用 ...