worker_pool_worker的作用是用来完成数据操作。

如何获取worker是从worker_pool里获取,并由worker_pool管理。

起动时间:

-rabbit_boot_step({worker_pool,

[{description, "worker pool"},

{mfa, {rabbit_sup, start_supervisor_child,

[worker_pool_sup]}},

{requires, pre_boot},

{enables, external_infrastructure}]}).

在起动顺序中,work_pool是由pre_boot之后,external_infrastructure之后起动的。起动一个worker_pool进程,并起动Wcount个work_pool_worker进程,Wcount是由erlang:system_info(schedulers)决定的。

init([WCount])
->

{ok,
{{one_for_one, 10, 10},

[{worker_pool,
{worker_pool, start_link, []}, transient,

16#ffffffff,
worker, [worker_pool]} |

[{N,
{worker_pool_worker, start_link, []}, transient, 16#ffffffff,

worker,
[worker_pool_worker]} || N <- lists:seq(1, Wcount)]]}}.

worker_pool_worker起动的时候会将通过worke_pool:read(self())来监控起来,并将此进程放置于state中avaliable列表中。当worker_pool_worker
down掉时,worker_pool则会将此进程从avaliable队表中删除掉。

init([])
->

ok
= file_handle_cache:register_callback(?MODULE,
set_maximum_since_use,

[self()]),

ok
= worker_pool:ready(self()),

put(worker_pool_worker,
true),

{ok,
undefined, hibernate,

{backoff,
?HIBERNATE_AFTER_MIN, ?HIBERNATE_AFTER_MIN, ?DESIRED_HIBERNATE}}.

worker_pool.erl

ready(WPid)
-> gen_server2:cast(?SERVER, {ready, Wpid}).

handle_cast({ready,
WPid}, State) ->

erlang:monitor(process,
WPid),

handle_cast({idle,
WPid}, State);

handle_cast({idle,
WPid}, State = #state { available = Avail,

pending
= Pending }) ->

{noreply,

case
queue:out(Pending) of

{empty,
_Pending} ->

State
#state { available = ordsets:add_element(WPid, Avail) };

{{value,
{next_free, From, CPid}}, Pending1} ->

worker_pool_worker:next_job_from(WPid,
CPid),

gen_server2:reply(From,
WPid),

State
#state { pending = Pending1 };

{{value,
{run_async, Fun}}, Pending1} ->

worker_pool_worker:submit_async(WPid,
Fun),

State
#state { pending = Pending1 }

end,
hibernate};

handle_info({'DOWN',
_MRef, process, WPid, _Reason},

State
= #state { available = Avail }) ->

{noreply,
State #state { available = ordsets:del_element(WPid, Avail) },

hibernate};

如果有submit动作,获取空闲的worker,并作

submit(Fun,
ProcessModel) ->

case
get(worker_pool_worker) of

true
-> worker_pool_worker:run(Fun);

_
-> Pid = gen_server2:call(?SERVER, {next_free, self()},
infinity),

worker_pool_worker:submit(Pid,
Fun, ProcessModel)

end.

此时应获取一个空闲的worker_pool_worker,并让此worker装备一下,返回worker
Pid。

handle_call({next_free,
CPid}, _From, State = #state { available =

[WPid
| Avail1] }) ->

worker_pool_worker:next_job_from(WPid,
CPid),

{reply,
WPid, State #state { available = Avail1 }, hibernate};

worker_pool_worker准备工作

next_job_from(Pid,
CPid) ->

gen_server2:cast(Pid,
{next_job_from, Cpid}).

work_pool_worke刚起来的时候state是undefined,当需要自己去完成工作的时候,worker会将work_pool进程监控起来,以便pool在使用自己执行操作的时候且pool异常时能够释放自己。

handle_cast({next_job_from,
CPid}, undefined) ->

MRef
= erlang:monitor(process, CPid),

{noreply,
{from, CPid, MRef}, hibernate};

submit(Pid,
Fun, ProcessModel) ->

gen_server2:call(Pid,
{submit, Fun, self(), ProcessModel}, infinity).

将pool解监控,返回pool执行结果,释放自己,state重回undefined。

handle_call({submit,
Fun, CPid, ProcessModel}, From, {from, CPid, MRef}) ->

erlang:demonitor(MRef),

gen_server2:reply(From,
run(Fun, ProcessModel)),

ok
= worker_pool:idle(self()),

{noreply,
undefined, hibernate};

参考文献:

Erlang:RabbitMQ源码分析 5. worker pool 实现分析. http://m.blog.csdn.net/blog/liaosongbo/39317829

rabbitmq之work_pool的更多相关文章

  1. Erlang pool management -- RabbitMQ worker_pool

    在RabbitMQ中,pool 是以worker_pool 的形式存在的, 其主要用途之一是对Mnesia transaction 的操作. 而在RabbitMQ 中, pool 中的worker 数 ...

  2. 消息队列——RabbitMQ学习笔记

    消息队列--RabbitMQ学习笔记 1. 写在前面 昨天简单学习了一个消息队列项目--RabbitMQ,今天趁热打铁,将学到的东西记录下来. 学习的资料主要是官网给出的6个基本的消息发送/接收模型, ...

  3. RabbitMq应用二

    在应用一中,基本的消息队列使用已经完成了,在实际项目中,一定会出现各种各样的需求和问题,rabbitmq内置的很多强大机制和功能会帮助我们解决很多的问题,下面就一个一个的一起学习一下. 消息响应机制 ...

  4. 如何优雅的使用RabbitMQ

    RabbitMQ无疑是目前最流行的消息队列之一,对各种语言环境的支持也很丰富,作为一个.NET developer有必要学习和了解这一工具.消息队列的使用场景大概有3种: 1.系统集成,分布式系统的设 ...

  5. RabbitMq应用一的补充(RabbitMQ的应用场景)

    直接进入正题. 一.异步处理 场景:发送手机验证码,邮件 传统古老处理方式如下图 这个流程,全部在主线程完成,注册->入库->发送邮件->发送短信,由于都在主线程,所以要等待每一步完 ...

  6. RabbitMq应用一

    RabbitMq应用一 RabbitMQ的具体概念,百度百科一下,我这里说一下我的理解,如果有少或者不对的地方,欢迎纠正和补充. 一个项目架构,小的时候,一般都是传统的单一网站系统,或者项目,三层架构 ...

  7. 缓存、队列(Memcached、redis、RabbitMQ)

    本章内容: Memcached 简介.安装.使用 Python 操作 Memcached 天生支持集群 redis 简介.安装.使用.实例 Python 操作 Redis String.Hash.Li ...

  8. 消息队列性能对比——ActiveMQ、RabbitMQ与ZeroMQ(译文)

    Dissecting Message Queues 概述: 我花了一些时间解剖各种库执行分布式消息.在这个分析中,我看了几个不同的方面,包括API特性,易于部署和维护,以及性能质量..消息队列已经被分 ...

  9. windows下 安装 rabbitMQ 及操作常用命令

    rabbitMQ是一个在AMQP协议标准基础上完整的,可服用的企业消息系统.它遵循Mozilla Public License开源协议,采用 Erlang 实现的工业级的消息队列(MQ)服务器,Rab ...

随机推荐

  1. ora-14400插入的分区关键字未映射到任何分区---oracle数据库表过期问题

    楼主解决这个问题ora-14400插入的分区关键字未映射到任何分区,其原因是:分区表过期. 通过使用sql直接修改Date类型的字段可以证实,修改成过期以后的时间出现下列提示,修改成过期之前的则可以. ...

  2. ssh An internal error occured during "Add Deployment"

    这个问题一般是由于导入别人做的项目,但是项目所用的jdk跟当前所用的jdk不一样. 以前遇到过这个问题没有解决,今天解决了. 右键项目名→Properties→Java Build Path→Libr ...

  3. BZOJ2679 : [Usaco2012 Open]Balanced Cow Subsets

    考虑折半搜索,每个数的系数只能是-1,0,1之中的一个,因此可以先通过$O(3^\frac{n}{2})$的搜索分别搜索出两边每个状态的和以及数字的选择情况. 然后将后一半的状态按照和排序,$O(2^ ...

  4. 快速搭建IE测试环境(Virtualbox+ievms)

    IE下的测试 作为一个有追求的程序员,应该尽可能的远离Windows系统.不论从专业开发者的角度,还是仅仅作为最终用户从使用体验上来说,Windows都可以算是垃圾中的战斗机: 没有shell . 响 ...

  5. 20161004 NOIP 模拟赛 T1 解题报告

    第1题  小麦亩产一千八 [问题描述] “有了金坷垃,肥料一袋能顶两袋撒,小麦亩产一千八,吸收两米下的氮磷钾……”,话说HYSBZ(Hengyang School for Boys & Zy) ...

  6. BZOJ3294: [Cqoi2011]放棋子

    Description   Input 输入第一行为两个整数n, m, c,即行数.列数和棋子的颜色数.第二行包含c个正整数,即每个颜色的棋子数.所有颜色的棋子总数保证不超过nm. Output 输出 ...

  7. 《少有人走的路:心智成熟的旅程》--[美]M·斯科特·派克

    <少有人走的路>,美国作家M·斯科特·派克所著 下面是我的书摘: * 归根到底,它告诉我们怎样找到真正的自我. * 人可以拒绝任何东西,但绝对不可以决绝成熟.决绝成熟,实际上就是在规避问题 ...

  8. IOS 蓝牙相关-app作为外设被连接的实现(3)

    再上一节说了app作为central连接peripheral的情况,这一节介绍如何使用app发布一个peripheral,给其他的central连接 还是这张图,central模式用的都是左边的类,而 ...

  9. AVD模拟器运行异常

    The connection to adb is down, and a severe error has occured. (1)现将eclipse关闭 (2)打开命令行(cmd),输入:cd + ...

  10. svn 回滚到上一个版本shell 脚本

    #!/bin/sh ############################## # -- # # author jackluo # # Email net.webjoy@gmail.com # ## ...