Gearman研习笔记（1） ------ 官网介绍要点摘录

之前的项目里使用过消息中间件（公司提供的MQ服务）来做分发，因为MQ是基于消息的，并不是专业的任务分发器，在一些复杂场景上使用起来并不恰当。

后来听组长说了下Gearman（听名字还以为是Ironman的兄弟）是一个专业的任务分发系统，所以决定花时间研习下，先从官网下手，看看它到底有哪些神通。

Gearman provides a generic application framework to farm out work to other machines or processes that are better suited to do the work. It allows you to do work in parallel, to load balance processing, and to call functions between languages. It can be used in a variety of applications, from high-availability web sites to the transport of database replication events. In other words, it is the nervous system for how distributed processing communicates.  —— gearman.org

 

1、特性

• Free
• Multi-Language : 提供多种语言接口，可以实现不同语言间调用。例如：java client -->job server --> c worker
• Flexible：分布式部署灵活，易扩展（easyly scale-out)
• Fast：服务端轻量，用c/c++编写，支持多线程，并且开销小
• Embeddable：快速、轻量。易引入工程
• No single point of failure：易扩展、容错
• No limilts on message size：单条信息支持最大4G，再大也可以（Gearman会自动chunk）

 

2、工作原理

 

 

• 分为client、job server、worker三块
• 流程：
• • client 负责产生job（job一般包含调用的方法和参数），然后发送给job server
  • job server负责将job分发给适当的worker处理。【 job server分发给worker时会做BL，策略是优先打到空闲的具有处理该方法的worker上 】
  • worker处理完方法后，将返回值推给job server，由job server返回给client
• 用户针对client和worker API 进行业务逻辑编程，不用关心网络、分发等工作，这些由框架完成。

 

3、集群

• client和worker是易扩展的，部署应用连接到相应的JobServer即可。
• 每个Job Server可处理数百上千个clients和worker。
• Job Server 官方建议部署2~3台冗余，其中一台挂了会自动fail over。