基于我上次在这里发现的问题,就是一次性投递20个消息,用sleep等待后发现,最后一个任务需要等前面19个都跑完才能执行,所以这里做一下改进。

client.php

<?php
$client = new GearmanClient();
$client->addServer('127.0.0.1', 4730);
for ($i=0; $i < 20; $i++) {
$ret[$i] = $client->doBackground('runLaterJob', json_encode(array(
'uid' => 'test user id '.$i,
'title' => '添加一个需要延时处异步执行的代码标题',
'body' => '执行这个异步的具体内容',
'run_time' => time() + 2,
)));
}

worker.php

<?php

$worker = new GearmanWorker();
$worker->addServer('127.0.0.1', 4730);
$worker->addFunction('runLaterJob', function($job) {
$data = json_decode($job->workload(), true);
if (isset($data['run_time']) && $data['run_time'] > time()) {
// 如果需要延时还没到时间就下次再处理
add_work($data);
}
else {
echo "处理任务 uid:{$data['uid']}--title:{$data['title']}--body:{$data['body']} 成功\n";
}
});
while($worker->work()); function add_work($data = []) {
$client = get_client();
$client->doBackground('runLaterJob', json_encode($data));
} function get_client() {
static $client = NULL;
if (!$client) {
$client = new GearmanClient();
$client->addServer('127.0.0.1', 4730);
}
return $client;
}

核心思路是,加入任务的时候就计算好自己什么时候执行,然后在执行任务这里不断的判断是不是到时间了 到时间就执行,否则就再次加入任务,这样就能避免最后一个任务被sleep给阻塞住了。虽然这里一直加入任务感觉会很傻瓜,不过可以稍微做个改进,用usleep(1000)这样每毫秒去跑一次,这样就既能控制在毫秒级别,又能减轻循环压力。

说干就干,接下来是改进的代码。

client.php

<?php
$client = new GearmanClient();
$client->addServer('127.0.0.1', 4730);
$sleep_time = [2, 0.001, 0.005, 0.8, 0.007, 0.5, 1, 5, 0.1, 2, 2.03, 1.24, 0.12, 3.08, 4.77, 1.42, 2.69, 3.49, 0.29, 1.99];
for ($i=0; $i < 20; $i++) {
$ret[$i] = $client->doBackground('runLaterJob', json_encode(array(
'uid' => 'test user id '.$i,
'title' => '添加一个需要延时处异步执行的代码标题',
'body' => '执行这个异步的具体内容',
'run_time' => microtime(true) + $sleep_time[$i],
)));
}

worker.php

<?php

$worker = new GearmanWorker();
$worker->addServer('127.0.0.1', 4730);
$worker->addFunction('runLaterJob', function($job) {
$data = json_decode($job->workload(), true);
if (isset($data['run_time']) && $data['run_time'] > microtime(true)) {
// 如果需要延时还没到时间就下次再处理
usleep(1000);
add_work($data);
}
else {
echo "处理任务 uid:{$data['uid']}--title:{$data['title']}--body:{$data['body']} 成功\n";
}
});
while($worker->work()); function add_work($data = []) {
$client = get_client();
$client->doBackground('runLaterJob', json_encode($data));
} function get_client() {
static $client = NULL;
if (!$client) {
$client = new GearmanClient();
$client->addServer('127.0.0.1', 4730);
}
return $client;
}

运行php worker.php

然后新开一个终端运行php client.php

控制台打印结果为

处理任务 uid:test user id 1--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 2--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 4--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 8--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 12--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 18--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 5--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 3--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 6--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 11--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 15--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 19--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 0--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 9--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 10--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 16--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 13--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 17--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 14--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功
处理任务 uid:test user id 7--title:添加一个需要延时处异步执行的代码标题--body:执行这个异步的具体内容 成功

可以看到确实是按照时间距离排序的,第0个元素排后面去了,第1个元素排最前面来了,因为它只需要0.001秒就要执行

gearman任务分发改进的更多相关文章

  1. 分布式任务分发框架Gearman教程和PHP实现实例

    1.Gearman介绍和使用场景 Gearman是一个分发任务的程序框架,可以用在各种场合,与Hadoop相 比,Gearman更偏向于任务分发功能.它的任务分布非常简单,简单得可以只需要用脚本即可完 ...

  2. 用 Gearman 分发 PHP 应用程序的工作负载【转载】

    通过本文,了解工作分发系统 Gearman 并分发用 PHP.C.Ruby 及其他受支持语言编写的应用程序的工作负载. 尽管一个 Web 应用程序的大部分内容都与表示有关,但它的价值与竞争优势却可能体 ...

  3. Gearman实战第一弹:异步处理结算单

    昨天梦回jm,醒来之后看着窗外万里晴空,想大声喊一句:爷青回! 我想起之前使用gearman的岁月.不知不觉也过了快5年,想总结一篇关于gearman的技术文章算是一种对青春的祭奠,再不写的话更少有p ...

  4. 必学PHP类库/常用PHP类库大全,php 类库分类-收集

    依赖管理( Dependency Management ) 用于依赖管理的包和框架 Composer / Packagist - 一个包和依赖管理器. Composer Installers - 一个 ...

  5. vivo 自研Jenkins资源调度系统设计与实践

    作者:vivo 互联网服务器团队- Wu Qinghua 本文从目前业界实现Jenkins的高可用的实现方案,分析各方案的优缺点,引入vivo目前使用的Jenkins高可用方案,以及目前Jenkins ...

  6. Gearman介绍、原理分析、实践改进

    gearman是什么? 它是分布式的程序调用框架,可完成跨语言的相互调用,适合在后台运行工作任务.最初是2005年perl版本,2008年发布C/C++版本.目前大部分源码都是(Gearmand服务j ...

  7. 分布式的任务分发框架-Gearman

    官方文档:http://gearman.org/getting-started/ 安装方法和示例都有,可以详细看一下. Gearman是一个分发任务的程序框架,可以用在各种场合,与Hadoop相比,G ...

  8. 用 Gearman 分发 PHP 应用程序的工作负载

    尽管一个 Web 应用程序的大部分内容都与表示有关,但它的价值与竞争优势却可能体现在若干专有服务或算法方面.如果这类处理过于复杂或拖沓,最好是进行异步执行,以免 Web 服务器对传入的请求没有响应.实 ...

  9. 任务分发系统gearman

    1 Gearman是什么 Gearman Job Server@http://gearman.org/. Gearman 是一个任务分发系统,它提供了一个分发框架,能够分发某类任务到更适合处理这类任务 ...

  10. 高CPU业务场景下的任务分发方案Gearman搭建一览

      Gearman是当年LiveJournal用来做图片resize的,大家也明白图片resize是一个高CPU的操作,如果让web网站去做这个高CPU的功能,有可能会拖垮你的 web应用,那本篇我们 ...

随机推荐

  1. 【爬虫实战】——利用bs4和正则表达式,简单实现爬取数据

    前言 好久没有写博客了,由于一直比较忙,感觉快荒废了学习的步伐,最近由于需要利用爬虫爬取数据,总结一下,以便以后查阅. 目录 一.bs4的安装 二.bs4解析器 三.定位查找标签 四.转换格式 五.提 ...

  2. 解密华为问界M7 Pro:智能出行的全新里程碑与技术亮点

    解读华为问界M7 Pro的智能里程碑 引言 2024年8月,智能出行领域迎来了一个激动人心的时刻--问界M7 Pro的重磅发布.这款智能SUV,不仅是华为在汽车领域的又一次大胆尝试,更是鸿蒙智行系统的 ...

  3. Opensack-T版脚本安装

    openStack-train 搭建部署 项目环境: 主机名 外网口(net) 内口(仅主机)s 配置 controller 192.168.220.10/192.168.220.1/24 192.1 ...

  4. 所见即所得,赋能RAG:PDF解析里的段落识别

    前几天,有一位用户使用OCR产品识别多栏论文后向我们询问:要怎么解决不合适的断句.分段以及错误阅读顺序的问题? 我们用一个相似案例为大家直观展示这位用户遇到的情况. 如图中的多栏期刊,如果用OCR识别 ...

  5. ASP.NET Core – CORS (Cross-Origin Resource Sharing)

    参考 Docs – Enable Cross-Origin Requests (CORS) in ASP.NET Core 介绍 CORS (Cross-Origin Resource Sharing ...

  6. GPT最佳实践:五分钟打造你自己的GPT

    前几天OpenAI的My GPTs栏目还是灰色的,就在今天已经开放使用了.有幸第一时间体验了一把生成自己的GPT,效果着实惊艳!!!我打造的GPT模型我会放到文章末尾,大家感兴趣也可以自己体验一下. ...

  7. Atcoder Beginner Contest 367

    A.Shout Everyday \(\text{Diff }43\) 给你 \(24\) 小时制下的 \(A,B,C\) 三个时刻,问 \(A\) 是否在 \([B,C]\) 范围内 考虑到先将 \ ...

  8. [Tkey] 生日礼物

    题意简述 彩珠有 \(n\) 个 \(k\) 种,每个珠子都有一个坐标 \(p_{i}\),求最小的区间长度,使得这个区间包含全部的 \(k\) 种彩珠. 分析 发现我们可以维护每一种颜色的最近出现坐 ...

  9. 第24天:安全开发-PHP应用&文件管理模块&显示上传&黑白名单类型过滤&访问控制

    #文件管理模块-上传-过滤机制 1.无过滤机制 2.黑名单过滤机制 3.白名单过滤机制 4.文件类型过滤机制 $_FILES:PHP中一个预定义的超全局变量,用于在上传文件时从客户端接收文件,并将其保 ...

  10. crypt.h:No such file or directory 报错处理

    crypt.h:No such file or directory 报错处理 前言:本文初编辑于2024年9月28日 CSDN主页:https://blog.csdn.net/rvdgdsva 博客园 ...