带优先级的队列 - PHP实现
很久以前写的一个功能,当时需要一个优先级的队列,特用新学的swoole写了一个简单的demo,仅满足当时的需求。
功能说明:
- 完全参考httpsqs增加优先级参数level
例:
http://192.168.8.18:5555/?name=t ... a=testdata1&level=1
http://192.168.8.18:5555/?name=t ... a=testdata2&level=1
http://192.168.8.18:5555/?name=t ... a=testdata3&level=3
此时,循环调用get方法,将获取数据testdata3,testdata1,testdata2
注:get时先弹出优先级高的数据;同等优先级数据,按put的先后弹出;
用到的工具:
PHP PHP的swoole扩展
思路:
- 使用swoole扩展监听端口,接收用户传入的参数;用全局变量$info存储所有队列名、每个队列的状态信息(所有优先级、每个优先级中已读数据个数,未读数据个数)等;设置定时器,定时将info写入文件;实际数据存入文件,每个数据占一行,使用fgets按行读出;全局变量$fp保存所有打开的文件句柄,减少文件的打开次数;
优势:
使用世界上最好的语言PHP开发!
性能测试:
1:写性能:
ab -c 100 -n 10000 http://192.168.8.18:5555/?name=test\&opt=put\&data=testdata\&level=3
2:读性能
ab -c 100 -n 10000 http://192.168.8.18:5555/?name=test\&opt=get
附:基础代码
<?php
//带优化级的http队列服务
error_reporting(E_ERROR | E_WARNING | E_PARSE);
date_default_timezone_set('PRC');
$dirname = "./data/queue_"; //文件存储位置及文件名
$infodirname = "./data/info"; //存储基本信息的文件
$maxfilesize = 1024 * 1024 * 1024;//文件最大1G
$fp = array(); //打开文件的句柄
$info = array(); //存储各个队列的基本信息,get/put的位置
$infoflag = 0; //标记info是否被修改过
$tmp = file_get_contents($infodirname);//初始化,从文件中载入基本信息
!empty($tmp) && $info = unserialize($tmp); $http = new swoole_http_server("0.0.0.0", 5555);
$http->set(array(
'worker_num' => 1, //工作进程数量
));
$http->on('WorkerStart', function($http) {
$http->addtimer(10000);//增加定时器
});
$http->on('Timer', 'cronWriteInfo'); //定时将基本信息写入文件 $http->on('request', "mycallback");
$http->start(); function cronWriteInfo() { //定时写文件
global $info,$infoflag,$infodirname;
if($infoflag) { //info被修改过时,才将之写入文件
file_put_contents($infodirname, serialize($info));
}
}
function mycallback($request, $response) {
global $info, $infoflag;
if($request->server['request_uri'] == "/favicon.ico") { //过滤掉浏览器的icon请求
$response->end(" \n");
return '';
}
$infoflag = 1;
$param = $request->get;
if(empty($param['name'])) {//队列名字不能为空
$ret = "QUEUE_ERROR_QUEUENAME_EMPTY";
} else {
switch ($param['opt']) {
case 'get':
$ret = get($param['name']);
break;
case 'put':
if(($data = $param['data']) && !empty($param['data'])) {
empty($param['level']) && $param['level'] = 0;
$ret = put($param['name'], $param['data'], $param['level']);
} else {
$ret = "QUEUE_PUT_ERROR";
}
break;
case 'status':
$ret = json_encode($info);
break;
default:
$ret = "QUEUE_ERROR_PARAM";
break;
}
}
$response->end($ret."\n");
}
function get($queuename) {
global $info;
if($info[$queuename]['unread'] > 0) {
$maxlevel = $info[$queuename]['curMaxlevel']; //当前最大优化级
$pos = $info[$queuename]['leveldata'][$maxlevel]['getpos']; //文件偏移量
$data = getdataFromFile($queuename, $maxlevel, $pos); //读取数据
$ret = pack("H*", $data); //data是压缩的数据,需要解压
//修改全局变量
$info[$queuename]['get']++;
$info[$queuename]['unread']--;
$info[$queuename]['leveldata'][$maxlevel]['unread']--;
if($ret == "QUEUE_END") { //读到的数据不全,原因:数据文件大小超过最大值设置;
$data = getdataFromFile($queuename, $maxlevel, 0); //从头再读一次
$ret = pack("H*", $data); //data是压缩的数据,需要解压
$info[$queuename]['leveldata'][$maxlevel]['get'] = 1;//读取位置设为1
$info[$queuename]['leveldata'][$maxlevel]['getpos'] = strlen($data) + 1;
} else {
$info[$queuename]['leveldata'][$maxlevel]['get']++;
$info[$queuename]['leveldata'][$maxlevel]['getpos'] += strlen($data) + 1 ;
}
if($info[$queuename]['leveldata'][$maxlevel]['get'] == $info[$queuename]['leveldata'][$maxlevel]['put']) { //数据读取完毕,重新计算当前最高优先级的数据
$info[$queuename]['curMaxlevel'] = getcurMaxlevel($info[$queuename]['leveldata']);
}
return $ret;
} else {
return 'QUEUE_EMPTY';
}
}
function put($queuename, $userdata, $level) {
global $info;
if($info[$queuename]['leveldata'][$level]['put']+1 == $info[$queuename]['leveldata'][$level]['get']) { //队列写满
return "QUEUE_FULL";
}
$info[$queuename]['put']++;
$info[$queuename]['unread']++;
$newpos = setDataToFile($queuename, $level, $userdata);
$info[$queuename]['leveldata'][$level]['put']++;
$info[$queuename]['leveldata'][$level]['unread']++;
$info[$queuename]['leveldata'][$level]['putpos'] = $newpos;
$info[$queuename]['curMaxlevel'] = getcurMaxlevel($info[$queuename]['leveldata']);
return "QUEUE_PUT_OK";
} //获取当前需要执行的优先级最高的数据
function getcurMaxlevel($leveldata) {
krsort($leveldata);
foreach($leveldata as $level => $info) {
if($info['unread'] > 0) {
return $level;
}
}
return 0;
} //写数据到文件,如果文件写满,循环写入;
function setDataToFile($queuename, $level, $userdata) {
global $dirname, $maxfilesize, $fp;
$file = $dirname.$queuename.$level;
$packdata = unpack("H*", $userdata);
//$$packdata['1'] = $userdata;
$data = $packdata['1']."\n";
$size = filesize($file);
if(!$fp[$queuename][$level]) {
$fp = fopen($file, "ab+");
}
fseek($fp, $size);
fwrite($fp, $data);
clearstatcache();
if($size + strlen($data) + 1 > $maxfilesize) { //超出文件最大值,进入下一轮
fseek($fp, $size); //倒回指针
fwrite($fp, "QUEUE_END"); //写入标记符号
fseek($fp,0);//重头写
fwrite($fp, $data);
return strlen($data);
} else {
return $size + strlen($data);
}
}
//从文件中读取数据
function getdataFromFile($queuename, $level, $pos) {
global $dirname,$fp;
if(!isset($fp[$queuename][$level])) {
$file = $dirname.$queuename.$level;
$fp = fopen($file, "ab+");
}
fseek($fp, intval($pos));
return trim(fgets($fp));
}
带优先级的队列 - PHP实现的更多相关文章
- 可参数化的带优先级的数据选择器的FPGA实现方式探讨
在FPGA设计中,大部分情况下我们都得使用到数据选择器.并且为了设计参数化,可调,通常情况下我们需要一个参数可调的数据选择器,比如M选1,M是可调的参数. 如果,数据选择器是不带优先级的,我们可以使用 ...
- FPGA中带优先级的if else if与不带优先级的case的探讨
我们知道在书本上都说让我们尽量使用不带优先级的的数据选择器,今天我们就来探讨一下二者的区别. 例子1:带优先级的的数据选择器,综合成功,且没有任何警告. module detection_prio # ...
- Redis学习之实现优先级消息队列
很久没有写博客了,最近简单的学习了一下Redis,其中学习了一下用Redis实现优先级消息队列.关于更多更为详细的可以在www.redis.cn找到相关资料. 对于熟悉Redis的童鞋提到队列很自然的 ...
- RabbitMQ学习笔记五:RabbitMQ之优先级消息队列
RabbitMQ优先级队列注意点: 1.只有当消费者不足,不能及时进行消费的情况下,优先级队列才会生效 2.RabbitMQ3.5以后才支持优先级队列 代码在博客:RabbitMQ学习笔记三:Java ...
- redis+PHP实现的一个优先级去重队列
主要思路是用一个set做前端去重缓冲, 若干个list做后端的多优先级消息队列, 用一个进程来进行分发, 即从set中分发消息到队列. set缓冲的设计为当天有效, 所以有个零点问题,有可能在零点前s ...
- 自定义ThreadPoolExecutor带Queue缓冲队列的线程池 + JMeter模拟并发下单请求
.原文:https://blog.csdn.net/u011677147/article/details/80271174 拓展: https://github.com/jwpttcg66/GameT ...
- C++自带栈与队列_stack_queue_C++
栈和队列我们可以用C++里自带的函数使用,就不必手写了 1.栈,需要开头文件 #include<stack> 定义一个栈s:stack<int> s; 具体操作: s.emp ...
- rabbitmq设置消息优先级、队列优先级配置
1.首先在consume之前声明队列的时候,要加上x-max-priority属性,一般为0-255,大于255出错 -----配置队列优先级 配置成功后rabbitmq显示: 2.在向exchan ...
- poj 2828 buy Tickets 用线段树模拟带插入的队列
Buy Tickets Time Limit: 1 Sec Memory Limit: 256 MB 题目连接 http://acm.hdu.edu.cn/showproblem.php?pid=2 ...
随机推荐
- mfc通过消息传递参数进行程序间通信
这样的程序主要实现windows平台下两个应用程序间的通信. 最简单的单元分为两个部分,一个是引用的程序,一个是被引用的程序. 一.如果引用他人,需要传递参数找到运行的程序,并且传递消息过去 void ...
- Linux命令学习整理。
http://www.cnblogs.com/suliuer/p/5448747.html 本文主要包括两部分,一是Linux基础命令的总结:二是总结一些常用的命令知识点. 一.基础总结 学习Linu ...
- wcf 配置
wcf 开发 [ServiceContract]-----接口定义1 public interface ILog { [OperationContract]------接口定义1 List<Lo ...
- Analyzer报表结果行
声明:原创作品,转载时请注明文章来自SAP师太技术博客( 博/客/园www.cnblogs.com):www.cnblogs.com/jiangzhengjun,并以超链接形式标明文章原始出处,否则将 ...
- ns3 Tutorial 中的日志模块(翻译)
转载地址:http://blog.sina.com.cn/s/blog_8ecca79b0101d7fe.html 1 日志模块的使用 在运行 first.cc 脚本时,我们已经简单 ...
- Scrum Meeting 1-20151201
任务安排 姓名 今日任务 明日任务 困难 董元财 学习下拉刷新的实现 完成下拉刷新的实现 手机的点击动作长按和下拉有类似的地方,比较难解决 胡亚坤 学习圆形头像代码设计 完成圆形头像代码设计 无 刘猛 ...
- 推荐流程设计器http://www.processon.com/
以前一直用的Rational Rose进行类图,流程设计,最近发现了ProcessOn使用了下,感觉很好用,相比rose 1.有中文说明,rose全专业英文,理解起来比较费劲: 2.直线比较直,ros ...
- 【Todo】网络编程学习-面向工资编程
https://zhuanlan.zhihu.com/p/20204159 这个系列真的非常好,好好领会学习一下
- Android属性动画完全解析(上),初识属性动画的基本用法
转载请注明出处:http://blog.csdn.net/guolin_blog/article/details/43536355 在手机上去实现一些动画效果算是件比较炫酷的事情,因此Android系 ...
- ijg库解码超大型jpeg图片
1. ijg库解码超大型jpeg图片(>100M)的时候,如何避免内存溢出. 采用边解码边压缩的策略,每次解码一行或者若干行图片数据,然后对于这些解码的数据,进行DQT(量化处理,过滤掉高频的数 ...