[Sw] 使用 Swoole Server task/协程 处理大数据量异步任务时注意
关于 Buffered Query 和 Unbuffered Query:http://www.php.net/manual/zh/mysqlinfo.concepts.buffering.php
对于结果集小的查询,一般就开启 Buffered Query 一次取回(fetchAll);
对于结果集很大的查询,可以开启 Unbuffered Query 来遍历资源一条条 fetch,避免撑爆客户端内存;
PDO 属性设置:http://php.net/manual/zh/pdo.setattribute.php
其它解决方案:
1. 高频投递(依赖进程数),少量处理(每批次数据),可以自己用 Process 实现进程池处理队列任务,或者使用自带的 task 功能。
2. 使用自带 task 功能的情况下,如果 worker 不需要与 task worker 通讯,那么 onTask 不要使用 return 返回数据,减少消耗。
3. worker 使用 task( ) 投递频率必须小于 task 进程数(task_worker_num),可以程序来限制。
比方说 $taskWorkerNum 是 50,
任务投递次数累加 $deliverNo,
onTask 内完成任务时计数 $serv->atomic->add(1),
完成任务数 $serv->atomic->get() 获得。
那么在投递之后需要进行判断,投递总数 - 完成数 >= 任务进程数,说明投递次数满了,暂停一会儿,保证 task 进程不是满负荷工作。
/**
* 调度工作
* https://cnblogs.com/farwish
*/
public function onWorkerStart(\Swoole\Server $server, $workerId)
{
if ($workerId == 0) {
$data = [1, 2, 3]; foreach ($data as $item) {
// 限流与投递
while (($server->deliverNo - $server->atomic->get()) >= $this->taskWorker) {
echo "等待空闲 task 进程\n";
sleep(1);
}
$server->task($item);
$server->deliverNo++;
} // 任务结束后退出 server
while (true) {
if ($server->deliverNo == $server->atomic->get()) {
$server->shutdown();
}
sleep(1);
}
}
}
服务初始化部分:
public function initTaskServer()
{
$server = new \Swoole\Server('0.0.0.0'); $server->atomic = new \Swoole\Atomic(0);
$server->deliverNo = 0; $server->set([
'worker_num' => 1,
'task_worker_num' => $this->taskWorkerNum,
'task_ipc_mode' => 1,
'task_max_request' => 5000,
]); $server->on('workerStart', [$this, 'onWorkerStart']);
$server->on('task', [$this, 'onTask']);
$server->on('receive', [$this, 'onReceive']);
$server->on('finish', [$this, 'onFinish']); $server->start();
} protected function onWorkerStart(Server $server, $workerId)
{
} protected function onTask(Server $server, $taskId, $fromId, $data)
{
} protected function onReceive(Server $server, $fd, $reactorId, $data)
{
} protected function onFinish(Server $server, $taskId, $data)
{
}
4. 不使用 server 和 task 多进程的情况,利用 swoole 协程中的 channel 实现 producer、consumer 模式,生产者 unbuffer query 持续 push 数据到通道,消费者持续 pop 消费;生产者没有数据时可退出,消费者检测到生产者退出后也随即退出。
缺点是在复杂场景下(比如多层查询再加循环处理),编程会比较困难,比如:等待所有子协程结束的功能(WaitGroup)、多 consumer 的场景,需要自己封装很多组件。
其它:
多进程、多协程的情况下,需要配合使用数据库连接池,因为数据库并发连接数资源有限。
多进程只是利用到了多核,计算密集型场景有优势;协程并发相比更轻量,单进程内利用I/O切换实现并发,适合IO密集型场景。
Course:http://www.yzmedu.com/course/330
Docs:https://wiki.swoole.com/wiki/page/481.html
Link:https://www.cnblogs.com/farwish/p/10242294.html
[Sw] 使用 Swoole Server task/协程 处理大数据量异步任务时注意的更多相关文章
- Python之路-python(Queue队列、进程、Gevent协程、Select\Poll\Epoll异步IO与事件驱动)
一.进程: 1.语法 2.进程间通讯 3.进程池 二.Gevent协程 三.Select\Poll\Epoll异步IO与事件驱动 一.进程: 1.语法 简单的启动线程语法 def run(name): ...
- [转]向facebook学习,通过协程实现mysql查询的异步化
FROM : 通过协程实现mysql查询的异步化 前言 最近学习了赵海平的演讲,了解到facebook的mysql查询可以进行异步化,从而提高性能.由于facebook实现的比较早,他们不得不对php ...
- Python3的原生协程(Async/Await)和Tornado异步非阻塞
原文转载自「刘悦的技术博客」https://v3u.cn/a_id_113 我们知道在程序在执行 IO 密集型任务的时候,程序会因为等待 IO 而阻塞,而协程作为一种用户态的轻量级线程,可以帮我们解决 ...
- c#中@标志的作用 C#通过序列化实现深表复制 细说并发编程-TPL 大数据量下DataTable To List效率对比 【转载】C#工具类:实现文件操作File的工具类 异步多线程 Async .net 多线程 Thread ThreadPool Task .Net 反射学习
c#中@标志的作用 参考微软官方文档-特殊字符@,地址 https://docs.microsoft.com/zh-cn/dotnet/csharp/language-reference/toke ...
- C# & SQL Server大数据量插入方式对比
以下内容大部分来自: http://blog.csdn.net/tjvictor/article/details/4360030 部分内容出自互联网,实验结果为亲测. 最近自己开发一个向数据库中插入大 ...
- sql server 2005 大数据量插入性能对比
sql server 2005大数据量的插入操作 第一,写个存储过程,传入参数,存储过程里面是insert操作, 第二,用System.Data.SqlClient.SqlBulkCopy实例方法, ...
- 大数据量下的SQL Server数据库自身优化
原文: http://www.d1net.com/bigdata/news/284983.html 1.1:增加次数据文件 从SQL SERVER 2005开始,数据库不默认生成NDF数据文件,一般情 ...
- [转]Sql server 大数据量分页存储过程效率测试附代码
本文转自:http://www.cnblogs.com/lli0077/archive/2008/09/03/1282862.html 在项目中,我们经常遇到或用到分页,那么在大数据量(百万级以上)下 ...
- 【SQL server初级】数据库性能优化一:数据库自身优化(大数据量)
数据库优化包含以下三部分,数据库自身的优化,数据库表优化,程序操作优化.此文为第一部分 数据库性能优化一:数据库自身优化 优化①:增加次数据文件,设置文件自动增长(粗略数据分区) 1.1:增加次数据文 ...
随机推荐
- Java 内部类的作用
1.内部类可以很好的实现隐藏 一般的非内部类,是不允许有 private 与protected权限的,但内部类可以 2.内部类拥有外围类的所有元素的访问权限 3.可是实现多重继承 4.可以避免修改接口 ...
- 一键安装Davinci
官网:https://edp963.github.io/davinci/index.html 下载地址:https://github.com/edp963/davinci 环境:Centos7 ...
- day02 运算符
运算符2019-04-01 目录 一.算数运算符 + = * / % // ** 二.比较运算 > < == != >= ...
- 漫画|Linux 并发、竞态、互斥锁、自旋锁、信号量都是什么鬼?(转)
知乎链接:https://zhuanlan.zhihu.com/p/57354304 1. 锁的由来? 学习linux的时候,肯定会遇到各种和锁相关的知识,有时候自己学好了一点,感觉半桶水的自己已经可 ...
- redis 缓存击穿 看一篇成高手系列3
什么是缓存击穿 在谈论缓存击穿之前,我们先来回忆下从缓存中加载数据的逻辑,如下图所示 因此,如果黑客每次故意查询一个在缓存内必然不存在的数据,导致每次请求都要去存储层去查询,这样缓存就失去了意义.如果 ...
- 导出dmp
如果有空表都需要导出执行 select 'alter table '||table_name||' allocate extent;' from user_tables where num_rows= ...
- ERROR: cannot launch node of type [teleop/teleop_key]: can't locate node [teleop_key] in package [teleop]
节点由python写成,编译通过,运行时报错如下: ERROR: cannot launch node of type [teleop/teleop_key]: can't locate node [ ...
- css3动画的简单学习
transform常用的属性(2D变化): translate(x,y) 定义 2D 转换. scale(x,y) 定义 2D 缩放转换 rotate(angle) 定义 2D 旋转,在参数中规定角度 ...
- HTML prefetch 预加载无效的记录
在link中新增: <link rel="prefetch" href="/view/search.html" /> 预加载会将内容缓存到浏览器, ...
- 多任务fork、multiprocessing、进程池、进程间通信-Queue
并发:一个处理器同时处理多个任务. 并行:多个处理器或者是多核的处理器同时处理多个不同的任务. fork创建子进程 import os import time #fork出一个子进程,子进程也从这一行 ...