既然涉及到高并发这个概念,就少不了先谈这么几个概念,并发数、多进程、多线程、协程、负载均衡。

操作系统上讲的并发是操作系统上有几个程序在同时执行,单核CPU在微观上是由CPU调度执行,非同时执行,多核CPU在微观上才是真正的并行。

互联网产品的并发通常是指并发连接数,用户同时访问数量,哪些因素能影响到并发能力,既有编程模型,也有服务器负载能力。

PHP 依赖多进程解决并发数,是最原始和耗费资源的一种方式。

以 8G 内存服务器为例,一个PHP进程占用20M内存,最多也就开几百个进程,假如任务比较耗时且并发很高,那么新请求很快就得不到响应了。

对于并发访问 PHP 提供 curl_multi_* 系列函数,纯接口的并发调用就不需要自己写多进程、多线程程序了。

Java是多线程模型,每个进程可以创建多个线程,线程使用进程的上下文,每个线程只需要小部分运行资源,所以比进程轻量许多。

进程和线程都是依赖操作系统的系统调用支持的,所以这部分调度开销是难以避免的。

协程是程序级的调度模型,最轻量,好比框架级实现像操作系统一样能自由对程序中断、调度,比如借助于 C 的 setjmp 系列函数就能做到中断。

不管编程模型多先进,单机总会达到并发上限,要想突破限制就必须引入负载均衡,通过横向扩展解决问题。

上面所提到的编程模型优劣,本质上还都是语言层面的,短期内并不能真正解决问题,下面就延伸出从应用层面的考虑:

为什么高性能都离不开异步,比如 Swoole ? 目的就是提升响应时间,提高Qps。

在我们通常的业务开发过程中,逻辑代码一般是同步阻塞模式,一方面它容易理解,另一方面也方便进行一些测试。

这些优势再加上大部分业务场景对并发并没有较高的要求,所以是可以接受的。

但是对于一个大型网站,以及对响应速度和并发要求高的场景,这时候就需要做些优化了,尽量把阻塞操作给异步化。

通过消息队列来做异步有哪些场景?

  加速响应:比如注册后的提醒邮件,注册操作成功后将发消息交给队列,直接返回信息给用户,写入队列的速度非常快,然后由订阅的异步任务处理邮件发送。

  应用解耦:比如用户发帖之后要给他的粉丝推送帖子,这时候实时性要求并不高,可以将新帖的消息写入队列,然后由队列处理程序操作。

  流量削峰:比如秒杀活动,我们不需要实时处理一些购买逻辑,只要将用户请求写入消息队列,长度达到限制就提示用户已结束,后续程序再对队列内容处理。

  日志收集:日志一般都需要进行写磁盘操作,大访问量会对 I/O 造成压力,降低程序性能;此时可以将日志写入消息队列,由处理程序订阅该队列进行消费。

  广播聊天:用户通过订阅频道来获得最新发布的消息。

实例演示

<?php
/**
* Pub.php
*
* @author ercom
*/ // 1.连接并选择数据库
$redis = new \Redis(); $bool = $redis->connect('127.0.0.1', 6379, 2.5, null, 100); if (! $bool) {
die('连接失败');
} $bool = $redis->select(0); // 此处是模拟将一个任务放置队列中, 并发布
//$phone = 13199999999;
//$redis->lpush('sms-signin', $phone);
//$redis->publish('sms-signin', $phone);
// // 2.模拟生成批量数据 for ($i = 0; $i < 10; $i++) {
$phone = mt_rand(10000000000, 99999999999); echo $phone . PHP_EOL; // 使用 publish 代替下面模拟的每个任务 100ms 的耗时操作,在 subscribe 中处理
//echo $phone . PHP_EOL;
//usleep(100000); $redis->publish('signin-sms', $phone);
}

如果不将消息写入队列,而是每次都自己执行,响应时间很长,用户体验不好。

通过订阅程序异步处理任务,用户无感知,并且体验会很好。

<?php
/**
* Sub.php
*
* @author ercom
*/ // 1.连接并选择数据库
$redis = new \Redis(); $bool= $redis->connect('127.0.0.1', 6379, 2.5, null, 100); if (! $bool) {
die('连接失败');
}

// * 阻止 redis read timeout
$redis->setOption(Redis::OPT_READ_TIMEOUT, -1); // 2.订阅耗时任务并处理
// 如果这个订阅的任务比较重要,将对可用性有要求,日志收集等可以采用。
$redis->subscribe(['signin-sms', 'signin-mail', 'crawler-task-1'], function($redis, $chan, $msg) {
switch ($chan) {
case 'signin-sms': // 耗时1s, 发送并记录数据库
sleep(1);
echo "{$msg} 发注册短信\n"; break; case 'signin-mail': break; case 'crawler-task-1':
// 其他耗时任务,通过 $msg 传递参数来执行
break;
}
});

其它常见的消息队列产品有 RabbitMQ、ZeroMQ、ActiveMQ、Kafka ..

Link:https://www.cnblogs.com/farwish/p/9513100.html

[Design] 后端程序的高并发与异步的更多相关文章

  1. 配置开发支持高并发TCP连接的Linux应用程序全攻略

    http://blog.chinaunix.net/uid-20733992-id-3447120.html http://blog.chinaunix.net/space.php?uid=16480 ...

  2. [转载] Linux下高并发socket最大连接数所受的各种限制

    原文: http://mp.weixin.qq.com/s?__biz=MzAwNjMxNjQzNA==&mid=207772333&idx=1&sn=cfc8aadb422f ...

  3. Linux下高并发socket最大连接数所受的各种限制

    http://blog.csdn.net/guowake/article/details/6615728 1.修改用户进程可打开文件数限制 在Linux平台上,无论编写客户端程序还是服务端程序,在进行 ...

  4. Linux配置支持高并发TCP连接(socket最大连接数)

    Linux配置支持高并发TCP连接(socket最大连接数) Linux配置支持高并发TCP连接(socket最大连接数)及优化内核参数 2011-08-09 15:20:58|  分类:LNMP&a ...

  5. Linux下高并发socket最大连接数

    http://soft.chinabyte.com/os/285/12349285.shtml (转载时原文内容做个修改) 1.修改用户进程可打开文件数限制 在Linux平台上,无论编写客户端程序还是 ...

  6. nginx、swoole高并发原理初探

    阅前热身 为了更加形象的说明同步异步.阻塞非阻塞,我们以小明去买奶茶为例. 同步与异步 同步与异步的重点在消息通知的方式上,也就是调用结果通知的方式. 同步:当一个同步调用发出去后,调用者要一直等待调 ...

  7. 高并发情况下Linux系统及kernel参数优化

    众所周知在默认参数情况下Linux对高并发支持并不好,主要受限于单进程最大打开文件数限制.内核TCP参数方面和IO事件分配机制等.下面就从几方面来调整使Linux系统能够支持高并发环境. Iptabl ...

  8. Linux下高并发socket最大连接数各种限制的调优

    1.修改用户进程可打开文件数限制 在Linux平台上,无论编写客户端程序还是服务端程序,在进行高并发TCP连接处理时,最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统为每 ...

  9. Linux下高并发socket最大连接数所受的各种限制(转)

    1.修改用户进程可打开文件数限制在Linux平台上,无论编写客户端程序还是服务端程序,在进行高并发TCP连接处理时,最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统为每个 ...

随机推荐

  1. python获取机器信息脚本(网上寻找的)

    获取机器信息(待测试) # -*- coding: UTF-8 -*- import psutil import json import os import socket import struct ...

  2. Django学习笔记之验证和授权

    验证和授权概述 Django有一个内置的授权系统.他用来处理用户.分组.权限以及基于cookie的会话系统.Django的授权系统包括验证和授权两个部分.验证是验证这个用户是否是他声称的人(比如用户名 ...

  3. Django学习笔记之视图高级-类视图

    类视图 在写视图的时候,Django除了使用函数作为视图,也可以使用类作为视图.使用类视图可以使用类的一些特性,比如继承等. View django.views.generic.base.View是主 ...

  4. 使用OwnCloud搭建自己的云盘

    使用OwnCloud搭建自己的云盘 1.用途 ownCloud是一款开源的私有云框架,可以通过它实现个人网盘的功能,ownCloud提供了各个平台的文件同步客户端,因此搭建好ownCloud之后即可使 ...

  5. innobackupex 远程备份

    # 远程备份./innobackupex --defaults-file=/etc/my.cnf --no-timestamp -user xxx --host xx.xx.123 --passwor ...

  6. 【转】Mysql索引设计原则

    来源:https://segmentfault.com/a/1190000000473085 假设一高频查询如下SELECT * FROM user WHERE area='amoy' AND sex ...

  7. html5/h5课件如何制作?

    随着flash逐渐被html5取代,很多教育机构都在面临着如何将自己的flash交互课件产品转换到html5版本的问题,最近遇到非常多的客户一上来就问我,flash课件能直接转成Html5课件么?答案 ...

  8. Difference Between Git and SVN

    From: http://www.differencebetween.net/technology/software-technology/difference-between-git-and-svn ...

  9. CentOS7.5 GlusterFS 分布式文件系统集群环境搭建

    环境准备: 系统版本:CentOS Linux release 7.5.1804 (Core) glusterfs:3.6.9 userspace-rcu-master: 硬件资源: 10.200.2 ...

  10. 如何成功打造一款中台(PaaS)产品

    现如今,很多互联网公司在向“大中台,小前台”方向靠拢,通过打造高度可用.高度可定制的中台,来支撑前台业务的快速发展.个性化功能定制.但在构建中台产品(即所谓公司级平台)的时候,如何能成功让一款产品从0 ...