Python并发编程-并发解决方案概述
Python并发编程-并发解决方案概述
作者:尹正杰
版权声明:原创作品,谢绝转载!否则将追究法律责任。
一.并发和并行区别
1>.并行(parallel)
同时做某些事,可以互不干扰的同一个时刻做几件事。
2>.并发(concurrency)
也是同时做某些事,但是强调,一个时间段内有多少事情要处理。
3>.举例
高速公路的车道,双向4车道,所有车辆(数据)可以互不干扰的在自己的车道上行驶(传输)。
在同一时刻,每条车道上可能同时又车辆在跑,是同时发生的概念,这是并行。
在一段时间内,又这么多车要通过,这是并发。
二.并发的常见解决方案
"食堂打饭模型":
中午12点,开饭啦,大家都涌向食堂,这就是并发。如果人很多,就是高并发。
1>.队列,缓冲区
假设只有一个状况,陆续涌入食堂的人,排队大财是比较好的方式。 所以,排队(队列)是一种天然解决并发的办法。 排队就是把人排成队列,先进先出,解决了资源使用的问题。 排成的队列,其实就是一个缓冲地带,就是缓冲区。 假设女生优先,每次都从这个队伍中优先选出女生来打饭,这就是优先队列。 例如Queue模块的类Queue,LifoQueue,PriorityQueue(小顶堆实现)。
2>.争抢
只开一个这状况,有可能没有秩序,也就是谁挤进去就给谁打饭。 挤到窗口的人占据窗口,直到打到饭菜离开。 其他人继续争抢,会有一个人占据着窗口,可以视为锁定窗口,窗口就不能为其他人提供服务了。这就是一种锁机制。 谁抢到资源就上锁,排他性的独占锁,其他人只能等候。 争抢也是一种高并发解决方案,但是,这样可能不好,因为有可能有人很长时间抢不到。
3>.预处理
其实排队不是问题,就算2万人拍成一队等吃饭,如果能10分钟搞定也行。问题就是并处并发的速度太慢了。 经过分析发现,本食堂主要是打菜等候时间太长,因为每个人都是现场点菜现做。 食堂可以提前统计大多数人最爱吃的菜品,将最爱吃的80%的热门菜,提前做好,保证供应,%的冷门菜,现做。 这样大多数人,就算不排队采用争抢的方式锁定窗口,也很快达到饭菜走了,快速释放窗口。 这是以中国提前加载用户需要的数据的思路,预处理思想,缓存常用。
4>.并行
成百上千人同时来吃饭,一个队伍搞不定的,多开打饭窗口形成多个队列,如同开多个车道一样,并行打菜。 开窗口就得扩大食堂,得多古人再窗口提供服务,造成成本上升。高速公路的多车道是并行方案,多车道提高了通信效率,但是也意味着建造维护成本也高了。 日常可以通过购买更多服务器,或多开进程,线程实现并行处理,来解决并发问题。 注意这些都是水平扩展的思想。并行是解决并发手段之一。 温馨提示:
如果线程在单CPU上处理,就不是真并行了。
但是,现在多数服务器都是多CPU的,至少也是单颗多核CPU,服务的部署往往是多机的,分布式的,这都是并行处理。
5>.提速
提高单个窗口的打饭速度,也是解决并发的方式。 打饭人员提高工作技能,或为单个窗口配更多的服务人员,都是提速的办法。 提高单个CPU性能,或单个服务器安装更多CPU。 这是一种垂直扩展思想。
6>.消息中间件
在北京的上地,西二旗地铁站外九曲回肠的走廊,缓冲人流,进去之后再多口安检进站。 常见的消息中间件又RabbitMQ,ActiveMQ(Apache),RocketMQ(阿里),kafka(Apache)等。 当然海域哦其它手段解决并发问题,但是已经例举出了常用的解决方案,一般来说不同的场景用不同的策略,而策略可能是多种方式的优化组合。 例如开食堂(多地),也可以把食堂建设到宿舍生活区(就近原则),所以说,技术来源于生活。
Python并发编程-并发解决方案概述的更多相关文章
- C#并发编程实例讲解-概述(01)
在工作中经常遇到需要并发编程的实例,一直没有时间来整理,现在空了下来,个人整理对并发一下理解. 关于并发编程的几个误解 误解一:并发编程就是多线程 实际上多线只是并发编程的一中形式,在C#中还有很多更 ...
- java并发编程——并发容器
概述 java cocurrent包提供了很多并发容器,在提供并发控制的前提下,通过优化,提升性能.本文主要讨论常见的并发容器的实现机制和绝妙之处,但并不会对所有实现细节面面俱到. 为什么JUC需要提 ...
- java并发编程 --并发问题的根源及主要解决方法
目录 并发问题的根源在哪 缓存导致的可见性 线程切换带来的原子性 编译器优化带来的有序性 主要解决办法 避免共享 Immutability(不变性) 管程及其他工具 并发问题的根源在哪 首先,我们要知 ...
- Java并发编程-并发工具包(java.util.concurrent)使用指南(全)
1. java.util.concurrent - Java 并发工具包 Java 5 添加了一个新的包到 Java 平台,java.util.concurrent 包.这个包包含有一系列能够让 Ja ...
- 并发编程>>并发级别(二)
理解并发 这是我在开发者头条看到的.@编程原理林振华 有目标的提升自己会事半功倍,前行的道路并不孤独. 1.阻塞 当一个线程进入临界区(公共资源区)后,其他线程必须在临界区外等待,待进去的线程执行完成 ...
- python并发编程(并发与并行,同步和异步,阻塞与非阻塞)
最近在学python的网络编程,学了socket通信,并利用socket实现了一个具有用户验证功能,可以上传下载文件.可以实现命令行功能,创建和删除文件夹,可以实现的断点续传等功能的FTP服务器.但在 ...
- Java并发编程-并发工具类及线程池
JUC中提供了几个比较常用的并发工具类,比如CountDownLatch.CyclicBarrier.Semaphore. CountDownLatch: countdownlatch是一个同步工具类 ...
- Java并发编程--并发容器之Collections
在JDK1.2之前同步容器类包括Vector.Hashtable,这两个容器通过内置锁synchronized保证了同步.后面的ArrayList.LinkedList.HashMap.LinkedH ...
- 【Java进阶】并发编程
PS:整理自极客时间<Java并发编程> 1. 概述 三种性质 可见性:一个线程对共享变量的修改,另一个线程能立刻看到.缓存可导致可见性问题. 原子性:一个或多个CPU执行操作不被中断.线 ...
随机推荐
- EasyDSS高性能RTMP、HLS(m3u8)、HTTP-FLV、RTSP流媒体服务器解决方案之点播分享
背景介绍 EasyDSS流媒体服务器软件,提供一站式的视频上传.转码.点播.直播.时移回放等服务,极大地简化了开发和集成的工作.其中,点播功能主要包含:上传.转码.分发.直播功能,主要包含:直播.录像 ...
- EasyDSS高性能RTMP、HLS(m3u8)、HTTP-FLV、RTSP流媒体服务器出现no compatible source was found for this media问题的解决
背景分析 EasyDSS流媒体解决方案总体可划分成三个部分:前端视频源设备(PC.手机.摄像机)流媒体数据获取并即时回传.流媒体服务器端直播和录像与回放.客户端直播播放与录像检索回放.前端推流我们使用 ...
- multiplot 安装与配置
环境: ros lunar 1. 安装rqt (desktop 版本的已经有了) sudo apt-get install ros-lunar-rqt 2. 安装qwt sudo apt-get in ...
- 你该怎么学习C++——思想层面
Javascript是世界上最受误解的语言,其实C++何尝不是.坊间流传的错误的C++学习方法一抓就是一大把.我自己在学习C++的过程中也走了许多弯路,浪费了不少时间. 为什么会存在这么多错误认识?原 ...
- EF Core 多个DbContext迁移命令
如果涉及多个项目,注意保持DbContext所在项目和启动项目关于数据库的包引用版本一致 注意设置不同的DbContext迁移文件目录不同 1.Enable-migrations EntityFram ...
- Jeecg 支持多视图设置
<!-- 视图解析器1:html视图解析器 必须先配置freemarkerConfig,注意html是没有prefix前缀属性的 --> <bean id="freemar ...
- 在 Hibernate 中inverse的属性
hibernate配置文件中有这么一个属性inverse,它是用来指定关联的控制方的.inverse属性默认是false,若为false,则关联由自己控制,若为true,则关联由对方控制.见例子: 一 ...
- Java多线程看这一篇就足够了(吐血超详细总结)
进程与线程 进程是程序的一次动态执行过程,它需要经历从代码加载,代码执行到执行完毕的一个完整的过程,这个过程也是进程本身从产生,发展到最终消亡的过程.多进程操作系统能同时达运行多个进程(程序),由于 ...
- 微信多开简单实现 WeXinMoreOpen.bat
新建一个 WeXinMoreOpen.bat 文件,内容如下 @echo off D: cd "D:\Program Files (x86)\Tencent\WeChat" sta ...
- [ARM-Linux开发] 嵌入式 linux如何生成ko文件
hello.c文件如下 驱动程序: #include <Linux/***.h> 是在linux-2.6.29/include/linux下面寻找源文件. #include <asm ...