10.6 Nginx 高并发连接

Nginx 高并发连接

• 什么是IO，输入输出

  ---

    

• Web服务器IO的整个详细过程

  ---

 

 

        （1）客户发起请求到服务器网卡；

        （2）服务器网卡接受到请求后转交给内核处理；

        （3）内核根据请求对应的套接字，将请求交给工作在用户空间的Web服务器进程

        （4）Web服务器进程根据用户请求，向内核进行系统调用，申请获取相应资源（如index.html）

        （5）内核发现web服务器进程请求的是一个存放在硬盘上的资源，因此通过驱动程序连接磁盘

        （6）内核调度磁盘，获取需要的资源

        （7）内核将资源存放在自己的缓冲区中，并通知Web服务器进程

        （8）Web服务器进程通过系统调用取得资源，并将其复制到进程自己的缓冲区中

        （9）Web服务器进程形成响应，通过系统调用再次发给内核以响应用户请求

        （10）内核将响应发送至网卡

       （11）网卡发送响应给用户

        用户请求-->送达到用户空间-->系统调用-->内核空间-->内核到磁盘上读取网页资源->返回到用户空间->响应给用户。

        客户端向Web服务器请求的过程中，有两个I/O过程，一个就是客户端请求的I/O，另一个就是Web服务器请求页面的磁盘I/O

 

 

• IO介绍：

  ---

          网络IO

          磁盘IO

• IO模型：

  ---

       同步/异步        关注的是(被调用者)消息通知机制

            同步，            调用者自己主动等待被调用者返回消息，才能继续执行

            异步，            被调用者通过状态，通知或回调机制主动通知调用者被调用者的运行状态

        阻塞/非阻塞      关注的是调用者在等待结果返回之前的状态

            阻塞：              调用结果返回之前，调用者被挂起

            非阻塞：          调用者不会被挂起

     

• 下面我们来举例说明

  ---

      老王的视频是洗衣服，我们不洗衣服，我们喝茶，万丈红尘三杯酒，千秋大业一壶茶，男人都是干大事的，所以我们喝茶。

      老张爱喝茶，废话不说，煮开水。

      出场人物：老张，水壶两把（普通水壶，简称水壶；会响的水壶，简称响水壶）。

1. 老张把水壶放到火上，立等水开。（同步阻塞）老张觉得自己有点傻
2. 老张把水壶放到火上，去客厅看电视，时不时去厨房看看水开没有。（同步非阻塞）老张还是觉得自己有点傻，于是变高端了，买了把会响笛的那种水壶。水开之后，能大声发出嘀~~~~的噪音。
3. 老张把响水壶放到火上，立等水开。（异步阻塞）老张觉得这样傻等意义不大
4. 老张把响水壶放到火上，去客厅看电视，水壶响之前不再去看它了，响了再去拿壶。（异步非阻塞）老张觉得自己聪明了。

 

• IO复用：

  ---

        老张开了一家茶叶公司，不时有客户要来品茶，老张自己忙不过来，就找了20个秘书，一个秘书可以同时泡一种茶，但是不用亲自泡茶了，但是老周需要过一会（阻塞在这）问一下20个秘书，

信号驱动：

        老张开了一家茶叶公司，不时有客户要来品茶，老张自己忙不过来，就找了20个秘书，一个秘书可以同时泡一种茶，但是不用亲自泡茶了，老周给一个秘书一个信号，如果泡好了就给老周发个信息，老周就知道了

 

        所谓同步异步，只是对于水壶而言。普通水壶，同步；响水壶，异步。虽然都能干活，但响水壶可以在自己完工之后，提示老张水开了。这是普通水壶所不能及的。同步只能让调用者去轮询自己（情况2中），造成老张效率的低下。

 

        所谓阻塞非阻塞，仅仅对于老张而言。立等的老张，阻塞；看电视的老张，非阻塞。情况1和情况3中老张就是阻塞的，媳妇喊他都不知道。虽然3中响水壶是异步的，可对于立等的老张没有太大的意义。所以一般异步是配合非阻塞使用的，这样才能发挥异步的效用。

 

        另外我们可以从另一个角度来看看这个同步和异步，如果采用同步，老张最累，如果采用异步，响水壶最累，在系统中分别对应着应用程序和内核，那为什么我们要让程序省事，让内核累死呢？

 

 

 

IO模型的具体实现：

---

• Select:    Linux实现对应，I/O复用模型，BSD4.2最早实现
•     监听端口数量受限于 /proc/sys/fs/file-max   
      对socket扫描是轮询
      数组   1024
• Poll:Linux实现，对应I/O复用模型，System V unix最早实现

          本质和select没有区别，只是将数据放置内核空间

            最大连接数没有限制

            水平触发   如果报告了该状态，没有被处理，下次poll时会再次报告该状态

• Epoll:Linux实现，对应I/O复用模型，具有信号驱动I/O模型的某些特性

           select 和poll 的增强版本，支持水平触发和边缘触发  某些事件只通知一次

            “事件”的就绪通知机制，callback，。而select采用的是轮询

             没有最大连接数限制 ，1G内存支持监听10w个端口

             效率提升  非轮询

• Kqueue：FreeBSD实现，对应I/O复用模型，具有信号驱动 I/O模型的某些特性
• /dev/poll：SUN的Solaris实现，对应I/O复用模型，具有信号 驱动I/O模型的某些特性Iocp：   Windows实现，异步I/O模型 

进程和线程

---

• 进程是具有一定独立功能的，在计算机中已经运行的程序的实体

                在linux 2.4之前，进程是基本运作单位，

                在支持线程的系统中，linux2.6之后，线程才是基本的运作单位

• 现在计算机系统可在同一段时间内以进程的形式将多个程序加载到存储器中，并借由时间共享（或称时分复用），以在一个处理器上表现出同时（平行性）运行的感觉

 

• 同样的，使用多线程技术（多线程即每一个线程都代表进程内的一个独立执行上下文）的操作系统或计算机架构，同样程序的平行线程，可以在多cpu主机或网络上真正同时运行（在不同cpu上）

 

 

三种工作模型比较：

        Web服务器要为用户提供服务，必须以某种方式，工作在某个套接字上。一般Web服务器在处理用户请求时，一般有如下三种方式可选择：多进程方式、多线程方式、异步方式。

            多进程方式：为每个请求启动一个进程来处理。由于在操作系统中，生成进程、销毁进程、进程间切换都很消耗CPU和内存，当负载高时，性能会明显降低。

                优点：稳定性！由于采用独立进程处理独立请求，而进程之间是独立的，单个进程问题不会影响其他进程，因此稳定性最好。

                缺点： 资源占用！当请求过大时，需要大量的进程处理请求，进程生成、切换开销很大，而且进程间资源是独立的，造成内存重复利用。

            多线程方式：一个进程中用多个线程处理用户请求。由于线程开销明显小于进程，而且部分资源还可以共享，因此效率较高。

                优点：开销较小！线程间部分数据是共享的，且线程生成与线程间的切换所需资源开销比进程间切换小得多。

                缺点：稳定性！线程切换过快可能造成线程抖动，且线程过多会造成服务器不稳定。

            异步方式：使用非阻塞方式处理请求，是三种方式中开销最小的。但异步方式虽然效率高，但要求也高，因为多任务之间的调度如果出现问题，就可能出现整体故障，

            因此使用异步工作的，一般是一些功能相对简单，但却符合服务器任务调度、且代码中没有影响调度的错误代码存在的程序。

                优点：性能最好！一个进程或线程处理多个请求，不需要额外开销，性能最好，资源占用最低。

                缺点：稳定性！某个进程或线程出错，可能导致大量请求无法处理，甚至导致整个服务宕机