Linux内核为大规模支持100Gb/s网卡准备好了吗?并没有

之前用 千兆的机器 下载速度 一般只能到 50MB 左右 没法更高 万兆的话 可能也就是 200MB左右的速度 很难更高 不知道后续的服务器 会不会 能够提升一下 

之前坐着说到了 120nm 的时间 发送一个包 记得CPU的指令周期是 -3nm左右
个内存的时间差不多了

不知道RDMA等的方式 可不可能完成相应的高吞吐量的处理.

原作者博客
https://blog.csdn.net/zhoukejun/article/details/4153266
 
版权声明:本文为博主原创,无版权,未经博主允许可以随意转载,无需注明出处,随意修改或保持可作为原创! https://blog.csdn.net/dog250/article/details/86756635

又是大年初一,和过去三十多年的新年一样,无聊,消沉,吃不好饭,盼着上班(小时候是盼着开学…)…


事实上,不仅仅是Linux内核,几乎所有的 现代操作系统 都没有为支持100Gb/s做好准备。

这是一个变革的年代,现代操作系统 已经不再 现代

我们回望一下类似Unix/Linux,Windows NT这些操作系统是如何被称作 现代 的。嗯,是因为虚拟内存系统。

是 隔离的地址空间 让操作系统一下子进入了现代社会。在此之前,操作系统都是谭浩强书里写的那种一旦操作空指针就会系统崩溃的系统。


自打操作系统成为现代操作系统后,貌似它就没有再有过突破性的进化,但是其周边,确实翻天覆地了。

先看CPU和系统架构,先是其主频的疯涨,然后又是多核架构。主频增加这个对于操作系统内核来讲是好事,在单位时间内能多执行很多指令,这完全是一个打鸡血的过程。然而多核心架构就让几乎所有的操作系统内核有点开始吃力应对了。其对数据同步的解法中,往往都是见招拆招地加锁。

多核心架构对系统性能的作用力和主频增加的作用力方向是相反的,如果主频的增加让CPU在单位时间执行了更多的指令,那么多核之间的沟通成本抵消了这个主频提升带来的收益,因为同步成本是高昂的。

多核心架构重演了 人月神话

最后的结果就是,支持SMP多核架构的操作系统内核,其实就是给当年引入虚拟内存时的现代操作系统全部挂满了枷锁而已。单就操作系统内核本身而言,它更慢了,而不是更快了!

意思是说,多核心架构下,单独的CPU上,操作系统的执行效率要比单核架构下操作系统的执行效率更低了!核数越多,沟通同步成本越大,最终让性能/核心数曲线上凸!

而沟通同步的方式,无外乎就是,锁!

所以说,锁是阻止操作系统性能多核扩展性伸缩性的罪魁祸首!

事实上,Linux内核也好,UNIX也好,Windows NT也好,根本就不是为多核心架构而设计的,它们只是 简单适应了SMP而已

操作系统虽然是现代的, 但是却不是当代的! (我记得上小学和初中那会儿,老师说过现代和当代的区别)


在现代操作系统发展停滞不前的时候,硬件却没有闲着。

100Gb/s网卡的意思是说, 如果有100Gb的数据在缓冲区里,它可以在1秒中把它们全部发送出去。但问题是, 操作系统有能力在1秒钟内准备好100Gb的数据吗?

我们知道,在我们对操作系统的传统认知中,数据的源头来自于用户态缓冲区,经由操作系统内核协议栈,将数据怼到网卡缓存区。我们可以简单测算一下,操作系统的内核协议栈有没有能力1秒钟往网卡怼100Gbit的数据。

这里有几个简单的统计数据统计点,获取这些数据的方法:

  • 在tcp_write_xmit函数的while循环里打点,看看发送一个skb需要多久;
  • 使用pktgen类似的机制,测算单包发送延时。

在如今常见的1Gb/s的网卡上发包测算,平均约4微秒发送一个Full Mss的包,貌似Linux内核对于千兆网卡应对的还不错,但这并不意味着它应对10Gb/s,40Gb/s,100Gb/s这些发送速率时,是可以线性扩展的!

简单反算,100Gb/s需要单包发送延时在120纳秒以内,我们只需要测算一下120纳秒够不够内核协议栈处理一个数据包就可以了。

纳秒,这是一个cache级别的时间,如果发生了一次cache命中,至少可以节省20到30纳秒的时间,但是反过来如果很不幸cache missing了,那么就要在120纳秒中扣除20到30纳秒,这样就剩下90纳秒了。

该重头戏了:

  • 一次spinlock需要20纳秒左右的时间;
  • 一次内存分配需要大概60纳秒的时间;

很不幸,没有时间剩下来了。以上的测算还是基于64字节的小包,丝毫没有包括真正的处理开销!而我们知道,协议栈处理过程中,有超级多的协议逻辑…120纳秒远远不够!

在协议栈处理数据包并发送的过程中,内存分配和内存操作将会引入巨大的延时,这十有八九又会牵扯到cache missing!

从另一个角度看,Linux内核作为一个通用操作系统内核,显然并没有针对单独的特性做极端的性能优化,这个意义上,我不是说它没有为大规模支持100Gb/s网卡做好准备,而是它可能根本就没有准备在支持这种高速网卡的竞赛中取得胜利!这方面你可以和David Miller交流一下,看看在他看来,代码的可维护性,简洁性,统一处理这些和极端的性能优势相比,哪个更重要。

不过,无论如何,Linux内核,Windows NT之类的OS内核在多核心架构下无法线性扩展,这确实是阻碍其从 现代操作系统 进化到 当代操作系统 的路易十六!

[转帖]Linux内核为大规模支持100Gb/s网卡准备好了吗?并没有的更多相关文章

  1. [转贴]Linux内核LTS长期支持版生命周期

    Linux内核LTS长期支持版生命周期 https://blog.51cto.com/dangzhiqiang/1894026 搞不懂长期支持版本的特点和区别. 党志强关注0人评论4371人阅读201 ...

  2. 基于tiny4412的Linux内核移植(支持device tree)(三)

    作者信息 作者: 彭东林 邮箱:pengdonglin137@163.com QQ:405728433 平台简介 开发板:tiny4412ADK + S700 + 4GB Flash 要移植的内核版本 ...

  3. 基于tiny4412的Linux内核移植(支持device tree)(一)

    作者信息 作者: 彭东林 邮箱:pengdonglin137@163.com QQ:405728433 平台简介 开发板:tiny4412ADK + S700 + 4GB Flash 要移植的内核版本 ...

  4. [转帖]Linux内核系统体系概述

    Linux内核系统体系概述 https://www.cnblogs.com/alantu2018/p/8447369.html Linux 内核主要由 5 个模块构成,它们分别是: 进程调度模块 用来 ...

  5. [转帖]Linux内核剖析(一)Linux的历史

    Linux内核剖析(一)Linux的历史 https://www.cnblogs.com/alantu2018/p/8991158.html Unix操作系统 Unix的由来 汤普逊和里奇最早是在贝尔 ...

  6. xmake v2.6.2 发布,新增 Linux 内核驱动模块构建支持

    Xmake 是一个基于 Lua 的轻量级跨平台构建工具. 它非常的轻量,没有任何依赖,因为它内置了 Lua 运行时. 它使用 xmake.lua 维护项目构建,相比 makefile/CMakeLis ...

  7. 基于tiny4412的Linux内核移植(支持device tree)(二)

    作者信息 作者: 彭东林 邮箱:pengdonglin137@163.com QQ:405728433 平台简介 开发板:tiny4412ADK + S700 + 4GB Flash 要移植的内核版本 ...

  8. linux内核是如何支持深度睡眠(deep sleep)方式的?

    1. 硬件架构 arm64 2. 内核版本 4.19 3. 分析相关函数 setup_arch() -> psci_dt_init() -> psci_0_2_init() -> g ...

  9. OMAP4之DSP核(Tesla)软件开发学习(二)Linux内核驱动支持OMAP4 DSP核

    注:必须是Linux/arm 3.0以上内核才支持RPMSG,在此使用的是.config - Linux/arm 3.0.31 Kernel Configuration.(soure code fro ...

随机推荐

  1. (零 ) 天猫精灵接入Home Assistant-总说明

    天猫精灵设备管理 https://bbs.hassbian.com/tmall 自己的hass访问地址 http://[自己的IP或域名]:8123/states 自己的MQTT服务器访问 http: ...

  2. Objective-C 锁

    多线程在Objective-C项目中占有很大的比重,它能提高程序的运行效率,但也因此带来线程安全问题.而锁就是解决线程安全问题最常用的武器. 锁有很多种. 1.NSLock,非递归锁 NSLock * ...

  3. 浅谈UI自动化测试

    最近一直在学习python,正好部门技术结构调整,就开始了点工向UI自动化测试的转变,我要说瞌睡来了就掉枕头么? 不过还好,可以将python的学习成果在自动化测试中实践... 1.about自动化测 ...

  4. Python 爬取 11 万 Java 程序员信息竟有这些重大发现!

    一提到程序猿,我们的脑子里就会出现这样的画面: 或者这样的画面: 心头萦绕的字眼是:秃头.猝死.眼镜.黑白 T 恤.钢铁直男-- 而真实的程序猿们,是每天要和无数数据,以及数十种编程语言打交道.上能手 ...

  5. thymeleaf参考手册

    1.创建 html <!DOCTYPE html><html xmlns:th="http://www.thymeleaf.org"></html&g ...

  6. Foreach循环输出索引值

    循环输邮索引值,使用for是没有任何问题: class Bh { public string[] str { get; set; } public void TestFor() { ; i < ...

  7. flask多app和栈的应用

    一.简介     flask的蓝图可以实现url的分发,当有多个app时也可以利用app进行url分发,这里介绍下使用方式和内部原理以及栈的应用. 二.多app使用 使用示例 from werkzeu ...

  8. C# 泛型分组和Linq分组的异同

    没什么好说的,因为用的到,所以作个记录, 代码如下: using System; using System.Collections.Generic; using System.Linq; using ...

  9. css-文本左右对齐

    1.给目标元素加 display:block;text-align:justify; 2.如果最后一行没充满整行,因为text-align:justify,所以字字之间会有间隔,应给目标元素加伪类,添 ...

  10. Excel 中批量处理数据(改成 json 格式)

    如下excel: 需要处理成下面的效果: 方法: 在 C2 中输入公式: ="{"""&"code"&"" ...