.

异数OS TCP协议栈测试(五)–关于QOS与延迟


##本文来自异数OS社区


github: https://github.com/yds086/HereticOS

异数OS社区QQ群: 652455784

异数OS-织梦师(消息中间件 ,游戏开发方向)群: 476260389

异数OS-织梦师-Xnign(Nginx方向)群: 859548384


关于TCP QOS以及延迟基本理论

本文讲述的是echo模式下的IO延迟与QOS,延迟是个比较敏感的话题,这也是异数OS直到今天才放出具体延迟数据的原因,因为这需要一个具体的业务场景才可以描述清楚延迟是什么,所以当Xnign稳定的提供服务后,我们才开始做具体的更有意义的延迟测试,Xngin是一个httpserver,因此延迟的理论计算很直白很简单,下面是延迟理论计算公式。

1.通常情况下,系统为所有并发服务提供均衡请求时(linux C10K时无法稳定提供)

平均延迟=(系统并发连接数量 /QPS) +(系统链路延迟).

2.当系统有QOS质量控制的情况下(linux无法提供)

平均延迟=(QOS队列中IO数量/QPS) +(系统链路延迟).

3.异数OS则在提供以上两种延迟方式基础上提供第三种延迟模式(linux无法提供)

最小延迟=(业务响应延迟/QPS) +(系统链路延迟) .

除去系统链路延迟(网卡交换机路由延迟),第一第二种模式,延迟都与系统并发数以及系统能够提供的QPS性能有直接关系,而第三种模式典型的业务响应延迟数值上可以认为是1,因此无论连接数量多少,都可以提供1/QPS的延迟,该模式可在海量链接时任然提供低延迟体验,这一方案唯有异数OS平台可提供,数据没有上,明白的私聊。

关于Xnign的实现以及测试代码可以在社区群共享获得。

Xnign延迟测试方案

异数OS软件交换机平台理论延迟测试

1.我们在system2启动两个容器,并分别启动Xnign服务,容器1 ip=192.36.0.51 qos=1,容器2 ip =192.36.0.101 qos=2,命令如下

S2-C1: (list (StartService Xnign “-qosid=1”) )

S2-C2: (list (StartService Xnign “-qosid=2”) )

2.在system4启动两个容器,其中容器2启动4个命令控制模式XnignTest,分别对应链接不同qos下的两个Xnign,命令如下

S4-C2: (list (StartService XnignTest “-dip=192.36.0.51 -qosid=1 -ctl”))

S4-C2: (list (StartService XnignTest “-dip=192.36.0.51 -qosid=2 -ctl”))

S4-C2: (list (StartService XnignTest “-dip=192.36.0.101 -qosid=1 -ctl”))

S4-C2: (list (StartService XnignTest “-dip=192.36.0.101 -qosid=2 -ctl”))

创建的服务:

3.测试两个Xnign的延迟,

S4-C2: (ServiceInput 1 “-pc=10 -lp -start”)

S4-C2: (ServiceInput 1 “-pc=10 -sp -start”)

S4-C2: (ServiceInput 3 “-pc=10 -lp -start”)

S4-C2: (ServiceInput 3 “-pc=10 -sp -start”)

结果:

延迟数据单位为ns,可以看出长连接平均延迟为1us,短连接平均延迟2.5us,注意由于我们开启了两个Xnign并占用两个Qos队列,因此当system上只有一个Xnign时,延迟测试数据只有该数据一半左右,另外延迟统计算法大概占用200ns左右没有剔除。

  1. 给ip=192.36.0.51 qos=1的Xnign服务一个100W并发长链接的循环压测测试

    S4-C1: (list (StartService XnignTest “-dip=192.36.0.51 -c=1000000 -qosid=1”))

100W长链接循环压测,平均延迟570ms。

5.回到S4-C2,再分别测试下两个Xnign的服务延迟

S4-C2: (ServiceInput 1 “-pc=10 -lp -start”)

S4-C2: (ServiceInput 1 “-pc=10 -sp -start”)

S4-C2: (ServiceInput 2 “-pc=10 -lp -start”)

S4-C2: (ServiceInput 2 “-pc=10 -sp -start”)

S4-C2: (ServiceInput 3 “-pc=10 -lp -start”)

S4-C2: (ServiceInput 3 “-pc=10 -sp -start”)

S4-C2: (ServiceInput 4 “-pc=10 -lp -start”)

S4-C2: (ServiceInput 4 “-pc=10 -sp -start”)

得到结果:



可以看出由于100W压测链接影响,S2-C1的Xnign服务器延迟已经比较高了,其中短连接几乎测试失败,长连接则稳定在确定的570ms延迟上,而S2-C2的Xnign由于在Qos2上,因此还能正常低延迟访问。

wrk linux 无优化环境压测

压测客户端为千兆网卡,linux环境,内网无丢包,成绩大概2线程 9W QPS,120us平均延迟,该测试主要被linux本身性能约束,并不反映Xnign服务端的最大性能容量,实际上wrk 16CPU核16线程压测Xnign时,异数OS CPU占用率仅3%,而此时linux wrk已16核满载,成绩却下降到1W QPS,反复测试几次后linux wrk出现无法响应问题,杀掉进程重启wrk任然无响应,netstat显示无异常链接,此时windows浏览器任然可以打开页面,XnignTest压测任然正常,由于异数OS作者并不懂linux 优化,所以测试没有再继续深入,wrk使用保持长连接,短链接由于TIME_WAIT状态问题所以没有参考意义,请求数达到28231后wrk停止响应。



linux wrk异常后windows浏览器的反馈。

82599网卡4%丢包环境测试

下面两项为82599网卡4%丢包环境测试, 4%丢包可以用于模拟广域网高延迟高错误的情况,更能挑战反应协议栈以及上层应用的容错能力,稳定性,通讯延迟,链接活跃保持能力等,压测端使用XnignTest。

XnignTest压测 2W保持链接

196W QPS ,平均10ms,最小40us,正态分布统计99%在115ms中完成,超出400ms以上IO延迟约占0.15%

XnignTest压测 1链接

该测试用于直观分析单个链接的性能表现,可以看到大概1000QPS,平均1ms,最小10us,最大100ms。

这两项82599 4%丢包环境测试可以看到Xnign任然保持着0错误和100%的链接活跃可用,当然QPS性能损失还是有,20000链接时损失20%的性能从230WQPS下降到190W左右,单链接QPS性能则从10W QPS下降到1000,但即便是低延迟要求的游戏而言1000的QPS,100ms最大延迟平均1ms延迟也是完全够用的。

异数OS TCP协议栈测试(五)--关于QOS与延迟的更多相关文章

  1. 异数OS TCP协议栈测试(四)--网卡适配篇

    异数OS TCP协议栈测试(四)–网卡适配篇 本文来自异数OS社区 github: https://github.com/yds086/HereticOS 异数OS社区QQ群: 652455784 异 ...

  2. 异数OS TCP协议栈测试(三)--长连接篇

    异数OS TCP协议栈测试(三)--长连接篇 本文来自异数OS社区 github:   异数OS-织梦师(消息中间件)群: 476260389 异数OS TCP长连接技术简介 说起长连接,则首先要谈对 ...

  3. 异数OS TCP协议栈测试(二)--短连接篇

    异数OS TCP协议栈测试(二)--短连接篇 本文来自异数OS社区 github:   异数OS-织梦师(消息中间件)群: 476260389 测试目标 TCP 短链接IO性能测试,Client Se ...

  4. 异数OS TCP协议栈测试(一)--数据传输篇

    异数OS TCP协议栈测试(一)--数据传输篇 本文来自异数OS社区 github:   异数OS-织梦师(消息中间件)群: 476260389 测试目标 数据传输IO性能测试,主要是建立连接后测试收 ...

  5. 异数OS国产CPU平台移植项目需求分析

    异数OS国产CPU平台移植项目需求分析 目录 异数OS国产CPU平台移植项目需求分析 项目立项背景 项目需求分析 异数OS性能指标简介 1.TCP协议栈性能测试 2.异数OS-织梦师-水母 消息队列性 ...

  6. 国产CPU 申威1621 异数OS基础组件理论性能测试报告

    国产CPU 申威1621 异数OS基础组件理论性能测试报告 文章目录 国产CPU 申威1621 异数OS基础组件理论性能测试报告 前言 测试平台 测试项目 SW1621 异数OS 容器虚拟交换机模拟性 ...

  7. 异数OS 织梦师-水桶(三)-- RAM共享存储方案

    . 异数OS 织梦师-水桶(三)– RAM共享存储方案 本文来自异数OS社区 github: https://github.com/yds086/HereticOS 异数OS社区QQ群: 652455 ...

  8. 异数OS 织梦师-纤手(二)-- LPC RPC篇

    异数OS 织梦师-纤手(二)– LPC RPC篇 本文来自异数OS社区 github: https://github.com/yds086/HereticOS 异数OS社区QQ群: 652455784 ...

  9. 异数OS 2017 DPDK 峰会观后感

    1.DPDK in Container 使用虚拟网卡设备技术为每一个容器分配一个IP 网卡适配器(queue).容器技术可以解决虚拟机技术中虚拟机过于臃肿,难于热迁移的问题,可能可以代替美团OVS方案 ...

随机推荐

  1. springboot+nginx+https+linux实现负载均衡加域名访问简单测试

    把springboot项目打包成三个jar包,并指定端口为 14341,14342,14343 下载腾讯云免费ssl证书,解压后会出现如下图文件夹 把nginx文件夹下的 .crt 和 .key文件复 ...

  2. Fast Stone截图工具使用教程

    下面是Fast Stone的显示面板,很小巧,但功能强大 一.特殊功能 1.1 添加水印 (1)选择功能栏的"Edge" (2)将要水印的图片选中,选择水印图片的放置位置,应用即可 ...

  3. jQuery 工具类函数-URL操作函数

    调用名为$. param的工具函数,能使对象或数组按照key/value格式进行序列化编码,该编码后的值常用于向服务端发送URL请求,调用格式为: $. param (obj); 参数obj表示需要进 ...

  4. Loj2604开车旅行

    Loj2604开车旅行 我完全没有看出这道题哪里是DP 首先,一个位置向后的最近和第二近我们可以通过set去简单实现 通过维护最大和次大即可 至于高度相同的情况我们可以通过先在set中查询小的来实现 ...

  5. C# 任务并行

    . List<int> ids = new List<int>(); ; i < ; i++) { ids.Add(i); } ;//最大并行数量 List<Tas ...

  6. linux 老式 PCI 探测

    在老的内核版本中, 函数 pci_register_driver, 不是一直被 PCI 驱动使用. 相反, 它 们要么手工浏览系统中的 PCI 设备列表, 要么它们将调用一个能够搜索一个特定 PCI ...

  7. 浅谈vue $mount()

    Vue 的$mount()为手动挂载,在项目中可用于延时挂载(例如在挂载之前要进行一些其他操作.判断等),之后要手动挂载上.new Vue时,el和$mount并没有本质上的不同. 具体见代码: 顺便 ...

  8. Javascript中那些你不知道的事之-- false、0、null、undefined和空字符串

    话不多说直接进入主题:(如果有写的不对的地方欢迎指正) 我们先来看看他们的类型分别是什么: typeof类型检测结果 结论:false是布尔类型对象,0是数字类型对象,null是object对象,un ...

  9. Storm使用总结

    Strom安装 Strom启动 ./zkServer.sh start 启动nimbus主节点: nohup bin/storm nimbus >> /dev/null & 启动s ...

  10. ios设备iframe无法滚动

    在使用IFRAME,你需要使用一个元素(如DIV)来包装他们 <div class="scroll-wrapper"> <iframe src="&qu ...