背景 最近在做将基于dpdk-16.11.1开发的程序,转移到基于dpdk-18.11版本下开发.遇到了网卡RSS配置的问题,在这里纪录一下. 问题 dpdk-16.11.1 在dpdk-16.11.1上的程序如下: ] = { 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6

offload offload特性,主要是指将本来在操作系统协议栈中进行的一些数据包处理(如IP分片.TCP分片.重组.checksum校验等)放到网卡硬件中去做,降低系统 CPU 消耗,提高处理的性能. 我们知道计算机网络上传输的数据基本单位是离散的网包,既然是网包,就有大小限制,这个限制就是 MTU(Maximum Transmission Unit)的大小,一般是1518字节.比如我们想发送很多数据出去,经过os协议栈的时候,会自动帮你拆分成几个不超过MTU的网包.然而,这个拆分是比较费计

TSO.UFO.GSO.LRO.GRO和RSS介绍 ethtool -k < 网络接口>,ethtool --show-offload < 网络接口>,或者可以看到很多网络接口的offload特性,例如: $ sudo ethtool -k eth0Offload parameters for eth0:rx-checksumming: ontx-checksumming: onscatter-gather: ontcp-segmentation-offload: onudp-fr

学习 Neutron 系列文章: (1)Neutron 所实现的虚拟化网络 (2)Neutron OpenvSwitch + VLAN 虚拟网络 (3)Neutron OpenvSwitch + GRE/VxLAN 虚拟网络 (4)Neutron OVS OpenFlow 流表 和 L2 Population (5)Neutron DHCP Agent (6)Neutron L3 Agent (7)Neutron LBaas (8)Neutron Security Group (9)Neutro

网络数据包分析 网卡Offload 对于网络安全来说,网络传输数据包的捕获和分析是个基础工作,绿盟科技研究员在日常工作中,经常会捕获到一些大小远大于MTU值的数据包,经过分析这些大包的特性,发现和网卡的offload特性有关,本文对网卡Offload技术做简要描述. 网络分片技术 MTU 最大传输单元,指一种通信协议的某一层上面所能通过的最大数据包大小(以字节为单位). 在以太网通信中,MTU规定了经过网络层封装的数据包的最大长度.例如,若某个接口的MTU值为1500,则通过此接口传送的IP数据

offload 现在,越来越多的网卡设备支持 offload 特性,来提升网络收/发性能.offload 是将本来该操作系统进行的一些数据包处理(如分片.重组等)放到网卡硬件中去做,降低系统 CPU 消耗的同时,提高处理的性能. 包括 LSO/LRO.GSO/GRO.TSO/UFO 等. LSO/LRO 分别对应到发送和接收两个方向,是 Large Segment Offload 和 Large Receive Offload. 首先来看 LSO.我们知道计算机网络上传输的数据基本单位是离散的网

基于DPDK的高效数据包捕获技术分析与应用 本文应用场景 网络安全领域的数据包捕获技术,对系统有高性能需求,要在短时间内成功收集.分析.处理大量数据,实时捕获效率低下. 旧有传统数据包处理机制 BPF,伯克利封包处理器,是 Unix Linux 上的链路层的一种原始接口,许多功能以此为基础. libpcap,linux 下的 C 语言网络数据包捕获函数库,大多数网络包分析软件以此为基础. pf-ring 是 Luca Deri 发明的一种 API 函数库. 有所缺陷: 在 Linux 内核中完成

http://blog.nsfocus.net/network-packets-analysis-nic-offload/     对于网络安全来说,网络传输数据包的捕获和分析是个基础工作,绿盟科技研究员在日常工作中,经常会捕获到一些大小远大于MTU值的数据包,经过分析这些大包的特性,发现和网卡的offload特性有关,本文对网卡Offload技术做简要描述. 文章目录 网络分片技术 网卡offload机制 发送模式 接收模式 网卡offload模式的设置 Linux windows 网卡Off

offload 现在,越来越多的网卡设备支持 offload 特性,来提升网络收/发性能.offload 是将本来该操作系统进行的一些数据包处理(如分片.重组等)放到网卡硬件中去做,降低系统 CPU 消耗的同时,提高处理的性能.包括 LSO/LRO.GSO/GRO.TSO/UFO 等. LSO/LRO 分别对应到发送和接收两个方向,是 Large Segment Offload 和 Large Receive Offload. 首先来看 LSO.我们知道计算机网络上传输的数据基本单位是离散的网包

近期遇到一个自定义报文传输性能问题,解决过程中借助了ethtool这个工具,因此发掘一下与此工具相关的网卡的一些特性. ethtool 常用命令如下,比如对eth0的操作: ethtool eth0 //查询ethx网口基本设置,其中 x 是对应网卡的编号,如eth0.eth1等等 ethtool –h //显示ethtool的命令帮助(help) ethtool –i eth0 //查询eth0网口的相关信息 ethtool –d eth0 //查询eth0网口注册性信息 ethtool –r

ethtool命令 网络配置 ethtool命令用于获取以太网卡的配置信息,或者修改这些配置.这个命令比较复杂,功能特别多 语法 ethtool [ -a | -c | -g | -i | -d | -k | -r | -S |] ethX ethtool [-A] ethX [autoneg on

网卡多队列技术与RSS功能介绍 2017年02月08日 15:44:37 Murphy_0806 阅读数 10665 标签: rss网卡dpdk 更多 个人分类: DPDK https://blog.csdn.net/baidu_24553027/article/details/54927724 多队列 深队列的技术 AHCI不如NVME的最大的地方 其实网卡里面也有 多队列 已经 DMA网卡.   多队列网卡是一种技术,最初是用来解决网络IO QoS (quality of service)问

http://laoar.github.io/blog/2017/05/07/rps/ TL;DR RPS 即receive side steering,利用网卡的多队列特性,将每个核分别跟网卡的一个首发队列绑定,以达到网卡硬中断和软中断均衡的负载在各个CPU上. 他要求网卡必须要支持多队列特性. RPS receive packet steering 他把收到的packet依据一定的hash规则给hash到不同的CPU上去,以达到各个CPU负载均衡的目的. 他只是把软中断做负载均衡,不去改变硬

今日,测试公司自行开发的一rpc中间件,期间发现top si的比例很高,且几乎只有一个cpu是繁忙的,其他均基本为0. 经查,si主要是系统软中断,最后确定是网卡导致的系统中断.于是,往上搜了下资料,主流的用法是如果网卡支持多队列的,则启用之. 常用的Intel的82575.82576,I350,Boardcom的57711等网卡都支持多队列.如果是实体机,可通过如下方式判断是否支持多队列: lspci -vvv  #lspci在centos 6.x之后的版本不会默认安装,可yum instal

目前已经完成的功能有对RSS的解析和Atom解析,RSS内容本地数据库存储和读取,抓取中状态进度展示,标记阅读状态,标记全部已读等.这些功能里我对一些异步操作产生的数据采用了ReactiveCocoa来对数据流向进行了控制,下面我来说下如何运用RAC来进行的开发. 初始时读取本地存储首页列表数据,过滤无效数据,监听列表数据变化进行列表更新 这里会用到RAC这个宏可以方便的来进行键值和信号的绑定,RACObserve这个宏方便的进行键值变化的监听处理.具体实现代码如下: @weakify(self

RSS适合于多队列网卡,把不同的流分散的不同的网卡多列中,至于网卡队列由哪个cpu处理还需要绑定网卡队列中断与cpu RPS:适合于单队列网卡或者虚拟网卡,把该网卡上的数据流让多个cpu处理 RFS:当流量需要传输到用户态处理时,用处理软中断的cpu去处理用户态的逻辑,由于其实现的基础是RPS,因此只能在单队列网卡或者是虚拟网卡中使用,貌似在最新的内核版本中多队列网卡好像也可以使用了 XPS:根据当前处理软中断的cpu选择网卡发包队列,适合于多队列网卡 其中RFS主要是为了避免cpu由内核态进入

给定一个n个数的数列,从左至右输出每个长度为m的数列段内的最大数. 输入:第一行两个整数n和m( 1<= n <= 20 0000,m<=n).下来给出n个整数. 输出:一行一个整数,表示每连续m个数的最大值.样例输入: 8 3 1 3 -1 -3 5 3 6 7 样例输出: 3 3 5 5 6 7 维护一个单调队列,列内严格递减.若是首端元素已经脱离当前M个元素的区间,则去除.若是新元素比队尾元素严格小,直接入队,否则元素出队至合格后,新元素入队.比较模板了: #include <

这个月,一直在搞ixgbe RSS,希望能使得收包均衡,结果没成功,但是对网卡的收包原理理解得更深入些. 1.网卡硬件通过网线或者光纤收包. 2.网卡的RSS功能根据网络五元组计算得到32bit的hash值, 根据hash值的低7位(0-127)与网卡queue的映射关系, 把收到的数据包放到某个queue上. 3.做了cpu亲和性绑定时,一个queue上的数据包就由对应的一个core来处理. reta寄存器负责为hash值的低7位和网卡queue建立映射关系,ixge驱动默认的映射关系是比较均

ps -a     Select all processes -u userlist               Select by effective user ID (EUID) or name.  This selects the processes whose effective user name or ID is in userlist. The effective user ID describes the user whose file access permissions ar

本文描述了RSS以及在DPDK中如何配置RSS达到性能提升和统一分发. 什么是RSS RSS(Receive Side Scaling)是一种能够在多处理器系统下使接收报文在多个CPU之间高效分发的网卡驱动技术. 网卡对接收到的报文进行解析,获取IP地址.协议和端口五元组信息 网卡通过配置的HASH函数根据五元组信息计算出HASH值,也可以根据二.三或四元组进行计算. 取HASH值的低几位(这个具体网卡可能不同)作为RETA(redirection table)的索引 根据RETA中存储的值分发