0. 缠论: http://52investing.com/ 1. 简书.DPDK: http://www.jianshu.com/p/dcb6ccc83ea52. mTCP 和 DPDK 构造百万千万并发TCP连接 3. 基于SoftRoCE 了解RDMA4. RoCE与RDMA技术: http://support.huawei.com/huaweiconnect/enterprise/thread-329081.html5. 盛立马亮的知乎: https://www.zhihu.com/pe…

接续前节:[dpdk] 熟悉SDK与初步使用 (三)(IP Fragmentation源码分析) 前文中的最后一个问题,搁置,并没有找到答案.所以继续阅读其他例子的代码,想必定能在其他位置看到答案. 使用,大致过了一般文档和代码,试运行一下: 绑定2,3,6,7四颗CPU核心.使用port1,port2. port0/queue0/core2映射在一起.port0/queue1/core3映射在一起.port1/queue0/core6映射在一起.port1/queue1/core7映射在一起.…

接续前节:[dpdk] 熟悉SDK与初步使用 (一)(qemu搭建实验环境) 程序逻辑: 运行参数: 关键API: 入口函数: int rte_eal_init(int argc, char **argv) 内存池函数: rte_pktmbuf_pool_create.  它是函数 rte_mempool_create 的一个封装. struct rte_mempool * rte_pktmbuf_pool_create(const char *name, unsigned n, unsigne…

1 前言 DPDK将利用hugepage预留的物理内存统一的组织管理起来,然后以库的方式对外提供使用的接口.下图展示了DPDK中内存有关的模块的相互关系. rte_eal            是统一的组织管理者(当然rte_eal不只是做内存的工作) rte_malloc       对外提供分配释放内存的API,分配的内存都是rte_eal中管理的内存 rte_ring          提供无锁队列,他之间使用了rte_eal管理的内存 rte_mempool  利用rte_eal中的内存…

1.知识百科 返回值 操作函数 函数功能 RTE_DECLARE_PER_LCORE (unsigned, _lcore_id) RTE_DECLARE_PER_LCORE (rte_cpuset_t, _cpuset) static unsigned rte_lcore_id (void) 返回当前运行的lcore ID static unsigned rte_get_master_lcore (void) 返回管理lcore的ID static unsigned rte_lcore_coun…

接续前节. 7 PMD (Poll Mode Driver) A Poll Mode Driver (PMD) consists of APIs, provided through the BSD driver running in user space, to configure the devices and their respective queues. In addition, a PMD accesses the RX and TX descriptors directly with…

from:http://www.cnblogs.com/mylinuxer/p/4277676.html DPDK架构与特点 当年在某公司实习的时候,当时老大给了我一份DPDK的文档,说是将来很有用,熟悉DPDK对能力提高也有帮助,就试着翻译了 <Intel DPDK Getting Started Guide>和半个<Intel DPDK Programmers Guide>,后来忙着论文就没再搞了.现在,发现 pf_ring的统计虚高了,只好重新拥抱DPDK了. DPDK的代码…

转:http://www.cnblogs.com/danxi/p/6652725.html vhost库实现了一个用户空间的virtio net server,允许用户直接处理virtio ring队列.换句话说,它让用户可以从VM virtio网络设备读取或写入数据包,为了达到这个目的,vhost库应该可以: 访问客户虚拟机内存,对于QEMU,这个是通过设置 -objectmemory-backend-file,share=on,...选项.这意味着QEMU将会在客户虚拟机的内存里创建一个文件…

点我查看秘籍连载 I/O操作和DMA.RDMA 用户进程想要执行IO操作时(例如想要读磁盘数据.向磁盘写数据.读键盘的输入等等),由于用户进程工作在用户模式下,它没有执行这些操作的权限,只能通过发起对应的系统调用请求操作系统帮忙完成这些操作.这里因为系统调用产生中断将陷入到内核,进行一次上下文切换操作. 内核进程帮忙执行IO操作时,由于IO操作相比于CPU来说是极慢的操作,CPU不应该等待在这个过程中,而是切换到其它进程上去执行其它任务.这里再次涉及到一次上下文切换:从内核态回到用户态的其它进程…

QoS in RoCE 首页分类标签留言关于订阅2018-03-22 | 分类 Network  | 标签 RDMA  RoCE  ECN  PFC Overview TCP/IP协议栈满足不了现代IDC工作负载(workloads)的需求,主要有2个原因:(1)内核处理收发包需要消耗大量的CPU:(2)TCP不能满足应用对低延迟的需求:一方面,内核协议栈会带来数十ms的延迟:另一方面,TCP的拥塞控制算法.超时重传机制都会增加延迟. RDMA在NIC内部实现传输协议,所以没有第一个问题:同时,…

下载libibverbs最新代码,https://downloads.openfabrics.org/verbs/README.html 为1.2.0版本.后面开始逐步分析libibverbs源码. 1.ibv_get_device_list: 该函数具体的实现在libibverbs-1.2.0/src/devices.c文件中. struct ibv_device **__ibv_get_device_list(int *num) { -- pthread_once(&device_list_…

一:首先根据系统发行版本下载对应的驱动,下载地址如下: http://www.mellanox.com/page/products_dyn?product_family=26&mtag=linux_sw_drivers 本次下载的驱动版本为:MLNX_OFED_LINUX-1.5.3-4.0.42-sles11-x86_64.tgz 二:添加针对当前内核的IB驱动 1.把下载好的mellanox驱动解压缩 linux:~ # tar xzvf MLNX_OFED_LINUX-1.5.3-4.0.…

上篇介绍了PolarDB数据库及其后端共享存储PolarFS系统的基本架构和组成模块,是最基础的部分.本篇重点分析PolarFS的数据IO流程,元数据更新流程,以及PolarDB数据库节点如何适配PolarFS这样的共享存储系统. PolarFS的数据IO操作 写操作 一般情况下,写操作不会涉及到卷上文件系统的元数据更新,因为在写之前就已经通过libpfs的pfs_posix_fallocate()这个API将Block预分配给文件,这就避免在读写IO路径上出现代价较高的文件系统元数据同步过程.…

1 引言(入门介绍) NVMe版本1.2.1和之前的版本为主机软件与非易失存储系统通过PCIe通信定义了寄存器级接口.本规格说明书定义了对NVMe的扩展,启用通过其他网络互联上的操作(NVMe over Fabric).参考的NVMe基础规格说明书是NVMe版本1.2.1. 本文档内对特定NVMe传输层定义的扩展描绘在NVMe传输层约束规格说明书中.这个文档包含一个RDMA的NVMe传输层约束规格说明书.Fibre Channel(FC)的NVMe传输层约束规格说明书定义在INCITS540 F…

. 异数OS 织梦师-水桶(三)– RAM共享存储方案 本文来自异数OS社区 github: https://github.com/yds086/HereticOS 异数OS社区QQ群: 652455784 异数OS-织梦师(消息中间件 RPC技术)群: 476260389 异数OS 织梦师-水桶(三)– RAM共享存储方案 本文来自异数OS社区 织梦师-水桶 RAM共享存储简介 与众不同的特性 织梦师-水桶 方案说明 织梦师-水桶测试成绩 LPC本地64字节序列读 LPC本地64字节随机读 R…

本系列文章将介绍 Docker的相关知识: (1)Docker 安装及基本用法 (2)Docker 镜像 (3)Docker 容器的隔离性 - 使用 Linux namespace 隔离容器的运行环境 (4)Docker 容器的隔离性 - 使用 cgroups 限制容器使用的资源 (5)Docker 网络 (6)若干企业生产环境中的容器网络方案 Docker 在早期只有单机上的网络解决方案,在 1.19 版本引入了原生的 overlay 网络解决方案,但是它的性能损耗较大,可能无法适应一些生产环…

本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 (5)Ceph 与 OpenStack 集成的实现 (6)QEMU-KVM 和 Ceph RBD 的 缓存机制总结 (7)Ceph 的基本操作和常见故障排除方法 (8)基本的性能测试工具和方法 继续学以致用,学习下基本的Ceph性能测试工具和方法. 0. 测试环境 同 Ceph 的基本操作和常见故障…

自动扩展(Auto-scaling)支持 多租户和租户隔离 (multi-tenancy and tenancy isolation) 混合云(Hybrid cloud)支持 主流硬件支持.云快速交付 和 SLA 保证 大规模扩展性支持 私有云外围环境支持(包括支持CDN .商业SDN控制器.防火墙和VPN/专线等) 向上扩展性(PaaS 和 SaaS 等支撑) 企业数据中心IT环境支持(包括裸金属/Bare metal.F5 .GPU.跨云网络连通.租户计费.备份等支持) 行业解决方案 (电信…

环境准备 1.centos6.8 系统的虚拟机(四台) 2.关闭iptables和SELinux 3.预装glusterfs软件包 yum install -y centos-release-gluster37.noarch yum --enablerepo=centos-gluster*-test install glusterfs-server glusterfs-cli glusterfs-geo-replication 分布式文件系统的产生 计算机通过文件系统管理.存储数据,而现在数据信…

1.       启动/关闭/查看glusterd服务 # /etc/init.d/glusterd start # /etc/init.d/glusterd stop # /etc/init.d/glusterd status 2.       开机自动启动glusterd服务 # chkconfig glusterd on # Red Hat # update-rc.d glusterd defaults # Debian # echo "glusterd" >>/et…

转自:http://www.cnblogs.com/lalacindy/p/5276874.html 张忻(原创作品转载请注明出处) <Linux内核分析>MOOC课程http://mooc.study.163.com/course/USTC-1000029000 一.知识概要 (一)用户态.内核态和中断处理过程 (二)系统调用概述 系统调用概述和系统调用的三层皮 (三)使用库函数API和C代码中嵌入汇编代码触发同一个系统调用 使用库函数API获取系统当前时间 C代码中嵌入汇编代码的方法(复习…

本文首发于我的公众号 Linux云计算网络(id: cloud_dev),专注于干货分享,号内有 10T 书籍和视频资源,后台回复「1024」即可领取,欢迎大家关注,二维码文末可以扫. 这是 Linux 性能分析系列的第五篇,前四篇在这里: 一文掌握 Linux 性能分析之 CPU 篇 一文掌握 Linux 性能分析之内存篇 一文掌握 Linux 性能分析之 IO 篇 一文掌握 Linux 性能分析之网络篇 在上篇网络篇中,我们已经介绍了几个 Linux 网络方向的性能分析工具,本文再补充几个.…

一.出现的背景及PolarDB简介 阿里云,中国第一家拥有完整云计算能力的企业. 2015年,在计算界的奥运会Sort Benchmark中,阿里云计算100TB数据排序只用了不到7分钟,把ApacheSpark之前创造的23分钟世界纪录一下子缩短了一多半.这说明,中国人研发的云计算系统不仅成功了, 而且不比世界上任何现存的云计算系统差. 成功登顶的“云梯2”,后来更名为ODPS,“加冕”成为了阿里巴巴各项业务通用的大数据计算平台.ODPS验证成功之后,阿里立刻启动“登月计划”,把所有数据和计算…

A Sophisticated Packet Forwarding Scheme with Deep Packet Inspection in an OpenFlow Switch 来源:International Conference on Software Networking 发表时间:2016 针对问题 support an extended view of the OpenFlow architecture by inspecting not only the packet heade…

现象:WIN10 Education Editon不能访问SMB V1.5的NAS服务器的共享文件夹. 一篇WIN与SMB相关的经验帖:https://jingyan.baidu.com/article/c33e3f48f57423ea15cbb507.html WIN10 Home Edition的系统,未出现不支持SMB v1的现象. WIN10 Feature(特性)列表里, Education Editon比Home Edition多如下选项: NFS服务(NFS客户端,NFS管理工具)…

小结: 1. 因为您对OSI模型的教育中缺少的一点是,它最初设想每个人都在编写应用层(7)API而不是传输层(4)API.应该有像应用程序服务元素之类的 东西,它们可以以标准方式处理文件传输和消息传递等不同应用程序.我认为人们越来越多地转向这种模式,特别是谷歌用go,QUIC驱动,protobufs等.我之所以提到这一点,是因为谷歌和微软之间的对比.微软拥有一个流行的操作系统,因此它的创新是由它在该操作系统中的功能所驱动的.谷歌的创新是由它可以放在操作系统之上的.然后有Facebook和亚马逊自…

既然我们已经解决了 C10K并发连接问题,应该如何提高水平支持千万级并发连接?你可能会说不可能.不,现在系统已经在用你可能不熟悉甚至激进的方式支持千万级别的并发连接. 要知道它是如何做到的,我们首先要了解Errata Security的CEO Robert Graham,以及他在Shmoocon 2013大会上的“无稽之谈”—— C10M Defending The Internet At Scale. Robert用一种我以前从未听说的方式来很巧妙地解释了这个问题.他首先介绍了一点有关Unix…

一.环境说明 主机名 IP地址 角色 磁盘 gluster-node1 192.168.56.11 Server.Client /dev/sdb./dev/sdc./dev/sdd gluster-node2 192.168.56.12 Server.Client /dev/sdb./dev/sdc./dev/sdd gluster-node3 192.168.56.13 Server.Client /dev/sdb./dev/sdc./dev/sdd 二.GlusterFS安装 (1)修改主机…

一.GlusterFS简介 GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端.GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据.GlusterFS基于可堆叠的用户空间设计,可为各种不同的数据负载提供优异的性能. 二.GlusterFS架构特性 从这个图中, 我们可以得到如下的信息: 1.无元…

PolarDB是阿里云基于MySQL推出的云原生数据库(Cloud Native Database)产品,通过将数据库中计算和存储分离,多个计算节点访问同一份存储数据的方式来解决目前MySQL数据库存在的运维和扩展性问题:通过引入RDMA和SPDK等新硬件来改造传统的网络和IO协议栈来极大提升数据库性能.代表了未来数据库发展的一个方向.本系列共2篇文章,主要分析为什么会出现PolarDB以及其技术实现. 由于PolarDB并不开源,因此只能基于阿里云公开的技术资料进行解读.这些资料包括从去年下半…