[转帖]TPC-C基准测试之链路层优化

TPC-C基准测试之链路层优化阿里数据库 6000万 TPMC的测试结构. http://www.itpub.net/2019/10/14/3436/ 作者:易鸿伟闫建良王光树在 TPC-C 标准定义中,测试系统分为 RTE(Remote Terminal Emulator)和 SUT 两部分.在实际的 TPC-C 测试流程中,不只是对 DB 端能力的考验,对链路中的所有组件都存在极大的资源消耗和压力.以这次 6088 万 tpmC 测试结果看,我们一共在 64 台 64C128G…

[转帖]TPC-C解析系列04_TPC-C基准测试之数据库事务引擎的挑战

TPC-C解析系列04_TPC-C基准测试之数据库事务引擎的挑战 http://www.itpub.net/2019/10/08/3331/ OceanBase这次TPC-C测试与榜单上Oracle和DB2等其他数据库在硬件使用上有非常大的不同,OceanBase的数据库服务器使用的是204+3台型号是ecs.i2.16xlarge阿里云ECS服务器,其中204台作为data node,还有3台作为root node,每位读者都可以在阿里云网站上轻松按需购买.如果读者翻看Oracle和DB2…

[转帖]TPC-C解析系列03_TPC-C基准测试之SQL优化

TPC-C解析系列03_TPC-C基准测试之SQL优化 http://www.itpub.net/2019/10/08/3330/ TPC-C是一个非常严苛的基准测试模型,考验的是一个完备的关系数据库系统全链路的能力.这也是为什么在TPC-C的榜单前列,出现的永远只是大家熟知的那几家在业界有着几十年积累.从关系数据库理论开始发展就差不多同步出现的数据库公司.接下来我们通过这篇文章为您分析在TPC-C测试中OceanBase数据库的SQL模块具体遇到了哪些挑战.做出了哪些优化. 背景对TPC-C…

[转帖]TPC-C解析系列05_TPC-C基准测试之存储优化

TPC-C解析系列05_TPC-C基准测试之存储优化 http://www.itpub.net/2019/10/08/3332/ 蚂蚁金服科技 2019-10-08 11:27:02 本文共3664个字,预计阅读需要10分钟. TPC-C规范要求被测数据库的性能(tpmC)与数据量成正比.TPC-C的基本数据单元是仓库(warehouse),每个仓库的数据量通常在70MB左右(与具体实现有关).TPC-C规定每个仓库所获得的tpmC上限是12.86(假设数据库响应时间为0).假设某系统获得1…

TCP/IP中链路层的附加数据(Trailer数据)和作用

1.TCP/IP中链路层的附加数据是什么在用wireshark打开报文时,链路层显示的Trailer数据就是附加数据,如图 2.如何产生 1.例如以太网自动对小于64字节大小的报文进行填充(未实验). 2.使用链路层套接字写数据时,实际数据大小 > (ip头标示报文大小 + 链路层头部) 3.生存周期测试:使用套接字发送带Trailerr数据的报文,看收端是否可以收到. IP层SOCK_RAW套接字 1.内网可以携带Trailerr数据 2.外网丢包(路由器所为?) 链路层SOCK_PA…

TCP/IP——链路层

链路层主要有三个目的: (1)为IP模块发送和接收IP数据报; (2)为ARP模块发送 ARP请求和接收 ARP应答; (3)为RARP发送RARP请求和接收RARP应答. TCP / IP支持多种不同的链路层协议,这取决于网络所使用的硬件,如以太网.令牌环网. FDDI(光纤分布式数据接口)及 RS-232串行线路等. RFC 1042(IEEE802)帧格式 RFC 894(以太网)帧格式…

TCP/IP协议学习(六) 链路层详解

学习知识很简单,但坚持不懈却又是如此的困难,即使一直对自己说"努力,不能停下"的我也慢慢懈怠了... 闲话不多说,本篇将讲述TCP/IP协议栈的链路层.在本系列第一篇我讲到,TCP/IP协议栈每一层都有特定的功能, 那么链路层的功能如下: (1). 为IP模块发送和接收数据包 (2). 为ARP模块发送ARP请求和接收ARP应答 (3). 为RARP发送RARP请求和接收RARP应答 1.ARP, RARP协议概述 ARP协议即地址解析协议, 通过该协议应用层可以通过IP地址查询到目的…

Linux内核--网络栈实现分析（三）--驱动程序层+链路层（上）

本文分析基于Linux Kernel 1.2.13 原创作品,转载请标明http://blog.csdn.net/yming0221/article/details/7497260 更多请看专栏,地址http://blog.csdn.net/column/details/linux-kernel-net.html 作者:闫明注:标题中的”(上)“,”(下)“表示分析过程基于数据包的传递方向:”(上)“表示分析是从底层向上分析.”(下)“表示分析是从上向下分析. 经过前面两篇博文的分析,已经对L…

链路层的简介和MTU

链路层杂谈(凭个人理解瞎说的,欢迎拍砖) 链路层,说白了就是把网络层的IP数据处理一下,加点东西,放到物理层上去. 加的东西:源.目的地址和CRC校验值,有的还有类型这个字段,用来区分协议. 处理的部分:就是数据,就是把IP数据报,用指定的方法打个包: 打包的方法有以下几种: 尾部封装:把变长字段都放到最后(CRC之前),主要是为了前面的512整字节的数据整体直接复制到内核中而减小复制次数. SLIP协议:串行线路IP,就是用END字符作为分隔符,分割数据报.为了防止干扰…

TCP/IP中最高大上的链路层简介（二）

引言对于程序猿来讲,似乎越接近底层,就越显得高大上.这也算是程序猿们的共同认知吧,虽然不是所有人.今天LZ就和各位一起探讨一下TCP/IP中最高大上的一层,也就是最底层的链路层. 这一层LZ了解的还不够深刻,但是LZ还没有做硬件的打算,因此LZ觉得只要能够大致明白其原理即可,有的时候太执着了并不是好事,别忘了执着的同义词中有一个叫钻牛角尖. 链路层是什么这个问题其实很好回答,在上一章LZ就提到过,直观的说,链路层就是我们平时接触的网卡和网卡的驱动程序(当然,也可以指其它的网络接口和驱动,比如…

TCP/IP学习-链路层

链路层: 路径MTU: 网络层: ifconfig netstat IP首部网络字节序:大端字节序…

《TCP/IP详解卷1：协议》第2章链路层-读书笔记

章节回顾: <TCP/IP详解卷1:协议>第1章概述-读书笔记 <TCP/IP详解卷1:协议>第2章链路层-读书笔记 <TCP/IP详解卷1:协议>第3章 IP:网际协议(1)-读书笔记 <TCP/IP详解卷1:协议>第3章 IP:网际协议(2)-读书笔记 <TCP/IP详解卷1:协议>第4章 ARP:地址解析协议-读书笔记 <TCP/IP详解卷1:协议>第5章 RARP:逆地址解析协议-读书笔记 <TCP/IP详解卷1:协…

TCP/IP 协议：链路层概述

我们以一个常见的查看IP指令为出发点(ifconfig -a): 1.链路层是什么链路层是指硬件层协议.也即网络所使用的硬件,比如:以太网(后文主要讨论对象),令牌环网,FDDI已经RS-232串行线路. 在上面的命令(ifconfig -a)结果中,硬件地址(MAC)为08:00:27:00:9c:59 (48bit),链路层主要的作用就是连接不同的两个硬件. 2.链路层的作用 1.为IP模块发送和接收IP数据报 2.为ARP模块发送和接收ARP应答 3.为RARP发送RARP请求和…

linux2.6.24内核源代码分析（2）——扒一扒网络数据包在链路层的流向路径之一

在2.6.24内核中链路层接收网络数据包出现了两种方法,第一种是传统方法,利用中断来接收网络数据包,适用于低速设备:第二种是New Api(简称NAPI)方法,利用了中断+轮询的方法来接收网络数据包,是linux为了接收高速的网络数据包而加入的,适用于告诉设备,现在大多数NIC都兼容了这个方法. 今天我的任务是扒一扒网络数据包在传统方法也就是低速路径中如何传入链路层以及如何将其发送给上层网络层的.下面先来看看这条低速路径的简略示意图: //当产生硬件中断时,此中断处理例程被调用.例程确定该中断是…

BLE链路层状态机

BLE的Link层,应当是了解BLE需要首先熟悉的一部分,BLE的Controller部分主要都在围绕这一部分实现的.Link层的内容规定了BLE底层是怎么实现蓝牙设备之间的控制,数据传输等等的.Link层使用了状态机,即通过不同的事件的发生来切换BLE的不同状态,这样使整个蓝牙通信的实现显得更加清晰. 链路层定义设备处于状态机中五种状态的一种: (1)就绪态: 上电后,链路层进入并保持就绪态,直到接到主机的命令.从就绪态可进入广播态.扫描态或发起态,如图2所示.从其他任意状态也可以进入就绪态.…

低功耗蓝牙4.0BLE编程-nrf51822开发(5)-链路层

链路层定义设备处于状态机中五种状态的一种: (1)旁路状态: 处于此状态下的设备不发送或接收数据,处于其它状态下都可以转到此状态. (2)广告状态: 处于此状态的设备发送广播包或者监听.响应广播包.可由旁路状态进入广告状态. (3)扫描状态: 扫描状态监听广播信道上的处于广播状态发送的广播包.扫描状态也由旁路状态进入. (4)发起状态: 处于此状态监听广播信道上的广播包并响应初始化一个连接.它也由旁路状态进入. (5)连接状态. 由广播状态或发起状态进入. 任意时刻仅能处于五种状态中的一种,设备…

Android网络编程系列一 TCP/IP协议族之链路层

这篇借鉴的文章主要是用于后续文章知识点的扩散,在此特作备份和扩散学习交流. 数据链路层有三个目的: 为IP模块发送和接收IP数据报. 为ARP模块发送ARP请求和接收ARP应答. 为RARP发送RARP请求和接收RARP应答 ip大家都听说过.至于ARP和RARP,ARP叫做地址解析协议,是用IP地址换MAC地址的一种协议,而RARP则叫做逆地址解析协议,在tcp/ip协议的后面章节会介绍它们(在局域网里面用ARP协议可以很容易的搞瘫痪网络哦) 数据链路层的协议还是很多的,有我们最常用的以太…

链路层三种类型的MAC地址

若需要转载,请注明出处. 我们知道,链路层都是以MAC地址来进行通信双方的地址标识的,如下图:在应用中根据接收方的多寡来进行划分,可分为以下三种: 单播(Unicast) 多播(Multicast) 广播(Broadcast) 下面就这三种类型进行具体介绍:单播(Unicast):指封包在计算机网络的传输中,目的地址为单一目标的一种传输方式,英文为unicast . 多播(Multicast):MAC地址的高字节低位为1的即为组播地址,如下图: 广播(Broadcast):广播MAC地址:MAC…

TCP/IP:链路层

链路层主要目的: 1. 为IP模块发送和接收IP数据报. 2. 为ARP模块发送ARP请求和接收ARP应答. 3. 为RARP发送RARP请求和接收RARP应答. 链路层对IP数据报封装格式: 1. 以太网(RFC 894)封装格式. 2. IEEE 802(RFC 1042)封装格式. 3. SLIP串行线路IP 4. PPP点对点协议以太网和IEEE802封装: 在上面的是IEEE的封装格式,…

从PHP官网被攻击，到熟悉SSL（安全链路层）

近日,php官网php.net网站受到恶意攻击,攻击者至少破坏了2个服务器.PHP工作组不得不重置用户密码. PHP工作组在随后的调查发现,攻击者成功的对网站注入了恶意的JavaScript代码,这个文件是userprefs js.值得注意的是,要实现这些必须通过SSL(安全链路层)证书验证,而攻击者又是如何获取SSL证书私钥的呢? 之后,许多访问php.net网站的开发者表示,他们一般会在电脑中存储FTP登录凭证,来维护自己的网站.从而暴露了凭证,表明攻击者有可能是通过FTP客户端获取登录凭证…

tcp/ip详解卷1 -- 链路层

以太网以太网指数字设备公司,英特尔公司,Xeror公司在 1982年联合公布的一个标准, 是当前 TCP/IP 采用的主要局域网技术. 以太网采用 CSMA/CD 的媒体接入方法, 即带冲突检测的载波侦听多路接入(Carrier Sense, Multiple Access with Collision Detection), 速率 10 MB/s , 地址 48 bit. IEEE 802委员会公布了其网络标准,并定义了不同的帧格式: 802.2 : 3/4/5 的共同特性, 即 802网…

TCP/IP协议栈 -----链路层

这节说一下链路层和ARP RARP协议链路层: 在协议栈中链路层的目的有三个:1. 为IP模块发送或接受数据包 2.为ARP模块发送或接受ARP请求 3. 为RARP模块发送或接受RARP请求. 让我们看一下最常用的以太网链路层封装格式这里可以看到以太网协议头部有类型字段来表明是IP 还是 ARP RARP数据包,尾部还有CRC校验码. 环回接口:localhost 127类的地址,一个传给环回接口的数据包不能再网络中出现,一旦传输层检测到目的端地址是环回地址时,应该可以省略部分传输层和所…

tcp/ip 卷一读书笔记（2）物理层和链路层网络

物理层和链路层网络术语链路是一对相邻结点间的物理线路,中间没有任何其他的交换结点. 数据链路除了物理线路外,还必须有通信协议来控制这些数据的传输. 帧数据链路层的协议数据单元(PDU) 串行线路使用点对点信道的数据链路层,设备之间通过串口线连接,不能广播 MAC地址硬件地址又称物理地址或MAC地址,因为该地址用于MAC帧中.它是IEEE802标准为局域网规定的48位的全球地址(简称地址),指的是局域网上每台计算机中固化在适配器的ROM中的地址,在同一个局域网能,mac地址一定不能重…

TCP/IP入门(1) --链路层

/** 本博客由汗青ZJF整理并发布, 转载请注明出处: http://blog.csdn.net/zjf280441589/article/category/1854365 */ TCP/IP体系结构 1)网络接口层物理层定义与传输媒体的接口有关的一些特性,即机械特性.电气特性.功能特性.过程特性,并需要完成并行传输和串行传输之间的转换. 数据链路层向该层用户提供透明的和可靠的数据传输服务. 透明性是指该层上传输的数据的内容.格式及编码没有限制,也没有必要解释信息结构的意义:可靠性是指在传输…

链路层 - SLIP，PPP，

最常使用的封装格式是RFC 894定义的格式.图2 - 1显示了两种不同形式的封装格式.图中每个方框下面的数字是它们的字节长度. 两种帧格式都采用48 bit(6字节)的目的地址和源地址( 8 0 2 . 3允许使用16 bit的地址,但一般是48 bit地址).即硬件地址. 接下来的2个字节在两种帧格式中互不相同.在8 0 2标准定义的帧格式中,长度字段是指它后续数据的字节长度,但不包括C R C检验码.以太网的类型字段定义了后续数据的类型.在8 0 2标准定义的帧格式中,类型字段则由后续的子…