Producer command: kafka-producer-perf-test --topic _perf-test --num-records 10000000 --record-size 1000 --throughput 10000000 --producer-props bootstrap.servers=192.168.198.128:9092 --producer.config /etc/kafka/kafka-tools.properties 消息大小(byte) 性能 10…

本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/12/31/KafkaColumn5_kafka_benchmark 摘要 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能,以及如何使用Kafka Manager监控Kafka的工作状态,最后给出了Kafka的性能测试报告. 性能测试及集群监控工具 Kafka提供了非常多有用的工具,如Kafka设计解析(三)- Kafka High Avail…

转载自 技术世界,原文链接 Kafka设计解析(五)- Kafka性能测试方法及Benchmark报告 摘要 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能,以及如何使用Kafka Manager监控Kafka的工作状态,最后给出了Kafka的性能测试报告. 目录 一.性能测试及集群监控工具 1. Kafka性能测试脚本 2. Kafka Metrics 2.1 使用JConsole查看单服务器Metrics 2.2 通过Kafka Manag…

0x00 概述 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能,以及如何使用Kafka Manager监控Kafka的工作状态,最后给出了Kafka的性能测试报告. 0x01 性能测试及集群监控工具 Kafka提供了非常多有用的工具,如Kafka设计解析(三)- Kafka High Availability (下)中提到的运维类工具——Partition Reassign Tool,Preferred Replica Leader Elect…

                                      intel  Xeon(R) CPU E5-2650 v2                                                      性能测试报告  一．测试背景: 验证Xeon(R) CPU E5-2650 v2 的性能,和基于KVM的openstack平台的处理能力和稳定性.镜像.虚拟机用horizon控制台管理,按照测试方法从horizon开启虚拟机,同时观察宿主机的CPU.MEM.…

Odoo平台简介 Odoo(以前叫OpenERP)是世界排名第一的开源ERP系统,最早由比利时一家公司开发,经过十几年发展,目前全世界Odoo的使用者超过2百万人,Odoo被翻译成几十种语言,Odoo社区活跃的开发人员超过5000人.从2012年开始,美国著名IT杂志Info World连续5年评选Odoo为“世界最佳开源软件大奖” ERP领域第一名. Odoo的底层结构很强大,所有模块都可以根据需要自行安装和御载,所以用户能像搭积木一样建构自己期望的系统.即使完全不安装与ERP相关的模块,仅利…

http://www.cnblogs.com/YatHo/p/6092599.htmlhttp://blog.csdn.net/xiaojianpitt/article/details/4821554XXX压力测试报告 时间:2015-08-04                                             测试人员:xxx 目录XXX压力测试报告... 1一  测试内容... 2二  测试方法... 2三  测试目标... 2四  测试环境... 2五  系统部署..…

一.一份好的性能测试报告需要遵循什么规则? 好的报告只需要遵循3点即可:清晰的结构.简要的语言以及数据的对比. 二.如何用Loadrunner自动到处HTML以及word版的报告? 1.导出html格式报告方法:Loadrunner-Analysis-Reports-HTML Report——>即可导出html形式的报告. 2.导出word格式报告方法:Loadrunner-Analysis-Reports-New Report-完成General.Format.Content三个标签页中的设置…

方法一*********************** 环境搭建 1.Java JDK   (版本最好在1.6或者1.6以上) 2.ANT 安装 下载地址:http://ant.apache.org/bindownload.cgi 3.JMeter 安装 下载地址:http://jmeter.apache.org/download_jmeter.cgi 4.JMeter 文件配置 1>.JMeter 下的extras 目录下的ant-jmeter-1.1.1.jar 文件 拷贝到 ANT 安装目录…

1． 测试项目概述与测试目的 1.1 项目概述 本部分主要是针对即将进行压力测试的对象(接口.模块.进程或系统)进行概要的说明,让人明白该测试对象的主要功能与作用及相关背景. 1.2 测试目标 简要列出进行本次压力测试的主要目标(目的). 1.3 名词解释 性能测试过程中涉及的业务和技术方面的专业名词. 1.4 参考文档 列出与本文档相关的参考文档名称. 2． 测试对象的拓扑结构 本部分主要以图表加文字的方式,对待测试对象(接口.模块.系统)的拓扑结构进行描述,并标上必要的数据流向.注意:若生产…

今天,我们将讨论Kafka Performance Tuning.在本文“Kafka性能调优”中,我们将描述在设置集群配置时需要注意的配置.此外,我们将讨论Tuning Kafka Producers,Tuning Kafka Consumers和Tuning Kafka Brokers.那么,让我们从Kafka Performance Tuning开始吧. Kafka性能调优 - Kafka优化的方法 2. Kafka Performance Tuning是什么? 在我们讨论Kafka性能调优…

文本来学习下,如何输入HTML格式的JMeter测试报告.前面已经介绍, 如果要做性能测试,需要在GUI上设计好你的Test Plan,设置各种场景和负载值,包括多少个线程,多少个用户,循环多少次.设置好了保存,然后用命令行去启动性能测试,查看相关测试结果. 1. 打开图像界面,新建一个Thread Group 2. 新建三个Http Request,分别是百度新闻首页,和百度新闻财经,百度新闻体育 3. 添加一个Assertion,选择response assertion 4. 添加一个Vie…

国产CPU 申威1621 异数OS基础组件理论性能测试报告 文章目录 国产CPU 申威1621 异数OS基础组件理论性能测试报告 前言 测试平台 测试项目 SW1621 异数OS 容器虚拟交换机模拟性能测试 分数与意义说明 SW1621 异数OS TCP协议栈理论性能模拟测试 测试总结 测试程序运行结果图 前言 一直以来,异数OS都希望能够支援国产CPU生态的建设,这次机缘来到来到成都申威,看到了传说中的申威CPU,并做了异数OS基础组件的理论测试,在此感谢成都申威提供的SW 1621测试环境,…

Linux 服务器性能测试报告 我们使用linux 工具sysbench 来测试linux服务器性能,目前在Centos上进行操作 Install sysbench yum -y install sysbench check it man sysbench CPU Benchmark(运行性能) 测试CPU运行性能 sysbench --test=cpu --cpu-max-prime=20000 run 测试结果 $ sysbench --test=cpu --cpu-max-prime=20…

MiniSMB 专业网络性能测试仪表英特尔82576 4*1GE网卡性能测试报告 一.测试环境 测试配置 ①工控机配置: CPU:Intel(R) Core(TM) i7-6800K CPU @ 3.40GHz,开启超线程 内存:16G 网卡:Intel 82576 4*1GE网卡 ②软件版本: 工控机镜像文件版本:minismb-dpdk-v2.2.2.img MiniSMB UI版本:MiniSMB-x64-v5.2.2.msi 二.测试流程 测试项目 ① 2个GE接口回环测试, 同时单向,…

『码哥』的 Redis 系列文章有一篇讲透了 Redis 的性能优化 --<Redis 核心篇:唯快不破的秘密>.深入地从 IO.线程.数据结构.编码等方面剖析了 Redis "快"的内部秘密.65 哥深受启发,在学习 Kafka 的过程中,发现 Kafka 也是一个性能十分优秀的中间件,遂要求『码哥』讲一讲 Kafka 性能优化方面的知识,所以『码哥』决定将这篇性能方面的博文作为 Kafka 系列的开篇之作. 先预告一下 Kafka 系列文章,大家敬请期待哦: 以讲解性能…

1． 测试项目概述与测试目的 1.1 项目概述  本部分主要是针对即将进行压力测试的对象(接口.模块.进程或系统)进行概要的说明,让人明白该测试对象的主要功能与作用及相关背景. 1.2 测试目标  简要列出进行本次压力测试的主要目标(目的). 1.3 名词解释  性能测试过程中涉及的业务和技术方面的专业名词. 1.4 参考文档  列出与本文档相关的参考文档名称. 2． 测试对象的拓扑结构  本部分主要以图表加文字的方式,对待测试对象(接口.模块.系统)的拓扑结构进行描述,并标上必要的数据流向.注…

因使用flume的时候总是会对其性能有所调研,网上找的要么就是自测的这里找到一份官方wiki的测试报告供大家参考 https://cwiki.apache.org/confluence/display/FLUME/Performance+Measurements+-+round+2 测试环境: 以下测试基于单个agent hadoop集群配置:20-node Hadoop cluster (1 name node and 19 data nodes). 服务器配置: 24 cores – Xeo…

转自:http://blog.csdn.net/stark_summer/article/details/50203133 上一篇文章介绍了Kafka在设计上是如何来保证高时效.大吞吐量的,主要的内容集中在底层原理和架构上,属于理论知识范畴.这次我们站在应用和运维的角度,聊一聊集群到位后要怎么才能最好的配置参数和进行测试性能.Kafka的配置详尽且复杂,想要进行全面的性能调优需要掌握大量信息,我也只是通过工作中的一些实战经验来筛选出对集群性能影响最大的几个要点,接下来要阐述的观点也仅限于我所描述…

转载请注明出处:http://www.cnblogs.com/xiaodf/ 1.测试环境 该benchmark用到了六台机器,机器配置如下 l  IntelXeon 2.5 GHz processor with six cores l  Six7200 RPM SATA drives l  32GB ofRAM l  1GbEthernet 这6台机器其中3台用来搭建Kafka broker集群,另外3台用来安装Zookeeper及生成测试数据.6个drive都直接以非RAID方式挂载.实际上…

性能测试工具Jmeter由于其体积小.使用方便.学习成本低等原因,在现在的性能测试过程中,使用率越来越高,但其本身也有一定的缺点,比如提供的测试结果可视化做的很一般. 不过从3.0版本开始,jmeter引入了Dashboard Report模块,用于生成HTML类型的可视化图形报告(3.0版本的Dashboard Report模块会中文乱码,因此建议使用3.0以上的版本). 这篇博客,简单介绍下在利用jmeter进行性能测试时,生成HTML的可视化测试报告... 一.生成HTML测试报告的两种方…

主要优化原理和思路 kafka是一个高吞吐量分布式消息系统,并且提供了持久化.其高性能的有两个重要特点: 利用了磁盘连续读写性能远远高于随机读写的特点: 并发,将一个topic拆分多个partition. 要充分发挥kafka的性能,就需要满足这两个条件 kafka读写的单位是partition,因此,将一个topic拆分为多个partition可以提高吞吐量.但是,这里有个前提,就是不同partition需 要位于不同的磁盘(可以在同一个机器).如果多个partition位于同一个磁盘,那么意…

基准测试Apache Kafka:每秒写入2百万(在三台便宜的机器上) 核心的数据枢纽一定是高效的,可预测的,并且容易扩展.Kafka能够做到在普通的硬件上支撑每秒百万次写入. Kafka的数据模型非常简单,生产者将数据发送至kafka集群,然后由消费者处理这些数据: 生产者将他们的记录发布到一个主题,消费者订阅一个或多个主题.卡夫卡主题只是一个分片式的预写日志.生产者将记录附加到这些日志中,消费者订阅更改.每条记录都是一个键/值对.该键用于将记录分配给日志分区(除非发布者直接指定分区). 测试…

0.引言 Kafka是LinkedIn开源出来的一款消息服务器,用Scala语言实现:这货的性能是百万级的QPS(估计是挂载了多块磁盘),我随便写个测试程序就是十万级. 1.Kafka基本概念 在Kafka中消息是按照Topic进行分类的:每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic.(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处). 每个Topic包…

为了验证Darwin Streaming Server在流媒体点播上的性能,EasyDarwin开源项目官方特地与国内某大型视频网站进行了一次性能测试(千兆网络环境下),针对本次RTSP直播流媒体测试范围,对码率为300K的视频进行压力测试,具体场景如下表所示: 测试环境: 测试结果: 测试结论: 根据当前测试环境配置,视频能够流畅播放并发能力上限为3000. 服务器带宽及配置如有改善,可以大大提高性能表现 具体测试报告下载:http://pan.baidu.com/s/1sjDIRyl ---…

一.背景介绍: 在平时的开发中,使用kafka来发送数据已经非常熟悉,但是在使用的过程中,其实并没有比较深入的探索kafka使用过程中 一些参数配置,带来的损失可能就是没有充分的发挥出kfka的优势,无法很好的满足业务场景.在意识这个问题后,专门腾出 时间来总结一下kakfa参数配置的调优,以充分发挥kafka在低时延,高吞吐等不同场景下的优势. 二.通用介绍: -------- 生产者配置 ------- 常规参数设置解析: Properties props = new Properties(…

1.简介 相对于Loadrunner,Jmeter其实也是可以有测试报告产出的,虽然一般都不用(没有Loadrunner的报告那么强大是一方面),但是有小伙伴们私下问,那宏哥还是顺手写一下吧,今天我们就来学习下,如何输入HTML格式的JMeter测试报告.前面已经介绍, 如果要做性能测试,需要在GUI上设计好你的Test Plan,设置各种场景和负载值,包括多少个线程,多少个用户,循环多少次.设置好了保存,然后用命令行去启动性能测试,查看相关测试结果. 2.Jmeter生成HTML格式报告的架构…

在前几天简单地测试了一下Mono 3.2.3 TCP处理的稳定性,有同学问Mono 3.2.3的TCP处理性有怎样,以下是针对Mono 3.2.3TCP在吞吐方面的性能测试.主要测试分两种场分别是连接交互密集度高和低的两种情况的处理性能指标. 测试环境描述 服务端:    cpu:e4300 1.7g (5,6年前比较老的PC)     内存:2g    操作系统:centos 6.4 32位    mono版本:3.2.3 测试client:     cpu:e31230v2(4核8线程) …

前言 最近用了几个月的时间,一直在对EQueue做性能优化.到现在总算告一段落了,现在把一些优化的结果分享给大家.EQueue是一个分布式的消息队列,设计思路基本和阿里的RocketMQ一致,只是是用纯C#写的,这点大家应该都知道了. EQueue开源地址:https://github.com/tangxuehua/equeue EQueue相关文档:http://www.cnblogs.com/netfocus/category/598000.html EQueue Nuget地址:http:…

1.代码中尽量避免group by函数,如果需要数据聚合,group形式的为rdd.map(x=>(x.chatAt(0),x)).groupbyKey().mapValues((x=>x.toSet.size)).collection() 改为 rdd.map(x=>(x.chatAt(0),x)).countByKey();或进行reduceByKey,效率会提高3倍. 2.parquet存储的文件格式查询会比sequenceFile快两倍以上,当然这是在select * from的…