消费者测试:

./kafka-consumer-perf-test.sh --zookeeper vm10.60.0..com.cn:,vm10.60.0..com.cn:,vm10.60.0..com.cn: --group test-teg1 --messages  --topic test --threads  --message-size 
end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
-- :::, -- :::, 4229.5218, 64.5561, , 365274.5700

生产者测试:

./kafka-run-class.sh org.apache.kafka.tools.ProducerPerformance --topic test --num-records  --record-size  --throughput  --producer-props acks= bootstrap.servers=vm10.60.0..com.cn:,vm10.60.0..com.cn:,vm10.60.0..com.cn:,vm10.60.0..com.cn: buffer.memory= batch.size= 
 records sent, 97028.4 records/sec (9.25 MB/sec), 6936.5 ms avg latency, 12667.0 max latency.
records sent, 67526.0 records/sec (6.44 MB/sec), 7173.8 ms avg latency, 12892.0 max latency.
records sent, 107861.5 records/sec (10.29 MB/sec), 6893.6 ms avg latency, 12422.0 max latency.
records sent, 103945.8 records/sec (9.91 MB/sec), 6092.3 ms avg latency, 12278.0 max latency.
records sent, 90107.1 records/sec (8.59 MB/sec), 5697.1 ms avg latency, 11117.0 max latency.
records sent, 86496.8 records/sec (8.25 MB/sec), 6481.3 ms avg latency, 13293.0 max latency.
records sent, 64975.8 records/sec (6.20 MB/sec), 7089.8 ms avg latency, 14868.0 max latency.
records sent, 103598.2 records/sec (9.88 MB/sec), 7504.3 ms avg latency, 14920.0 max latency.
records sent, 94194.6 records/sec (8.98 MB/sec), 6949.2 ms avg latency, 12826.0 max latency.
records sent, 94232.5 records/sec (8.99 MB/sec), 6075.5 ms avg latency, 12400.0 max latency.
records sent, 86240.2 records/sec (8.22 MB/sec), 6492.0 ms avg latency, 11988.0 max latency.
records sent, 65140.8 records/sec (6.21 MB/sec), 8248.2 ms avg latency, 12531.0 max latency.
records sent, 96716.1 records/sec (9.22 MB/sec), 7083.7 ms avg latency, 13378.0 max latency.
records sent, 92734.5 records/sec (8.84 MB/sec), 7065.3 ms avg latency, 12572.0 max latency.
records sent, 84081.0 records/sec (8.02 MB/sec), 6897.7 ms avg latency, 11279.0 max latency.
records sent, 88883.2 records/sec (8.48 MB/sec), 6607.1 ms avg latency, 11112.0 max latency.
records sent, 100553.0 records/sec (9.59 MB/sec), 6767.4 ms avg latency, 11248.0 max latency.
records sent, 77564.6 records/sec (7.40 MB/sec), 7328.2 ms avg latency, 10982.0 max latency.

Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十八):kafka0.10.1 内置性能测试API用法示例的更多相关文章

  1. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十八)ES6.2.2 增删改查基本操作

    #文档元数据 一个文档不仅仅包含它的数据 ,也包含 元数据 —— 有关 文档的信息. 三个必须的元数据元素如下:## _index    文档在哪存放 ## _type    文档表示的对象类别 ## ...

  2. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十二)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。

    Centos7出现异常:Failed to start LSB: Bring up/down networking. 按照<Kafka:ZK+Kafka+Spark Streaming集群环境搭 ...

  3. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十)安装hadoop2.9.0搭建HA

    如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...

  4. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十九)ES6.2.2 安装Ik中文分词器

    注: elasticsearch 版本6.2.2 1)集群模式,则每个节点都需要安装ik分词,安装插件完毕后需要重启服务,创建mapping前如果有机器未安装分词,则可能该索引可能为RED,需要删除后 ...

  5. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十四)定义一个avro schema使用comsumer发送avro字符流,producer接受avro字符流并解析

    参考<在Kafka中使用Avro编码消息:Consumer篇>.<在Kafka中使用Avro编码消息:Producter篇> 在了解如何avro发送到kafka,再从kafka ...

  6. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十五)Spark编写UDF、UDAF、Agg函数

    Spark Sql提供了丰富的内置函数让开发者来使用,但实际开发业务场景可能很复杂,内置函数不能够满足业务需求,因此spark sql提供了可扩展的内置函数. UDF:是普通函数,输入一个或多个参数, ...

  7. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十六)Structured Streaming中ForeachSink的用法

    Structured Streaming默认支持的sink类型有File sink,Foreach sink,Console sink,Memory sink. ForeachWriter实现: 以写 ...

  8. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十三)kafka+spark streaming打包好的程序提交时提示虚拟内存不足(Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical memory used; 2.2 GB of 2.1 G)

    异常问题:Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical mem ...

  9. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(九)安装kafka_2.11-1.1.0

    如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...

随机推荐

  1. SLAM(一)----学习资料整理

    转自:http://www.cnblogs.com/wenhust/ 书籍: 1.必读经典 Thrun S, Burgard W, Fox D. <Probabilistic robotics& ...

  2. nginx+uwsgi+flask 服务器配置

    注:每个机器,软件版本可能不一样,虽然网上有很多类似的帖子,但是我在搭建的时候遇到了不少的坑,此文仅供参考. 请求流程: 1.安装uwsgi uwsgi是一个应用服务器,非静态文件的网络请求就必须通过 ...

  3. 关于在Struts2的Action中使用domain模型接收参数的问题

    最近在搭建一个最新的ssh2框架,今天在调试的时候,发现了一个以前一直没有注意过的问题,我在Action中使用域模型的方式去接收jsp画面中的参数的时候,发现参数总是接收不完,头一次遇到这种问题,现在 ...

  4. Unity3D实践系列06,球体撞击物体游戏

    本篇实现一个球体在固定区域移动撞击Cube的游戏. 首先有1个Plane当作地面,1个Sphere当作球体,4个Cube当作墙,12个Cube当作被撞击物体,另外还有球体的撞击计算,在撞击的过程适时显 ...

  5. 解决eclipse中web项目出现Project facet Java version 1.8 is not supported.的问题

    项目的jdk和tomcat的jdk版本不同,将eclipse-preference-server-runtime environments点击你要用的tomcat点击edit-jre选择和你项目对应的 ...

  6. Redis在Mac下的安装与使用方法

    首先从Redis官网http://www.redis.io去下载最新版本的Redis安装文件(此处以Redis版本为例进行说明).   Redis 2.6.16版本的下载地址:http://downl ...

  7. 混乱之子第一季/全集Sons Of Anarchy迅雷下载

    本季第一至六季 Sons of Anarchy (2008-2013)看点:<混乱之子>发生在一个虚构的加州小镇(Charming)上,面对毒品贩子和大型土地开发商的步步紧逼,一家黑白两道 ...

  8. 摩登家庭第一季/全集Modern Family迅雷下载

    本季Modern Family Season 1 第一季(2009)看点:<摩登家庭>瞄准的是三对各有不同的美国家庭:一对普通父母与三个孩子.一对同性恋夫夫从越南领养了养女组成三口之家,一 ...

  9. 一分钟了解ArrayList和Vector的区别

    一.是否是线程安全的 Vector是同步的, 而ArrayList不是.因为Vector是同步的, 所以它是线程安全的.同样, 因为Vecotr是同步的, 所以他需要额外的开销来维持同步锁, 所以它要 ...

  10. Pandas 快速入门(二)

    本文的例子需要一些特殊设置,具体可以参考 Pandas快速入门(一) 数据清理和转换 我们在进行数据处理时,拿到的数据可能不符合我们的要求.有很多种情况,包括部分数据缺失,一些数据的格式不正确,一些数 ...