公司的并发量很大,担心使用ranger-hdfs插件后 namenode扛不住压力 所以需要本人进行压测 没有在网上找到其他文档 资料太少了 决定自己写一份

介绍下压测环境 15个节点 集群高可用两个namenode 主备 其中node2 为活动的namenode

环境如下:

Architecture:          x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 32
On-line CPU(s) list: 0-31
Thread(s) per core: 2
Core(s) per socket: 8
Socket(s): 2
NUMA node(s): 2
Vendor ID: GenuineIntel
CPU family: 6
Model: 79
Model name: Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz
Stepping: 1
CPU MHz: 2299.951
CPU max MHz: 3000.0000
CPU min MHz: 1200.0000
BogoMIPS: 4194.67
Virtualization: VT-x
L1d cache: 32K
L1i cache: 32K
L2 cache: 256K
L3 cache: 20480K
NUMA node0 CPU(s): 0-7,16-23
NUMA node1 CPU(s): 8-15,24-31

这里使用阿里的压测包 stresstester 包

public class PressTest {

    static  int concurrencyLevel=128; //并发数
static int totalRequest=Integer.MAX_VALUE; //请求数
static String username="sparkuser1";
public static void main(String[] args) {
StressResult result= StressTestUtils.test(concurrencyLevel, totalRequest, new StressTask() {
public Object doTask() throws Exception {
HdfsFileService hdfsFileService = HdfsFileServiceLocal.LocalThread.get();
Random random=new Random();
int i=random.nextInt(100)+1;
if(i<=(100*0.1)){
hdfsFileService.updateToHdfs("/tmp/startScl.sh","/user/tmp");
}else{
int rand = new Random().nextInt(10000) + 1;
hdfsFileService.read("/scldir/test/dir"+rand);
}
return"";
}
});
}
private static class HdfsFileServiceLocal { private static ThreadLocal<HdfsFileService> LocalThread = new ThreadLocal<HdfsFileService>() {
@Override
protected HdfsFileService initialValue() {
try {
return HdfsFileServiceImpl.newBuilder().build(username);
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
};

提前在Ranger上建好策略 可以开始进行测试了

建一万个策略 也提前在hdfs上建好目录 随机访问读取建立的目录

在不同服务器下启动测试程序 进行压测  启动不同数量的进程   变换条件 建更多的策略 分别测试安装插件和不安装时 相同条件 节点配置 线程数等环境下 的QPS RPC processTime等

测试结论

安装Ranger-hdfs插件较不安装插件更耗namenode性能 在该集群配置环境上namenode QPS上线分别为

二服务器下二进程

♥安装Ranger-hdfs

QPS:2.45W

RPC processing time : 0 ms

三服务器下三进程

♥安装Ranger-hdfs

QPS:3.15W

RPC processing time : 0 ms

♥未安装Ranger-hdfs

QPS:5.6W

RPC processing time : 0 ms

五服务器下五进程

♥安装Ranger-hdfs

QPS:3.14W

RPC processing time : 20 ms

♥未安装Ranger-hdfs

QPS:5.58W

RPC processing time : 0 ms

七服务器下七进程

♥安装Ranger-hdfs

QPS:3.34W

RPC processing time : 25 ms

♥未安装Ranger-hdfs

QPS:5.71W

RPC processing time : 3 ms

比对建一万策略跟五万策略测试结果基本一致 影响不大 建五万策略时使用更多的内存

Ranger-hdfs插件压测的更多相关文章

  1. jmeter流媒体在线播放HLS插件BlazeMeter - HLS Plugin实现视频在线播放压测

    一.前提 近日因工作需要,需对视频在线播放功能进行压测,视频播放使用的是HLS协议,传输内容包括两部分,一是用来控制播放的m3u8文件,二是TS媒体文件.(HLS协议和m3u8详解可参考此链接:htt ...

  2. jmeter 插件安装之阶梯式压测(五)

    一.Jmeter插件安装 jmeter-plugins-manager-1.4.jar 下载地址:https://jmeter-plugins.org/install/Install/ 下载之后将插件 ...

  3. MySQL mysqlslap压测

    200 ? "200px" : this.width)!important;} --> 介绍 mysqlslap是mysql自带的一个性能压测工具:mysqlslap用于和其 ...

  4. 快速入门系列--JMeter压测工具

    今天的年会已过,仍然是空手而归,不过俺坚信能让生活稳定永远都是努力.由于隔壁组负责年会的抢红包项目,因而趁此机会把通过工具模拟高并发的知识补了补,通过和身边大师的交流,总算是对压力测试有了个简要的了解 ...

  5. Jmeter之http性能测试实战 非GUI模式压测 NON-GUI模式 结果解析TPS——干货(十一)

    性能测试计划 性能测试用例 录制脚本 性能测试结果 性能测试报告 性能测试监控报告 准备工作 从脚本已录制成功之后开始进行压测 安装Jmeter拓展插件 查看 Transactions per Sec ...

  6. Jmeter之性能压测Stepping Thread Group 逐步增加并发数 阶梯式加压并发 (十五)

    前段时间有描述过性能的测试类型 配置负载 Big Bang: 负载同时产生 Ramp up: 开始时候产生一定负载,然后每隔一段时间增加一些负载直到达到目标负载,这是典型模式 Ramp-up (wit ...

  7. Jmeter实现dubbo接口压测案例

    当前项目中重构了消息服务,需要对消息服务接口做性能压测,评估消息服务的性能情况 通过和开发对接,目前消息服务是通过dubbo接口对内提供服务,所以才有了这边文章的记录 最初的压测这个dubbo接口有三 ...

  8. Jmeter压测基础(二)——Badboy功能、Jmeter参数化、检查点、集合点、动态关联、图形监控

    Badboy 以下稍微介绍一下badboy的部分功能: 1.Record;play(badboy打开后默认是recording状态) 2.Assertion(检查点/断言) 3.Variable: t ...

  9. JMeter接口压测——ServerAgent监控服务端性能指标

    ServerAgent作为一个服务端性能监控插件,结合JMeter自身插件PerfMon可以实现JMeter压测的图形化实时监控,具有良好的实用性.下面讲解一个应用实例 思路: 1. 插件准备 2.打 ...

随机推荐

  1. [小米OJ] 8. 最少交换次数

    求逆序对数即可 function solution(line) { var nums = line.split(","); var res = 0; for (let i = 0; ...

  2. python课堂整理8---字符串格式化

    一.字符串格式化(% 和 format) 1. % s  主要接收字符串类型,也可以接收任意类型 tp1 = "i am %s my hobby is alex" % 'lhf' ...

  3. python课堂整理3---字符串魔法

    字符串魔法 1.首字母大写功能 test = "alex" v = test.capitalize() print(v) 2.所有变小写(casefold更厉害,可以将很多未知的其 ...

  4. java练习---15

    package cn.lyh; public class L { //斐波那契数列 public static void main(String[] args) { int []arr = new i ...

  5. 动手造轮子:基于 Redis 实现 EventBus

    动手造轮子:基于 Redis 实现 EventBus Intro 上次我们造了一个简单的基于内存的 EventBus,但是如果要跨系统的话就不合适了,所以有了这篇基于 Redis 的 EventBus ...

  6. java往文本文件中写入信息并修改

    题目要求: 1.可以往一个文本文档中写入员工信息:name,id和详情 2.可以更改name package FanCQ.Xue.practice; import java.io.*;import j ...

  7. Charles(Windows/Android)入门使用

    一. 介绍以及下载(windows) Charles是一个HTTP代理/HTTP监视器/反向代理,使开发人员能够查看其机器和Internet之间所有HTTP和SSL/HTTPS流量,这包括请求,响应和 ...

  8. 第二章、Go-基础语法

    2.1.变量定义 (1)第一个程序helloworld package main import( "fmt" ) func main() { fmt.Println("h ...

  9. codeforces 327 A Ciel and Dancing

    题目链接 给你一串只有0和1的数字,然后对某一区间的数翻转1次(0变1 1变0),只翻转一次而且不能不翻转,然后让你计算最多可能出现多少个1. 这里要注意很多细节 比如全为1,要求必须翻转,这时候我们 ...

  10. Xamarin 基础知识

    Xamarin 跨平台处理: C#: if (Device.OS == TargetPlatform.Android) { Code…… } else if (Device.OS == TargetP ...