Ranger-hdfs插件压测
公司的并发量很大,担心使用ranger-hdfs插件后 namenode扛不住压力 所以需要本人进行压测 没有在网上找到其他文档 资料太少了 决定自己写一份
介绍下压测环境 15个节点 集群高可用两个namenode 主备 其中node2 为活动的namenode
环境如下:
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 32
On-line CPU(s) list: 0-31
Thread(s) per core: 2
Core(s) per socket: 8
Socket(s): 2
NUMA node(s): 2
Vendor ID: GenuineIntel
CPU family: 6
Model: 79
Model name: Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz
Stepping: 1
CPU MHz: 2299.951
CPU max MHz: 3000.0000
CPU min MHz: 1200.0000
BogoMIPS: 4194.67
Virtualization: VT-x
L1d cache: 32K
L1i cache: 32K
L2 cache: 256K
L3 cache: 20480K
NUMA node0 CPU(s): 0-7,16-23
NUMA node1 CPU(s): 8-15,24-31
这里使用阿里的压测包 stresstester 包
public class PressTest { static int concurrencyLevel=128; //并发数
static int totalRequest=Integer.MAX_VALUE; //请求数
static String username="sparkuser1";
public static void main(String[] args) {
StressResult result= StressTestUtils.test(concurrencyLevel, totalRequest, new StressTask() {
public Object doTask() throws Exception {
HdfsFileService hdfsFileService = HdfsFileServiceLocal.LocalThread.get();
Random random=new Random();
int i=random.nextInt(100)+1;
if(i<=(100*0.1)){
hdfsFileService.updateToHdfs("/tmp/startScl.sh","/user/tmp");
}else{
int rand = new Random().nextInt(10000) + 1;
hdfsFileService.read("/scldir/test/dir"+rand);
}
return"";
}
});
}
private static class HdfsFileServiceLocal { private static ThreadLocal<HdfsFileService> LocalThread = new ThreadLocal<HdfsFileService>() {
@Override
protected HdfsFileService initialValue() {
try {
return HdfsFileServiceImpl.newBuilder().build(username);
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
};
提前在Ranger上建好策略 可以开始进行测试了
建一万个策略 也提前在hdfs上建好目录 随机访问读取建立的目录
在不同服务器下启动测试程序 进行压测 启动不同数量的进程 变换条件 建更多的策略 分别测试安装插件和不安装时 相同条件 节点配置 线程数等环境下 的QPS RPC processTime等
测试结论
安装Ranger-hdfs插件较不安装插件更耗namenode性能 在该集群配置环境上namenode QPS上线分别为
二服务器下二进程
♥安装Ranger-hdfs
QPS:2.45W
RPC processing time : 0 ms
三服务器下三进程
♥安装Ranger-hdfs
QPS:3.15W
RPC processing time : 0 ms
♥未安装Ranger-hdfs
QPS:5.6W
RPC processing time : 0 ms
五服务器下五进程
♥安装Ranger-hdfs
QPS:3.14W
RPC processing time : 20 ms
♥未安装Ranger-hdfs
QPS:5.58W
RPC processing time : 0 ms
七服务器下七进程
♥安装Ranger-hdfs
QPS:3.34W
RPC processing time : 25 ms
♥未安装Ranger-hdfs
QPS:5.71W
RPC processing time : 3 ms
比对建一万策略跟五万策略测试结果基本一致 影响不大 建五万策略时使用更多的内存
Ranger-hdfs插件压测的更多相关文章
- jmeter流媒体在线播放HLS插件BlazeMeter - HLS Plugin实现视频在线播放压测
一.前提 近日因工作需要,需对视频在线播放功能进行压测,视频播放使用的是HLS协议,传输内容包括两部分,一是用来控制播放的m3u8文件,二是TS媒体文件.(HLS协议和m3u8详解可参考此链接:htt ...
- jmeter 插件安装之阶梯式压测(五)
一.Jmeter插件安装 jmeter-plugins-manager-1.4.jar 下载地址:https://jmeter-plugins.org/install/Install/ 下载之后将插件 ...
- MySQL mysqlslap压测
200 ? "200px" : this.width)!important;} --> 介绍 mysqlslap是mysql自带的一个性能压测工具:mysqlslap用于和其 ...
- 快速入门系列--JMeter压测工具
今天的年会已过,仍然是空手而归,不过俺坚信能让生活稳定永远都是努力.由于隔壁组负责年会的抢红包项目,因而趁此机会把通过工具模拟高并发的知识补了补,通过和身边大师的交流,总算是对压力测试有了个简要的了解 ...
- Jmeter之http性能测试实战 非GUI模式压测 NON-GUI模式 结果解析TPS——干货(十一)
性能测试计划 性能测试用例 录制脚本 性能测试结果 性能测试报告 性能测试监控报告 准备工作 从脚本已录制成功之后开始进行压测 安装Jmeter拓展插件 查看 Transactions per Sec ...
- Jmeter之性能压测Stepping Thread Group 逐步增加并发数 阶梯式加压并发 (十五)
前段时间有描述过性能的测试类型 配置负载 Big Bang: 负载同时产生 Ramp up: 开始时候产生一定负载,然后每隔一段时间增加一些负载直到达到目标负载,这是典型模式 Ramp-up (wit ...
- Jmeter实现dubbo接口压测案例
当前项目中重构了消息服务,需要对消息服务接口做性能压测,评估消息服务的性能情况 通过和开发对接,目前消息服务是通过dubbo接口对内提供服务,所以才有了这边文章的记录 最初的压测这个dubbo接口有三 ...
- Jmeter压测基础(二)——Badboy功能、Jmeter参数化、检查点、集合点、动态关联、图形监控
Badboy 以下稍微介绍一下badboy的部分功能: 1.Record;play(badboy打开后默认是recording状态) 2.Assertion(检查点/断言) 3.Variable: t ...
- JMeter接口压测——ServerAgent监控服务端性能指标
ServerAgent作为一个服务端性能监控插件,结合JMeter自身插件PerfMon可以实现JMeter压测的图形化实时监控,具有良好的实用性.下面讲解一个应用实例 思路: 1. 插件准备 2.打 ...
随机推荐
- [小米OJ] 8. 最少交换次数
求逆序对数即可 function solution(line) { var nums = line.split(","); var res = 0; for (let i = 0; ...
- python课堂整理8---字符串格式化
一.字符串格式化(% 和 format) 1. % s 主要接收字符串类型,也可以接收任意类型 tp1 = "i am %s my hobby is alex" % 'lhf' ...
- python课堂整理3---字符串魔法
字符串魔法 1.首字母大写功能 test = "alex" v = test.capitalize() print(v) 2.所有变小写(casefold更厉害,可以将很多未知的其 ...
- java练习---15
package cn.lyh; public class L { //斐波那契数列 public static void main(String[] args) { int []arr = new i ...
- 动手造轮子:基于 Redis 实现 EventBus
动手造轮子:基于 Redis 实现 EventBus Intro 上次我们造了一个简单的基于内存的 EventBus,但是如果要跨系统的话就不合适了,所以有了这篇基于 Redis 的 EventBus ...
- java往文本文件中写入信息并修改
题目要求: 1.可以往一个文本文档中写入员工信息:name,id和详情 2.可以更改name package FanCQ.Xue.practice; import java.io.*;import j ...
- Charles(Windows/Android)入门使用
一. 介绍以及下载(windows) Charles是一个HTTP代理/HTTP监视器/反向代理,使开发人员能够查看其机器和Internet之间所有HTTP和SSL/HTTPS流量,这包括请求,响应和 ...
- 第二章、Go-基础语法
2.1.变量定义 (1)第一个程序helloworld package main import( "fmt" ) func main() { fmt.Println("h ...
- codeforces 327 A Ciel and Dancing
题目链接 给你一串只有0和1的数字,然后对某一区间的数翻转1次(0变1 1变0),只翻转一次而且不能不翻转,然后让你计算最多可能出现多少个1. 这里要注意很多细节 比如全为1,要求必须翻转,这时候我们 ...
- Xamarin 基础知识
Xamarin 跨平台处理: C#: if (Device.OS == TargetPlatform.Android) { Code…… } else if (Device.OS == TargetP ...