记一次 ClickHouse 性能测试

【记一次 ClickHouse 性能测试】的更多相关文章

记一次 ClickHouse 性能测试

前言在工作场景中,我们会采集工厂设备数据用于智能控制,数据的存储用了 InfluxDB,随着数据规模越来越大,InfluxDB 的性能越来越差,故考虑引入 ClickHouse 分担 InfluxDB 大数据分析的压力,再加上我们业务上也用到了 MySQL ,所以本文就来对比下 MySQL.InfluxDB.ClickHouse 在千万数据量下的写入耗时.聚合查询耗时.磁盘占用等各方面性能指标. 结论先行最终的结论是,直接使用 ClickHouse 官网提供的 6600w 数据集来做对比测试…

3000本IT书籍下载地址

http://www.shouce.ren/post/d/id/112300 黑客攻防实战入门与提高.pdfhttp://www.shouce.ren/post/d/id/112299 黑客入门新手特训.pdfhttp://www.shouce.ren/post/d/id/112298 黑客与设计-剖析设计之美的秘密(彩印).pdfhttp://www.shouce.ren/post/d/id/112297 鸟哥的LINUX私房菜:服务器架设篇 (第二版).pdfhttp…

ClickHouse之简单性能测试

前面的文章ClickHouse之初步认识已经简单的介绍了ClickHouse,接下来进行简单的性能测试.测试数据来源于美国民用航班的数据,从1987年到2017年,有1.7亿条. 环境: centos 6.3,32G内存,24核下载脚本: #!/bin/bash ` do ` do mwget -n http://transtats.bts.gov/PREZIP/On_Time_On_Time_Performance_${s}_${m}.zip done done 这里采用的是mwget,12…

性能测试——记XX银行保全项目性能问题分析优化

记XX银行保全项目性能问题分析优化数据库问题也许是大部分性能问题的关注点,但是JAVA应用与数据库交互的关节,JDBC 就像是我们人体的上半身跟下半身的腰椎,支持上半身,协调下半身运动的重要支撑点.假如腰椎出问题了,在强壮的上半身或者下半身也是只能说身体瘫痪着. 就如数据库设计很优良或者JAVA应该设计开发代码写得非常优化,但是在JAVA应用代码与数据库之间的桥梁没设计衔接好,彼此之间的数据交互沟通不顺畅,那性能问题还是非常严重的.如资源型的内存泄漏.系统频繁抛出各种异常等现在导致影响系统性能…

性能测试——记weblogic 连接池满无法链接故障诊断过程

记weblogic 连接池满无法链接故障诊断过程前段时间公司负责建行的一个票据系统在,上线前几个分行试运行环境下,每天后台日志都会报oracle.jdbc.xa.OracleXAException,前台无法正常访问通过使用weblogic的测试数据库链接,弹出无法链接提示信息,但是发现连接池使用才10个,而最大连接数60个,监控分析没有发现连接数使用满的迹象. 那个时候我们公司的老总以及客户方项目领导非常着急,都忙着找人帮忙解决,客户方也请了他们建行自己的高手过来解决,我们公司老总也打电话四…

clickhouse 亿级数据性能测试

clickhouse 在数据分析技术领域早已声名远扬,如果还不知道可以点这里了解下. 最近由于项目需求使用到了 clickhouse 做分析数据库,于是用测试环境做了一个单表 6 亿数据量的性能测试,记录一下测试结果,有做超大数据量分析技术选型需求的朋友可以参考下. 服务器信息 CPU:Intel Xeon Gold 6240 @ 8x 2.594GHz 内存:32G 系统:CentOS 7.6 Linux内核版本:3.10.0 磁盘类型:机械硬盘文件系统:ext4 Clickhouse信…

性能测试——记XX银行电票系统上线后宕机问题诊断优化

四月份我们公司负责的电票系统上线了,这个系统上线比客户方其他系统上线还特殊,是二期改造项目,旧系统数据还要整合抽取到新系统中继续使用,而且该系统不是增量型方式开发上线的,而且全部开发完后全国上线的,这样开发压力大,测试人员压力也很大,由于环境问题以及在接近上线前客户方还在做需求变更,导致上线后出现了不少缺陷问题,两周后大部分问题还好都得以解决.而在上线前由于多种原因,我们性能测试人员根据项目调研提供的典型交易进行测试发现了不少问题,但是由于开发人员还在忙于需求变更等开发工作,对我们发现的性能问题…