大厂运维必备技能:PB级数据仓库性能调优
摘要:众所周知,数据量大了之后,性能是大家关注的一点,所以我们在业务开发的时候,特别关注性能,做为一个架构师,必须对性能要了解,要懂。才能设计出高性能的业务系统。
一、GaussDB分布式架构
所谓集群是将多台物理服务器组建成一个逻辑平台,对外展现一个集群平台的形式。
所谓分布式架构是将数据分而治之。以逻辑进行划分,将数据存放在不同的物理节点。
CN:协调节点 负责接收来自应用的访问请求,并向客户端返回执行结果。Coordinator负责分解任务,并调度任务分片在DataNode上并行执行。
CN:SQL语句的解析和任务规划,把具体的任务下发给DN结构
GTM:生成和维护全局事务ID、事务快照、时间戳等需要全局唯一的信息。
DN:数据节点,负责存储业务数据(支持行存、列存、混合存储)、执行数据查询任务以及向Coordinator返回执行结果。【不单存储还负责计算】
一台物理机【2-4个DN】
Coorinator做任务的规划 分发,规划完之后,把具体的任务抛给计算节点。
Crew3 Worker1和Crew3 Worker2就是任务树中的叶节点就是数据的扫描任务,接受下级任务的数据输入,向上级任务输出数据。
Crew2 Worker1和Crew2 Worker2中间的节点就是各种数据运算任务,如Hash计算,Join操作,聚集操作和排序操作。接受下级任务的数据输入,向上级任务输出数据。
在非阻塞的任务流程中,上级任务不需要等待下级完成全部任务返回整体结果级才启动,下级任务生成一条结果记录就可以传递给上级。
阻塞情况下,上级任务需要等待下级任务完成所有数据处理工作。
二、调优原则与流程
说白了,就是少花钱,多办事,资源利用最大化,比如我们在点查询场景的时候尽量使用索引扫描。如果实在不能索引扫描,我们会读取每一条元组和点查询条件进行匹配。
在没有资源瓶颈的情况下,尽量充分利用资源,比如在数据排序的时候,尽量使数据不下盘,在内存进行排序。因为在磁盘中读写的速度,肯定是不如内存的。
- 静态调优一般架构师会根据业务特征确定集群部署方案,表定义,行列存,复制/哈希分布等设计的过程。方案和表一般确定下来,后期如果要改动,代价很大。
- 可能作为有经验的人来说,收集统计信息,sql改写,数据库参数配置,plan hint等手段基本都做过,它属于执行态调优。但是没有经验的人可能只知道理论,不知道如何操作,久而久之,理论都忘记了。
- 防止单点(单个DN)数据多, 导致整个集群有效容量下降。
- 防止单点扫描,压力过大。
- 通过,分区,索引,局部聚簇实现。(后面会有实践操作)
- 选择关联列,做为分布列,比如用id关联,将id做为分布列,这样查询的时候,避免跨计算接点的数据流动,减少网络压力。
- 局部聚簇是列存储下独有的手段,通过把表数据按照指定列排序后存储,配合稀疏索引,可以实现表数据的快速扫描。【华为独有的科技】
三、伴随场景介绍
发现一个犯罪嫌疑人,还有他的车辆,我怎么通过数据挖掘来找到犯罪团伙的场景。
四、调优实践
Plan Information:在sql语句执行的时候,perf语句会包含非常多的执行动作,也会消耗很多的资源,我们通过perf把这些信息都记录下来。常用的是前2个。Plan 执行过程中每个算子的执行概要信息。比如:scan,join等。另外一个是算子,with信息。
Predicate Information: 算子信息,每条数据扫描,伴随的filter条件,join伴随的关联字段。
1.会对数据类似于分区,然后进行局部排序
2.并通过元数据信息记录这个区间的最大值和最小值。
CUNone:0我忽略了多少个数据段
CUSome:6我需要扫描多少个数据段
Scan的性能提升的两个主要策略
1)减少实际IO
a)索引
b)pck
c)分区
2)Scan压力均衡
a)调整分布列
数据批量入库的时候,按字段做一些排序。排完序之后,再入库。
导入表数据和统计信息。
Time:10.422ms
不包含PCK大概花了23.902ms
pck建立的场景和索引的建立场景是有点像的。
nestloop的在特定场景下,性能会非常好,比如小表join大表的时候,
hashjoin在大多数场景下,性能最优。大表join大表
hash join一般期望数据量小的表做内表,
hash join:137ms
merge join:775ms
nestloop:1137.9ms
问题总结:
1.truncate和delete快
答: truncate 整个文件都不读 delete标记元组 删除
2.PCK对入库的数据做局部排序影响较小。
3.MPP数据库性能瓶颈在哪些?
答:数据库性能瓶颈在具体数据处理业务场景,分布式架构场景下,业务CPU吃满了,瓶颈在CPU,内存吃满了,瓶颈在内存。
采集于华云数据仓库GaussDB DWS_数据仓库性能调优-version 5.0-华哥
大厂运维必备技能:PB级数据仓库性能调优的更多相关文章
- 运维监控篇Zabbix简单的性能调优
Zabbix是一款高性能的分布式监控报警系统.比如现在常见的家用台式机配置处理器I5-3470.内存4GB1600MHz.硬盘7200rpm就能够监控1000台左右的HOST,是的没错Zabbix就是 ...
- 运维必备技能 WEB 日志分析
文章节选自<Netkiller Monitoring 手札> 20.2. Web 20.2.1. Apache Log 1.查看当天有多少个IP访问: awk '{print $1}' l ...
- centos7系统管理和运维实战——运维必备的网络管理技能(1)
运维必备的网络管理技能 一.网络管理协议: 1.简单的两个概念: DHCP(动态主机配置协议):如果网络结构要更改,需要从新初始化网络参数,手机用动态主机配置协议可以避免这个问题.客户端可以从D ...
- hadoop 性能调优与运维
hadoop 性能调优与运维 . 硬件选择 . 操作系统调优与jvm调优 . hadoop运维 硬件选择 1) hadoop运行环境 2) 原则一: 主节点可靠性要好于从节点 原则二:多路多核,高频 ...
- 优化系统资源ulimit《高性能Linux服务器构建实战:运维监控、性能调优与集群应用》
优化系统资源ulimit<高性能Linux服务器构建实战:运维监控.性能调优与集群应用> 假设有这样一种情况,一台Linux 主机上同时登录了10个用户,在没有限制系统资源的情况下,这10 ...
- 优化Linux内核参数/etc/sysctl.conf sysctl 《高性能Linux服务器构建实战:运维监控、性能调优与集群应用》
优化Linux内核参数/etc/sysctl.conf sysctl <高性能Linux服务器构建实战:运维监控.性能调优与集群应用> http://book.51cto.com/ar ...
- Java性能调优攻略全分享,5步搞定!(附超全技能图谱)
对于很多研发人员来说,Java 性能调优都是很头疼的问题,为什么这么说?如今,一个简单的系统就囊括了应用程序.数据库.容器.操作系统.网络等技术,线上一旦出现性能问题,就可能要你协调多方面组件去进行优 ...
- 性能调优之Java系统级性能监控及优化
性能调优之Java系统级性能监控及优化 对于性能调优而言,通常我们需要经过以下三个步骤:1,性能监控:2,性能剖析:3,性能调优 性能调优:通过分析影响Application性能问题根源,进行优化 ...
- 站长、运维必备| 网站可用性监控产品 OneAPM Cloud Test 上线
白天太忙,到了晚上才发现网站一天都没有访问量? 直到有用户投诉才发现网站完全无法访问? 还要每月付费才能及时了解网站可用情况? 监控频率太低,不能及时发现网站不可用? 第三方服务宕机,导致您的网站不可 ...
随机推荐
- 内网 Maven 编译
内网 Maven 编译 有个特殊的需求,在不联网的情况下编译 Java 项目. 想到两种方案: 搭建 Nexus 私有镜像仓库. 直接把依赖 jar包 放在编译机的 maven 本地库中. 步骤简述 ...
- Spring Cloud 之分布式配置基础应用
分布式配置基础应用 配置中心服务 spring-config-server pom.xml <?xml version="1.0" encoding="UTF-8& ...
- 2020-07-16:如何获得一个链表的倒数第n个元素?
福哥答案2020-07-16: 1.快慢指针.快指针先走n步,然后快慢指针同时走,直到快指针走到尾.2.两次遍历.第一次遍历获取链表长度,然后计算出序号,然后遍历获取序号下的元素.3.数组保存.遍历一 ...
- C#LeetCode刷题之#852-山脉数组的峰顶索引(Peak Index in a Mountain Array)
问题 该文章的最新版本已迁移至个人博客[比特飞],单击链接 https://www.byteflying.com/archives/4003 访问. 我们把符合下列属性的数组 A 称作山脉: A.le ...
- C#LeetCode刷题之#645-错误的集合(Set Mismatch)
问题 该文章的最新版本已迁移至个人博客[比特飞],单击链接 https://www.byteflying.com/archives/3887 访问. 集合 S 包含从1到 n 的整数.不幸的是,因为数 ...
- Python 为什么要在 18 年前引入布尔类型?且与 C、C++ 和 Java 都不同?
花下猫语:在上一篇<Python 为什么能支持任意的真值判断? >文章中,我们分析了 Python 在真值判断时的底层实现,可以看出 Python 在对待布尔值时,采用了比较宽泛的态度.官 ...
- 2020大厂web前端面试常见问题总结
本篇收录了一些面试中经常会遇到的经典面试题以及自己面试过程中遇到的一些问题.通过对本篇知识的整理以及经验的总结,希望能帮到更多的前端面试者. 1.web前端项目的结构是怎样的?文件有哪些命名规范? 项 ...
- css实现网页缩放时固定定位的盒子与版心一同缩放
在网页设计过程中我们可能会出现这种情况:设置好一个固定定位的盒子,但是当网页缩放时固定定位的盒子与网页的版心分离 这是因为css定位中的固定定位是以页面为参照进行定位的,而不是以版心盒子为参照,那么我 ...
- .NET Core + K8S + Apollo 玩转配置中心
1.引言 Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境.不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限.流程治理等特性,适用于微服务配置管理 ...
- hbase运行流程图
hbase运行流程图