[转帖]警惕Oracle数据库性能“隐形杀手”——Direct Path Read
一、 简介
Oracle 的11g版本正式发布到今天已经10年有余,最新版本也已经到了20c,但是Direct Path Read(直接路径读)导致性能问题的案例仍时有发生,很多12c的用户还是经常遇到这个问题,所以有必要把这个事情再跟大家讲一遍,通过2个典型案例加深理解。
早在2012年,盖国强大师就撰写文章,介绍了direct path read这个11g版本推出的新特性:
https://www.eygle.com/archives/2012/05/oracle_11g_direct_path_read.html 也有人把关闭这个功能作为“最佳实践”,我建议先多了解一些具体情况再决定。
Direct path read的目的是让一些不常使用的大表数据(冷数据),在全表扫描时,每次都从磁盘读到用户的私有内存(PGA),而不要去挤占有限的、宝贵的、频繁使用的数据(热数据)所在的共享内存(SGA-buffer cache)。
热数据只在第一次访问时从磁盘读,读到SGA的buffer cache后,再次访问会直接从内存读,效率高、对存储压力小。
试想一个表被频繁全表扫描访问(缺少索引或业务设计不合理),一开始表还不算太大,会放到共享内存,只需要少量的磁盘读,这时对存储压力不大;随着记录数的不断增加,达到了某些条件后(下文会提到),就会使用direct path read,频繁的磁盘读就会造成存储的巨大压力,出现严重的性能问题。
从共享内存读到直接路径读,这个变化在不频繁的全表扫描时是起到积极作用的;如果业务不合理(一个大表正常情况不会有频繁的全表扫描)、或者缺少索引(这个是比较多的情况),频繁的大表全表扫描就会在某个触发点上对数据库性能做出致命一击,导致业务瘫痪。
二、 两个典型案例
1. 案例1
某银行业务数据库A夜间跑批业务突然变慢,查了很长时间,对top sql也做了“优化”(清除历史数据,虽然是比较初级优化手段,但是也最有效,如果数据需要保留就不行),仍未解决。因为是5~6套数据库共享一套存储,而且表现在存储响应时间慢,开始对其他几套库进行排查,发现其中一套数据库B在这段时间内IO消耗突增。
故障时段AWR报告显示如下:
数据库B之前正常时段AWR 情况:
awr对比是分析系统性能问题的一个重要手段,建议定期保存awr基线
Load Profile(Read IO相差1000多倍 1057.6M vs 0.7M):
Top events:direct path read只占 DB time 的0.1% (故障时段63.1%):
Top Read SQL:消耗较少物理读
通过对比发现是一个SQL的物理读突增导致存储整体下降,影响到存储上的其他数据库。
对该TOP SQL分析发现,sql执行频繁,执行计划没有改变(下图红框内第一列,一直是全表扫描),但是某天夜间突然Disk Reads次数(下图中间部分)暴增,这个时间正是数据库A跑批业务出问题的时间段,下面是sqlhc收集到的sql执行历史信息:
该SQL逻辑比较简单,2个谓词条件的单表查询,只需要创建一个简单索引,即可避免全表扫描。创建索引后,一切恢复正常。
根因分析:
如果不把导致问题的根本原因找到,那么很有可能下次还会再发生。根因分析需要有一定深度的技术水平才能做到,很多时候故障只是临时解决,根因未找到前还会不断发生。
有个隐含参数_serial_direct_read,决定dirrect path read的使用方式,默认是auto(共有false, true, never, auto, always几个选项),auto方式下有下面几个已知触发条件:
表大小超过 _small_table_threshold 隐含参数设置的阀值
表在buffer cache块数低于50%
表脏块数低于的25%
上面几个条件,只要有一个不满足,都不会使用Direct path read。频繁使用的大表,达到_small_table_threshold 阀值后,因为仍有大量数据在buffer cache,不会立即触发Direct path read,但是如果遇到其他大表挤占了buffer cache,buffer cache块数低于50%,就满足了触发条件。
另外还有一个参数_very_large_object_threshold,默认值500,即表大小超过5倍_db_block_buffers时,也会选择direct path read,这里不多解释。
上面SQL的触发时间点是统计信息收集时段,表数据块在buffer cache的量减少,触发了Direct path read后,就很难再回到从前了。除非对表“瘦身”,简单的delete还不行,必须是高水位的降低(truncate或delete +shrink)。文章最后有改参数的方法。
2. 案例2
这是一个来自网上的案例,某业务系统数据库升级,重启后IO负载超高(重启不一定包治百病,也有时可能让你病重),分析AWR发现是某个表频繁的全表扫描导致,用户将表历史数据归档临时解决这个问题。
案例分析与点评
文章作者当时并没有意识到这就是一个典型的direct path read导致的问题。数据库重启前,数据量逐渐增长,虽然到了Direct path read的阀值,但是大量数据仍在数据库缓存(buffer cache),没有触发;数据库重启,数据库缓存被清空,触发了direct path read,导致了故障的发生。没有把这个根本原因找到,以后其他表还是有可能遇到相同的问题。
如何判断direct path read导致的性能问题:
如果数据库变慢,IO吞吐量突然急剧增长(存储或OS监控发现),十有八九可能遇到了direct path read的问题。
如果AWR报告显示每秒的Read IO非常高,而且Top Event里面的Direct path read等待事件占DB time比例较高,就可以断定发生了Direct Path Read问题(注:这个判断一般是针对OLTP系统,OLAP里面direct path read高,很可能是正常的)
总结与建议:
通过上面介绍,我们了解到Direct path read这个功能的设计初衷是为了提高数据库的整体性能。但是如果不合理的使用(频繁访问的表没有索引,或是业务不合理,表逐渐增大,突然爆发),就非常有可能遇到严重的性能问题。怎么办?
建议:
oracle每次升级新版本都会带来一些性能上的改进,如果用的不好,反而会带来负面影响,成为数据库性能“杀手”。
如果能定期分析AWR,提前发现Top SQL存在的隐患,Direct path Read这个功能还是有必要保留的,前提是需要对数据库做精细化的管理,可以把“杀手”变成帮手。
但是目前绝大多数数据库维护现状是不如人意的,这种情况还是建议把这个参数关闭:
alter system set "_serial_direct_read"=never;
[转帖]警惕Oracle数据库性能“隐形杀手”——Direct Path Read的更多相关文章
- 文献综述九:Oracle数据库性能模型的研究
一.基本信息 标题:Oracle数据库性能模型的研究 时间:2018 出版源:数字技术与应用 文件分类:对框架的研究 二.研究背景 帮助运维人员分析数据库性能,发现问题,指导调优. 三.具体内容 文献 ...
- oracle数据库性能优化方案精髓整理收集回想
oracle数据库性能优化整体法则: 一.降低数据訪问(降低硬盘房訪问次数) 二.返回更少的数据(降低网络传输或磁盘訪问) 三.降低交互次数(降低网络传输) 四.降低server开销(降低cpu及内存 ...
- Jemeter对Oracle数据库性能测试方法
下载Oracle的jdbc数据库驱动包,注意Oracle数据库的版本,这里使用的是:Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 ...
- 浅谈Oracle数据库性能优化的目标
Oracle性能优化保证了Oracle数据库的健壮性,为了保证Oracle数据库运行在最佳的性能状态下,在信息系统开发之前就应该考虑数据库的优化策略.从数据库性能优化的场景来区分,可以将性能优化分为如 ...
- oracle数据库性能
性能视图V$开头 V$SYSTEM_EVENT 正在等待的资源的系统信息 V$SESSION_EVENT 会话累计发生的等待事件 V$SESSION_WAIT 会话正在等待或者曾经等待的详细时间信息 ...
- oracle 11g禁用和强制direct path read
一般在混合型环境中,大表在进行全表扫描或者走并行的时候一般会出现direct path read等待事件,如果在OLTP或者纯粹的DSS环境中,出现大量的direct path read直接路径读取, ...
- oracle数据库性能调优
一:注意WHERE子句中的连接顺序: ORACLE采用自下而上的顺序解析WHERE子句,根据这个原理,表之间的连接必须写在其他WHERE条件之前, 那些可以过滤掉最大数量记录的条件必须写在WHERE子 ...
- Oracle数据库性能优化基础
1.数据处理分类OLTP,OLAP 2.Oracle特性 3.数据库优化方法论/原则 方法论:自顶向下优化和自底向上优化 3.1 自顶向下优化 3.2 自底向上优化 对于多年的老系统出现性能问题时,就 ...
- (转)oracle 数据库性能健康检查脚本
转至:https://blog.csdn.net/cm_0205/article/details/100210526?utm_medium=distribute.pc_relevant_downloa ...
- 数据库 Oracle数据库性能优化
--在Oacle数据库涉及到全表扫描的SQL查询(top,count)中, --现场用户删除表中大部分数据,只保留1W条数据,但是查询仍然很慢,检查磁盘IO,发现磁盘IO不是很高 --经过分析Oacl ...
随机推荐
- 当创建一个ingress后,kubernetes会发什么?
本文分享自华为云社区<当创建一个ingress后,kubernetes会发什么?>,作者:可以交个朋友. 一.Ingress概述 Ingress是一组路由转发规则合集,将集群内部服务通过7 ...
- webrtc实时视频语音实现
webrtc介绍 WebRTC实现了基于网页的视频会议,标准是WHATWG 协议,目的是通过浏览器提供简单的javascript就可以达到实时通讯(Real-Time Communications ( ...
- MySQL进阶篇:详解索引使用_最左前缀法则
MySQL进阶篇:第四章_四.一_ 索引使用_最左前缀法则 最左前缀法则 如果索引了多列(联合索引),要遵守最左前缀法则.最左前缀法则指的是查询从索引的最左列开始,并且不跳过索引中的列.如果跳跃某一列 ...
- 共探AI大模型时代下的挑战与机遇,华为云HCDE与大模型专家面对面
摘要:近日,华为开发者大会2023(cloud)"开发者生态创新发展圆桌会议"在东莞华为溪流背坡村成功举办. 2023年7月8日,华为开发者大会2023(cloud)"开 ...
- centos 8 yum 默认安装nginx php 重启nginx服务,报错 403 404
centos yum nginx 默认安装nginx 服务,重启nginx服务,报错. nginx: [error] open() "/run/nginx.pid" failed ...
- LAS Spark+云原生:数据分析全新解决方案
更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,回复[1]进入官方交流群 随着数据规模的迅速增长和数据处理需求的不断演进,云原生架构和湖仓分析成为了现代数据处理的重要趋势.在这个数字化时代 ...
- Solon2 接口开发: 实战 Gateway 模式效果
1.效果预览 网关 @Mapping("/api/v3/app/**") @Component public class ApiGateway3x extends UapiGate ...
- Beyond Compare常用快捷键
[会话]菜单的功能与快捷键 [文件]菜单的功能与快捷键 [编辑]菜单的功能与快捷键 [搜索]菜单的功能与快捷键
- MyBatis(2):深入学习
请注意,本文学习自 @我没有三颗心脏 编写日志输出环境配置文件 在开发过程中,最重要的就是在控制台查看程序输出的日志信息,在这里我们选择使用 log4j 工具来输出: 准备工作: 将[MyBatis] ...
- KYOCERA Programming Contest 2021(AtCoder Beginner Contest 200)(AB水题,C思维,D搜索,E DP)
补题链接:Here A - Century 整除 \(200\) 并且判断能否整除完全 B - 200th ABC-200 按题意即可 C - Ringo's Favorite Numbers 2 求 ...