使用logminer挖掘日志,分析历史操作 系列一
===============STARTED====================================
事件起因:
业务的人mail过来说是有张表记录的10K+的优惠码记录没了,要我们确认下之前是否有这样的相关清除操作。
当然,先去数据库确认下这张表关于这个字段的count,的确没有相关的记录。
于是想着之前是不是有人做了相关的DML操作,
先看下这个视图,
select table_name, owner,num_rows, blocks, last_analyzed,partitioned
from dba_tables
where table_name ='NIKE_COUPON';
TABLE_OWNER TABLE_NAME PARTITION_NAME SUBPARTITION_NAME INSERTS UPDATES DELETES TIMESTAMP TRU DROP_SEGMENTS
------------- ---------------- ------------------------------ ------------------------- ---------- ---------- ---------- --------- --- -------------
AP NIKE_COUPON 4 66 0 02-JAN-17 NO 0
看了下deletes为0呀,想了下也许这个视图的数据来源不准,进一步分析,可以通过ASH来看看是否有着这样的DML操作。
(关于dba_tab_modifications这个视图有时候还是挺有用的,但是有几个限制,所以反馈的信息有时也不是很准~)
ASH信息获取:
SQL> set lines 1000
SQL> set pages 400
SQL> select distinct a.sample_time,
2 a.sql_id,a.blocking_session,a.session_state,a.event,a.wait_class,a.program,a.module,a.machine,c.sql_text
3 from dba_hist_active_sess_history a ,v$sqlarea c
where a.sql_id=c.sql_id
and sample_time between to_date('1-JAN-17 00.00.00','dd-MON-yy hh24:mi:ss') and to_date('3-JAN-17 23.00.00','dd-MON-yy hh24:mi:ss')
and lower(c.sql_text) like '%delete%nike_coupon%'
order by 1 ; 4 5 6 7
SAMPLE_TIME SQL_ID BLOCKING_SESSION SESSION EVENT WAIT_CLASS PROGRAM MODULE MACHINE
--------------------------------------------------------------------------- ------------- ---------------- ------- ---------------------------------------------------------------- ---------------
SQL_TEXT
----------------------------------------
01-JAN-17 02.02.47.280 AM 8c7cw4xvync0v 7431 WAITING enq: TX - row lock contention Application JDBC Thin Client JDBC Thin Client ip-xxxx.xx.b2c.nike.com
DELETE FROM nike_coupon WHERE coupon_id = :1
01-JAN-17 02.02.47.280 AM 8c7cw4xvync0v 7431 WAITING enq: TX - row lock contention Application JDBC Thin Client JDBC Thin Client ip-xxxx.xx.b2c.nike.com
DELETE FROM nike_coupon WHERE coupon_id = :1
01-JAN-17 02.02.47.280 AM 8c7cw4xvync0v 7431 WAITING enq: TX - row lock contention Application JDBC Thin Client JDBC Thin Client ip-xxxx.xx.b2c.nike.com
DELETE FROM nike_coupon WHERE coupon_id = :1
01-JAN-17 02.02.47.280 AM 8c7cw4xvync0v 7431 WAITING enq: TX - row lock contention Application JDBC Thin Client JDBC Thin Client ip-xxxx.xx.b2c.nike.com
DELETE FROM nike_coupon WHERE coupon_id = :1
01-JAN-17 02.02.47.280 AM 8c7cw4xvync0v 7431 WAITING enq: TX - row lock contention Application JDBC Thin Client JDBC Thin Client ip-xxxx.xx.b2c.nike.com
DELETE FROM nike_coupon WHERE coupon_id = :1
01-JAN-17 02.02.47.280 AM 8c7cw4xvync0v 7431 WAITING enq: TX - row lock contention Application JDBC Thin Client JDBC Thin Client ip-xxxx.xx.b2c.nike.com
DELETE FROM nike_coupon WHERE coupon_id = :1
01-JAN-17 02.04.53.276 AM 8c7cw4xvync0v ON CPU JDBC Thin Client JDBC Thin Client ip-xxxx.xx.b2c.nike.com
DELETE FROM nike_coupon WHERE coupon_id = :1
01-JAN-17 02.07.34.168 AM 8c7cw4xvync0v ON CPU JDBC Thin Client JDBC Thin Client ip-xxxx.xx.b2c.nike.com
DELETE FROM nike_coupon WHERE coupon_id = :1
01-JAN-17 02.13.30.192 AM 8c7cw4xvync0v ON CPU JDBC Thin Client JDBC Thin Client ip-xxxx.xx.b2c.nike.com
DELETE FROM nike_coupon WHERE coupon_id = :1
可见,在01-JAN-17 02.02.47.280 AM 左右的确有应用服务器连过来做了delete这张表记录的操作,然后和应用,业务都确认好了,应用有每个月初的batch把一些过期的优惠券记录删掉,但是业务想在延长一个月,后面当然是和业务确认好数据,然后重新insert进去。
事情就这样告一段落。
但是可以看到delete语句是带有绑定变量的,如果业务没有数据副本保留,要我们DBA来去fetch到那些删掉的记录,我们如何去获取呢,那就得想办法去得到这个绑定变量的值。
SQL> select
2 dbms_sqltune.extract_bind(bind_data,1).value_string bind1,
3 dbms_sqltune.extract_bind(bind_data,2).value_string bind2,
dbms_sqltune.extract_bind(bind_data,3).value_string bind3
from sys.wrh$_sqlstat
where sql_id = '8c7cw4xvync0v';
4 5 6
BIND1
------------------------------
BIND2
------------------------------------
BIND3
---------------------
HO1234567
HO1234567
SELECT snap_id, NAME,POSITION,DATATYPE_STRING,VALUE_STRING,LAST_CAPTURED cdate
FROM DBA_HIST_SQLBIND WHERE SQL_ID='8c7cw4xvync0v' ;
SNAP_ID NAME POSITION DATATYPE_STRING
---------- ------------------------------ ---------- ---------------
VALUE_STRING
-----------------------------------------------
CDATE
---------
33175 :1 1 VARCHAR2(128)
HO1234567
01-JAN-17
33175 :1 1 VARCHAR2(128)
HO1234567
01-JAN-17
SQL> select snap_id,BEGIN_INTERVAL_TIME,END_INTERVAL_TIME from dba_hist_snapshot where snap_id=33175;
SNAP_ID BEGIN_INTERVAL_TIME END_INTERVAL_TIME
---------- --------------------------------------------------------------------------- ---------------------------------------------------------------------------
33175 01-JAN-17 02.00.36.240 AM 01-JAN-17 03.00.38.812 AM
33175 01-JAN-17 02.00.36.109 AM 01-JAN-17 03.00.38.693 AM
只能查到这一个绑定变量的值:HO1234567
明显是不够的。
这里略带说一下,关于获取绑定变量的一些方法。
1.10043获取bind value,但是在这里不合适,因为要获取的是历史绑定变量
2. v$sql_bind_capture以及dba_hist_sqlbind
3.dbms_sqltune.extract_bind from dba_hist_sqlstat
Bind Capture History
Oracle captures the bind value and stores it into the repository(AWR), but with following restrictions.
- Captured periodically(_cursor_bind_capture_interval), not at real time.
- Captured under maximum size(_cursor_bind_capture_area_size)
- Only bind variables in WHERE clause are captured
大致这三种方法获取bind value,
但是也有如下的限制,如下一小段英文转自Historical Bind Variable Storage
http://www.dba-oracle.com/t_historical_bind_variable_storage.htm
Question: I need to see historical SQL with the bind variables used. Does AWR or STATSPACK store bind variable information? Does Oracle store SQL bind variable values anywhere?
Answer: Only the PGA stores specific bind variable and cursor values, and these are not kept for historical analysis.
The extra cost AWR allows you to see a "representative" sample bind variable value, but all bind variable values are NOT present. In Oracle 10g and beyond, bind variables are periodically captured in the v$sql_bind_capture anddba_hist_sqlbind views, but these are bind variables or ONLY for a single, specific session, and not all historical session bind variables for a SQL statement are kept.
This is because the amount of disk storage to keep a history of all bind variable values would be huge, especially for database that process thousands of transactions per second.
These limited bind values can be found in some AWR and ASH tables as well as the v$sql_plan view. Also, DML statements will have bind variable information in the archived redo logs available via LogMiner.
The best way to collect bind variable for any SQL statement is by using TKPROF(a 10046 trace).
v$sql_plan Bind Variable Display
The v$sql_plan only shows Systemwide values and it does not contain session-level bind variable values. However, you can use the dbms_xplan.display package to display a sample bind variable:
select
sql_text,
other_xml
from
$sql_plan
where
sql_id='XXXX'
and
id=0;
AWR dba_hist_sqlstat Bind Variable Display
select
sql_text,
other_xml
from
$dba_hist_sqlplan
where
sql_id='XXXX'
and
id=0;
Or you can use the dbms_xplan_display_awr procedure to see a sample bind
variable:
select
*
from
table(dbms_xplan.display_awr('&SQL_ID',NULL,NULL,'ADVANCED'))
好的,所以看来只能通过logminer来获取sql redo和sql
undo的一些信息了。明天再来更新后续!~~
使用logminer挖掘日志,分析历史操作 系列一的更多相关文章
- 10.2.0.5环境dg测试logminer挖掘日志分析
起因:客户需求,数据库正常每天总的日志切换是20以内,有一天日志切换总数,达到30,客户建议使用Logminer进行日志挖掘分析,到底什么应用导致的问题. 说明:使用logminer进行日志挖掘,只能 ...
- oracle实现通过logminer实现日志抓取分析
场景:现场库到前置库. 思考:使用触发器? 1.侵入性解决方案 2.需要时各种配置,不需要时又是各种配置 Change Data Capture:捕捉变化的数据,通过日志监测并捕获数据库的变动(包括数 ...
- oracle (9I/10G/11G)数据库日志挖掘(审计误操作)
文档结构: 资料来自官方网站: https://docs.oracle.com/cd/E11882_01/server.112/e22490/logminer.htm#SUTIL019 来自论坛: h ...
- 日志分析方法概述 & Web日志挖掘分析的方法
日志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志:操作系统内核.各种应用服务器等等.日志的内容.规模和用途也各不相同,很难一概而论. 本文讨论的日志处理方法中的日志,仅指Web日志.其 ...
- Spark SQL慕课网日志分析(1)--系列软件(单机)安装配置使用
来源: 慕课网 Spark SQL慕课网日志分析_大数据实战 目标: spark系列软件的伪分布式的安装.配置.编译 spark的使用 系统: mac 10.13.3 /ubuntu 16.06,两个 ...
- Dubbo学习系列之十六(ELK海量日志分析框架)
外卖公司如何匹配骑手和订单?淘宝如何进行商品推荐?或者读者兴趣匹配?还有海量数据存储搜索.实时日志分析.应用程序监控等场景,Elasticsearch或许可以提供一些思路,作为业界最具影响力的海量搜索 ...
- nginx高性能WEB服务器系列之八--nginx日志分析与切割
nginx系列友情链接:nginx高性能WEB服务器系列之一简介及安装https://www.cnblogs.com/maxtgood/p/9597596.htmlnginx高性能WEB服务器系列之二 ...
- 【MM系列】SAP 的账期分析和操作
公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[MM系列]SAP 的账期分析和操作 前言部 ...
- 【MM系列】SAP SAP的账期分析和操作
公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[MM系列]SAP SAP的账期分析和操作 ...
随机推荐
- objective-c 语法快速过(5)
oc 的分类-Category 通过分类(category)可以以模块的方式向现有的类添加方法. 它提供了一种简单的方式, 用它可以将类的定义模块化到相关方法的组或分类中.它还提供了扩展现有类定义的简 ...
- C# 中实现单例模式
文章目录 简介 不安全线程的单例模式 简单安全线程带锁 双重检查 - 带锁 安全初始化 安全并且懒汉式静态初始化 带泛型的懒汉式单例 异常 提高效率 总结 简介 单例模式是软件工程中广为人知的设计模式 ...
- 使用GIT@OSChina 实现协同工作的方法。
由于我新建了一个团队,团队里的人对于GIT都不太熟悉,所以才有了这篇文章.我用的是git-1.9.4的版本,所以我建议团队里面的成员也使用这个版本.首先是下载git,这个自己去网上找吧,一大堆,记得是 ...
- RECONFIGURE语句会清空计划缓存么?
几个星期前,有个网友问我一个非常有趣的问题:RECONFIGURE语句会清空计划缓存么?通常我对这个问题的答案是简单的是,但慢慢的我找出了真正的答案是“看情况啦”.我们来看下它,为什么“它看情况”. ...
- ASP.NET Core 开发-中间件(Middleware)
ASP.NET Core开发,开发并使用中间件(Middleware). 中间件是被组装成一个应用程序管道来处理请求和响应的软件组件. 每个组件选择是否传递给管道中的下一个组件的请求,并能之前和下一组 ...
- EntityFrame Work 6 Code First 配置字段为varchar 类型
EntityFrame Work 6 配置字符串属性是否支持Unicode 内容 默认情况下,字符串为Unicode(SQLServer 中的nvarchar).您可以使用IsUnicode 方法指定 ...
- 【C#进阶系列】25 线程基础
线程的概念 线程的职责是对CPU进行虚拟化. CPU为每个进程都提供了该进程专用的线程(功能相当于cpu),应用程序如果进入死循环,那么所处的进程会"冻结",但其他进程不会冻结,它 ...
- nginx.conf
#user nobody;worker_processes 4; #nginx进程数,建议设置为等于CPU总核心数 #error_log logs/error.log;#error_log logs/ ...
- 说说&和&&的区别
&和&&都可以用作逻辑与的运算符,表示逻辑与(and),当运算符两边的表达式的结果都为true 时,整个运算结果才为true,否则,只要有一方为false,则结果为false. ...
- 股指的趋势持续研究(Hurst指数)
只贴基本的适合小白的Matlab实现代码,深入的研究除了需要改进算法,我建议好好研究一下混沌与分形,不说让你抓住趋势,至少不会大亏,这个资金盈亏回调我以前研究过. function [line_H,R ...