本人对大数据方面也是刚刚研究,由于工作需要在实时查询与统计的性能方面要深入学习.现测试性能如下:   环境:VirtualBox  host-only ubuntu版本: Linux master 4.4.0-47-generic #68-Ubuntu SMP Wed Oct 26 19:39:52 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux   XXX.XXX.XXX.101 master XXX.XXX.XXX.102 Slave1 XXX.XXX.XXX

我眼中的Oracle性能优化 大家对于一个业务系统的运行关心有如下几个方面:功能性.稳定性.效率.安全性.而一个系统的性能有包含了网络性能.应用性能.中间件性能.数据库性能等等. 今天从数据库性能的角度,浅谈Oracle性能优化的一些看法. 首先对于性能问题,大家先接触的一般都是某个业务功能慢,速度客户无法接受.那对于系统的性能无非如下图所示: 当一个性能问题出现时,很多人都会猜测问题各个方面的原因. 今天主要谈数据库的性能问题,就问题而言,我们针对问题经过数据库性能分析,发现数据库性能存在问题

文章转自:http://blog.chinaunix.net/uid-26813519-id-3207996.html 硬件方面虽然只占Oracle性能优化的一个方面(另一方面是软件),但是仍不可忽视.本文将针对硬件OLTP系统优化,来讲述如何优化Oracle数据库性能. 实验环境: 由于本文所需测试均是从内存盘使用方面的优化性测试,因此有一台内存较大cpu稍微好一点的机器就足以做相关测试了. 遗留问题: 1 每次重启数据库时重建oracle索引的代价是多少,应用能否接受? 2 redo log

原则一:注意WHERE子句中的连接顺序: ORACLE采用自下而上的顺序解析WHERE子句,根据这个原理,表之间的连接必须写在其他WHERE条件之前, 那些可以过滤掉最大数量记录的条件必须写在WHERE子句的末尾. 尤其是“主键ID=?”这样的条件. 原则二: SELECT子句中避免使用 ‘ * ‘: ORACLE在解析的过程中, 会将'*' 依次转换成所有的列名, 这个工作是通过查询数据字典完成的, 这意味着将耗费更多的时间 . 简单地讲,语句执行的时间越短越好(尤其对于系统的终端用户来说).

在缺乏的可视化工具来监控数据库性能的情形下,常用的脚本就派上用场了,下面提供几个关于Oracle性能相关的脚本供大家参考.以下脚本均在Oracle 10g测试通过,Oracle 11g可能要做相应调整. 1.寻找最多BUFFER_GETS开销的SQL 语句 --filename: top_sql_by_buffer_gets.sql --Identify heavy SQL (Get the SQL with heavy BUFFER_GETS) SET LINESIZE 190 COL sql

恒生技术之眼 作者 林景忠 大家对于一个业务系统的运行关心有如下几个方面:功能性.稳定性.效率.安全性.而一个系统的性能有包含了网络性能.应用性能.中间件性能.数据库性能等等. 今天从数据库性能的角度,浅谈Oracle性能优化的一些看法. 首先对于性能问题,大家先接触的一般都是某个业务功能慢,速度客户无法接受.那对于系统的性能无非如下图所示: 当一个性能问题出现时,很多人都会猜测问题各个方面的原因.今天主要谈数据库的性能问题,就问题而言,我们针对问题经过数据库性能分析,发现数据库性能存在问题,那

MemSQL 取代 HDFS 与 Spark 结合,性能大幅提升 3,597 次阅读 - 基础架构 Apache Spark是目前非常强大的分布式计算框架.其简单易懂的计算框架使得我们很容易理解.虽然Spark是在操作大数据集上很有优势,但是它仍然需要将数据持久化存储,HDFS是最通用的选择,和Spark结合使用,因为它基于磁盘的特点,导致在实时应用程序中会影响性能(比如在Spark Streaming计算中).而且Spark内置就不支持事务提交(commit transactions). 本文

oracle性能优化之awr分析 作者:bingjava 最近某证券公司系统在业务期间系统运行缓慢,初步排查怀疑是数据库存在性能问题,因此导出了oracle的awr报告进行分析,在此进行记录. 导致系统的性能问题有很多,比如内存.cpu占用率过高,网络延迟.系统存储io瓶颈.还有程序方面的代码逻辑.性能低下的sql语句等等,这里主要从awr的角度说明如何通过awr的报告来定位问题. 一.awr报告分析及问题定位 DB Name DB Id Instance Inst num Release RA

作者早期文章 Oracle优化 索引是表的一个概念部分 , 用来提高检索数据的效率, ORACLE 使用了一个复杂的自平衡 B-tree 结构 . 通常 , 通过索引查询数据比全表扫描要快 . 当 ORACLE 找出执行查询和 Update 语句的最佳路径时 , ORACLE 优化器将使用索引. 大部分的性能问题其实都是索引应用的问题,Where子句.Order By.Group By 都要用到索引.一般开发人员认为将索引建全了就可以下班回家了,实则还有颇多的思量和陷阱. 原则一:注意WHERE

在之前的博文中,我们回顾和总结了2014年Spark在性能提升上所做的努力.本篇博文中,我们将为你介绍性能提升的下一阶段——Tungsten.在2014年,我们目睹了Spark缔造大规模排序的新世界纪录,同时也看到了Spark整个引擎的大幅度提升——从Python到SQL再到机器学习. Tungsten项目将是Spark自诞生以来内核级别的最大改动,以大幅度提升Spark应用程序的内存和CPU利用率为目标,旨在最大程度上压榨新时代硬件性能.Project Tungsten包括了3个方面的努力:

最近在看梁敬彬老师关于Oracle性能优化的一些案例,在这里做一些简单的总结 1.COUNT(*)与COUNT(列)哪个更快 drop table t purge; create table t as select * from dba_objects; --alter table T modify object_id  null; update t set object_id =rownum ; set timing on  set linesize 1000 set autotrace on

[IT168 技术]本文根据吕海波2018年5月11日在[第九届中国数据库技术大会]上的演讲内容整理而成. 讲师介绍: 吕海波,美创科技研究员,ITPUB管理版版主.出版技术书籍<Oracle内核技术揭密>,曾参加过两届数据库大会.IT老兵,22年IT领域从业经历,十数年数据库经验,惯看IT江湖风起云涌.曾在多家巨头型互联网公司(阿里.ebay.京东)从事数据库管理.数据架构.运维自动化工作.目前主要研究数据安全.敏捷运维等方向. 内容摘要: 时间都去哪儿了?这是性能调优时大家最爱问的问题.比

ASH (Active Session History)ASH以V$SESSION为基础,每秒采样一次,记录活动会话等待的事件.不活动的会话不会采样,采样工作由新引入的后台进程MMNL来完成.ASH buffers 的最小值为1MB,最大值不超过30MB.内存中记录数据.期望值是记录一小时的内容. 生成ASH报告:SQLPLUS>@?/rdbms/ashrpt.sql ASH内存记录数据始终是有限的,为了保存历史数据,引入了自动负载信息库(Automatic Workload Repositor

Oracle Tuning (Oracle 性能调整)的一些总结 Oracle Tuning (Oracle 性能调整)的一些总结关于Oracle的性能调整,一般包括两个方面,一是指Oracle数据库本身的调整,比如SGA.PGA的优化设置,二是连接Oracle的应用程序以及SQL语句的优化.做好这两个方面的优化,就可以使一套完整的Oracle应用系统处于良好的运行状态.本文主要是把一些Oracle Tuning的文章作了一个简单的总结,力求以实际可操作为目的,配合讲解部分理论知识,使大部分具有

--------------------------------------------------------------------------------------------------------- 来自:<Oracle 11g性能优化攻略> 引用地址:http://www.cnblogs.com/raol/p/performance_tuning.html --------------------------------------------------------------

在Sortable公司,很多数据处理的工作都是使用Spark完成的.在使用Spark的过程中他们发现了一个能够提高Sparkjob性能的一个技巧,也就是修改数据的分区数,本文将举个例子并详细地介绍如何做到的. 查找质数 比如我们需要从2到2000000之间寻找所有的质数.我们很自然地会想到先找到所有的非质数,剩下的所有数字就是我们要找的质数. 我们首先遍历2到2000000之间的每个数,然后找到这些数的所有小于或等于2000000的倍数,在计算的结果中可能会有许多重复的数据(比如6同时是2和3的

原则一:注意WHERE子句中的连接顺序: ORACLE采用自下而上的顺序解析WHERE子句,根据这个原理,表之间的连接必须写在其他WHERE条件之前, 那些可以过滤掉最大数量记录的条件必须写在WHERE子句的末尾. 尤其是“主键ID=?”这样的条件. 原则二: SELECT子句中避免使用 ‘ * ‘: ORACLE在解析的过程中, 会将'*' 依次转换成所有的列名, 这个工作是通过查询数据字典完成的, 这意味着将耗费更多的时间 . 简单地讲,语句执行的时间越短越好(尤其对于系统的终端用户来说).

例举在诊断Oracle性能问题时,常用的工具.方法 解答: 1)简单一点的可以用toad及dbartisan这样的工具. 2)纯做性能监测,比较出色的有spolight和emc的I3,这两个软件都比较贵. 3)一些网管系统这方面也不错,如hp的openview.不过定制起来不太容易,且很贵. 4)不用花钱又好用的就是Oracle的statpack了. 5)再有就是自己写脚本了,大多数有经验的DBA都喜欢这样的方式.优点是实用灵活.缺点是如果想出一个性能变化的曲线图等图表,且做的美观就需要些del

Oracle 性能优化的基本方法概述 1)设立合理的性能优化目标. 2)测量并记录当前性能. 3)确定当前Oracle性能瓶颈(Oracle等待什么.哪些SQL语句是该等待事件的成分). 4)把等待事件记入跟踪文件. 5)确定当前的OS瓶颈. 6)优化所需的成分(应用程序.数据库.I/O.争用.OS等). 7)跟踪并实施更改控制过程. 8)测量并记录当前性能 9)重复步骤3到7,直到满足优化目标 1．设立合理的性能优化目标 重点:关于设立目标的最重要的一点是它们必须是可量化和可达到的. 方法:目

对象统计信息描写叙述数据是如何在数据库中存储的,查询优化器使用这些统计信息来做出正确的决定.Oracle中有三种类型的对象统计信息:表统计.列统计和索引统计.而在每种类型中,有细分为:表或索引级别的统计.分区级别统计和子分区级别的统计,后面两种仅仅有在对象被分区和具有子分区的情况下才可用. 统计信息相关视图 表统计信息 表/索引级别的统计 user_tab_statistics user_tables 分区级别的统计 user_tab_statistics user_tab_partitions

2018-03-31 awrcrt更新到了2.14版本, 下载地址为 https://pan.baidu.com/s/1IlYVrBJuZWwOljomVfta5g https://pan.baidu.com/s/1IlYVrBJuZWwOljomVfta5g https://pan.baidu.com/s/1IlYVrBJuZWwOljomVfta5g   在awrcrt 2.14中,新增了几个图表(内存统计,空间统计等),修正了若干bug.感谢各位oracle爱好者汇报的bug,提供的建议.