万恶的deferred_segment_creation（延迟块分配）

11gR2开始,空表是不分配segment的.由于没有分配 segment, EXP默认不能导出空表,user_objects有该对象但是 user_segment没有该对象…

oracle 11g使用deferred_segment_creation 延迟段创建特性时遇到的问题总结

总结,下面是两个问题.问题1是用户可以在所有表空间创建表;问题2是exp不能导出空表问题1: 版本:oracle 11.2.0.1.0 select * from v$version; 创建用户aaa,给其connect和resource角色,但回收unlimited tablespace权限: SQL> create user aaa identified by aaa default tablespace users; User created. SQL> grant connect,r…

[ext4]05 磁盘布局 - 延迟块组初始化

延迟块组初始化,Ext4的新特性.如果对应的特性标识uninit_bg置位,那么inode bitmap和inode tables就不会初始化. 延迟块组初始化特性特性可以减少格式化耗时. 延迟块组初始化特性,默认是开启的. root@ubuntu:~# time mkfs.ext4 -F /dev/sdc - real 0m0.838s user 0m0.072s sys 0m0.328s root@ubuntu:~# debugfs /dev/sdc debugfs 1.…

oracle延迟块清除

oracle在执行一些DML操作时,会在block上有活动事务的标志,如果一个事务commit后,由于某些block在commit之前已经写回datafile, 或者事务影响到的block数过多,则commit的时候只会清理undo segment header中的事务标志信息,data block上的事务标志不会清除,否则代价过高.那么在一些读取这些block时,需要将这些事务标志进行清除,就是延迟块清除实验如下: SQL> drop table t cascade constraints;…

ext4 关闭延迟分配

ext4的延迟分配特性(delalloc)保证文件在磁盘中的连续,提高文件的读写性能,但是却增加了丢数据的概率. Hadoop和HBase中建议将延迟分配特性关闭. 可以使用下面的方法关闭延迟分配 1. mount -t ext4 -o remount,nodelalloc /${dev} /${mnt}; 2. 编辑/etc/fstab中相关mount项,添加nodelalloc挂载参数 linux文件系统的一些概念: superblock:记录文件系统的整体信息,包含inode/block的…

[ext4]空间管理 - 分配机制

在Ext4系统中,存在很多分配策略,比如预分配.多块分配.延迟分配等 Prealloc预分配在ext4系统中,对于小文件和大文件的空间申请请求,都有不同的分配策略.对用小文件的空间请求,ext4尝试从一种叫per-CPU local group中分配空间.Per-CPU Local group就是有所有该CPU所执行的分配行为共享的空间,目的是保证这些小文件的聚集在一起,便于访问.对于大文件的空间请求,ext4尝试从一种叫per-inode preallocation中分配.这点就像…

ext4文件系统的delalloc选项造成单次写延迟增加的分析

最近我们的服务进程遇到kill -15后处于Z的状态,变为了僵尸进程,经过/proc/{thread_id}/stack查看其上线程的栈,发现是卡在了fwrite的过程中,而我们的系统中所有文件系统挂载参数都使用了delalloc参数,怀疑是这个原因:ext4挂载的时候打开了delalloc选项,然后系统在没有分配磁盘块的情况下写写写,到page cache被回写到磁盘时,发现磁盘已经满了,没办法分配新的磁盘块了,就Hang住了. 这篇文章是淘宝内核组的刘峥同学在内部技术论坛上发表的一篇文章,但…

【转】ext4+delalloc造成单次写延迟增加的分析

转自 http://blog.tao.ma/?p=58 这篇文章是淘宝内核组的刘峥同学在内部技术论坛上发表的一篇文章,但是由于刘峥同学目前没有blog,征得本人同意,贴在我的blog上,如果大家喜欢,请去新浪微博关注他.:) 日前线上在升级到Ext4文件系统后出现应用写操作延迟开销增大的问题.造成这一问题的根源目前已经查明,是由于Ext4文件系统的一个新特性——Delay Allocation造成的.(后面简称delalloc) 在详细分析这一问题之前,先来介绍一下Ext4文件系统的delall…

[转载]ext4文件系统的delalloc选项造成单次写延迟增加的分析

转载http://www.cnblogs.com/cobbliu/p/5603472.html 最近我们的服务进程遇到kill -15后处于Z的状态,变为了僵尸进程,经过/proc/{thread_id}/stack查看其上线程的栈,发现是卡在了fwrite的过程中,而我们的系统中所有文件系统挂载参数都使用了delalloc参数,怀疑是这个原因:ext4挂载的时候打开了delalloc选项,然后系统在没有分配磁盘块的情况下写写写,到page cache被回写到磁盘时,发现磁盘已经满了,没办法分配…

Oracle Block Cleanouts 块清除

当用户发出提交(commit)之后,oracle是需要写出redo来保证故障时数据可以被恢复,oracle并不需要在提交时就写出变更的数据块.由于在事务需要修改数据时,必须分配ITL事务槽,必须锁定行,必须分配回滚段事务槽和回滚表空间来记录要修改的数据的前镜像.当事务提交时,oracle需要将回滚段上的事务表信息标记为非活动,以便空间可以被重用那么还有ITL事务信息和锁定信息需要清除,以记录提交. 由于oracle在数据块上存储了ITL和锁定等事务信息,所以oracle必须在事务提交之后清除这些…

【并行计算-CUDA开发】CUDA线程、线程块、线程束、流多处理器、流处理器、网格概念的深入理解

GPU的硬件结构,也不是具体的硬件结构,就是与CUDA相关的几个概念:thread,block,grid,warp,sp,sm. sp: 最基本的处理单元,streaming processor 最后具体的指令和任务都是在sp上处理的.GPU进行并行计算,也就是很多个sp同时做处理 sm:多个sp加上其他的一些资源组成一个sm, streaming multiprocessor. 其他资源也就是存储资源,共享内存,寄储器等. warp:GPU执行程序时的调度单位,目前cuda的warp的大小…

java\c程序的内存分配

JAVA 文件编译执行与虚拟机(JVM)介绍 Java 虚拟机(JVM)是可运行Java代码的假想计算机.只要根据JVM规格描述将解释器移植到特定的计算机上,就能保证经过编译的任何Java代码能够在该系统上运行.本文首先简要介绍从Java文件的编译到最终执行的过程,随后对JVM规格描述作一说明. 一.Java源文件的编译.下载.解释和执行 Java应用程序的开发周期包括编译.下载.解释和执行几个部分.Java编译程序将Java源程序翻译为JVM可执行代码?字节码.这一编译过程同C/C++的编译有…

内存管理（memory allocation内存分配)

Memory management is the act of managing computer memory. The essential requirement of memory management is to provide ways to dynamically allocate portions of memory to programs at their request, and free it for reuse when no longer needed. This is…

堆分配与栈分配---SAP C++电面（5）/FEI

一直以来总是对这个问题的认识比较朦胧,我相信很多朋友也是这样的,总是听到内存一会在栈上分配,一会又在堆上分配,那么它们之间到底是怎么的区别呢?为了说明这个问题,我们先来看一下内存内部的组织情况．从上图可知,程序占用的内存被分了以下几部分． 1.栈区(stack)由编译器自动分配释放 ,存放函数的参数值,局部变量的值等,内存的分配是连续的,类似于平时我们所说的栈,如果还不清楚,那么就把它想成数组,它的内存分配是连续分配的,即,所分配的内存是在一块连续的内存区域内．当我们声明变量时,那么编译器会自…

STL内存管理器的分配策略

STL提供了很多泛型容器,如vector,list和map.程序员在使用这些容器时只需关心何时往容器内塞对象,而不用关心如何管理内存,需要用多少内存,这些STL容器极大地方便了C++程序的编写.例如可以通过以下语句创建一个vector,它实际上是一个按需增长的动态数组,其每个元素的类型为int整型: stl::vector<int> array; 拥有这样一个动态数组后,用户只需要调用push_back方法往里面添加对象,而不需要考虑需要多少内存: array.push_back(10); a…

[ext4]空间管理 - 与分配相关的关键数据结构

在块分配机制中,涉及到几个主要的数据结构. 通过ext4_allocation_request描述块请求,然后基于块查找结果即上层需求来决定是否执行块分配操作. 在分配过程中,为了更好执行分配,记录一些信息,需要对分配行为进行描述,就有结构体ext4_allocation_contex. 在搜寻可用空间过程中,是有可能使用预分配空间的,因此还需要有能够描述预分配空间大小等属性的描述符ext4_prealloc_space. 下面,对各个关键结构体进行详细的分析. 1. 块请求描述符ex…

[ext4]空间管理 - 查找块

在文件系统中,当需要执行写操作时,肯定是需要查找需要写入的块.那么如何查找块哪? 在Ext4系统中,有两个函数是可能执行查找操作的:ext4_getblk().ext4_get_block(). 其中ext4_getblk(),原型如下: structbuffer_head *ext4_getblk(handle_t *handle, struct inode *inode, ext4_lblk_tblock, int create, int *errp) 该函数的主要功能:基于给定的in…

java程序的内存分配

java程序的内存分配 JAVA 文件编译执行与虚拟机(JVM)介绍 Java 虚拟机(JVM)是可运行Java代码的假想计算机.只要根据JVM规格描述将解释器移植到特定的计算机上,就能保证经过编译的任何Java代码能够在该系统上运行.本文首先简要介绍从Java文件的编译到最终执行的过程,随后对JVM规格描述作一说明. 一.Java源文件的编译.下载.解释和执行 Java应用程序的开发周期包括编译.下载.解释和执行几个部分.Java编译程序将Java源程序翻译为JVM可执行代码?字节码.这一编译…

java程序的内存分配（二）

前言您是否是动态分配的 C/C++ 对象忠实且幸运的用户?您是否在模块间的往返通信中频繁地使用了"自动化"?您的程序是否因堆分配而运行起来很慢?不仅仅您遇到这样的问题.几乎所有项目迟早都会遇到堆问题.大家都想说,"我的代码真正好,只是堆太慢".那只是部分正确.更深入理解堆及其用法.以及会发生什么问题,是很有用的. 什么是堆? (如果您已经知道什么是堆,可以跳到"什么是常见的堆性能问题?"部分) 在程序中,使用堆来动态分配和释放对象.在下列…

java中构造代码块、方法调用顺序问题

1. 继承的概念继承在本职上是特殊——一般的关系,即常说的is-a关系.子类继承父类,表明子类是一种特殊的父类,并且具有父类所不具有的一些属性或方法. 2. 继承中的初始化顺序从类的结构上而言,其内部可以有如下四种常见形态:属性(包括类属性和实例属性).方法(包括类方法和实例方法).构造器和初始化块(包括类的初始化块和实例的初始化块).对于继承中的初始化顺序,又具体分为类的初始化和对象的初始化. 类初始化: 在jvm装载类的准备阶段,首先为类的所有类属性和类初始化块分配内存空间.并在类首次初…

[转，讲的非常精彩]CIDR地址块及其子网划分（内含原始IP地址分类及其子网划分的介绍）

http://blog.csdn.net/dan15188387481/article/details/49873923 CIDR地址块及其子网划分(内含原始IP地址分类及其子网划分的介绍) 1. 原始的IP地址表示方法及其分类(近几年慢慢淘汰) IP地址是由4字节,32位表示的,为了表示方便,通常用点分十进制表示法,例如大家常见的:192.168.0.52,四个字节,通过点进行分隔,看起来十分清晰.IP地址的32位是由网络号+主机号组成的,也就是说这32位中,左边的某些连续位表…

Linux下对inode和块的理解

基本概念首先讲下inode和块的基本概念.在Linux系统中,文件由元数据和数据块组成.数据块就是多个连续性的扇区(sector),扇区是文件存储的最小单位(每个512字节).块(block)的大小,最常见的是4KB,也就是连续8个sector组成,存储文件数据和目录数据.而元数据用来记录文件的创建者.创建日期.大小等,这种存储文件元数据信息的区域叫做inode,即索引节点. 由于inode也是用来存储文件相关属性信息的,所以也会消耗硬盘空间.具体包含的信息有inode号,文件的字节数.Use…

CIDR概述及其地址块计算

CIDR概述英文:Classless Inter-Domain Routing,中文是:无分类域间路由选择.一般叫做无分类编址. 设计目的:解决路由表项目过多过大的问题. 表示法:{<网络前缀>,<主机号>} / 网络前缀所占位数 CIDR表示法给出任何一个IP地址,就相当于给出了一个CIDR地址块.例如这个IP:128.14.35.7/20 128.14.35.7/20:00000000 00001110 00100011 00000111 我们可以看出来前20位是网络号,后1…

golang 学习笔记 ---内存分配与管理

Go语言——内存管理参考: 图解 TCMalloc Golang 内存管理 Go 内存管理问题内存碎片:避免内存碎片,提高内存利用率. 多线程:稳定性,效率问题. 内存分配内存划分 arena即为所谓的堆区,应用中需要的内存从这里分配, 大小为512G,为了方便管理把arena区域划分成一个个的page,每个page为8KB,一共有512GB/8KB个页 spans区域存放span的指针,每个指针对应一个page,所以span区域的大小为(512GB/8KB) * 指针大小8byte…

oracle(八)块清除

(1) 快速块清除(fast block cleanout), 当事务修改的数据库全部保存在buffer cache并且修改数据块的数据量没有超过cache buffer 的10%,快速清除事务信息. (2) 延迟块清除(delayed block cleanout)当修改的数据块的阀值超过10% 或者本次事务相关的数据块已经被刷出了buffer cache,oracle会下次访问此block时再清除事务信息.…

Netty源码分析第5章(ByteBuf)---->第8节: subPage级别的内存分配

Netty源码分析第五章: ByteBuf 第八节: subPage级别的内存分配上一小节我们剖析了page级别的内存分配逻辑, 这一小节带大家剖析有关subPage级别的内存分配通过之前的学习我们知道, 如果我们分配一个缓冲区大小远小于page, 则直接在一个page上进行分配则会造成内存浪费, 所以需要将page继续进行切分成多个子块进行分配, 子块分配的个数根据你要分配的缓冲区大小而定, 比如只需要分配1k的内存, 就会将一个page分成8等分简单起见, 我们这里仅仅以16字节为例,…

C++中关于new及动态内存分配的思考

如何实现一个malloc? malloc_tutorial.pdf ———————————————————————————————————— 我们知道,使用malloc/calloc等分配内存的函数时,一定要检查其返回值是否为“空指针”(亦即是检查分配内存的操作是否成功),这是良好的编程习惯,也是编写可靠程序所必需的.但是,如果你简单的把这一招应用到new上,那就不一定正确了. C++里,如果new分配内存失败,默认是抛出异常的.如果你想检查new是否成功,应该捕捉异常. try{ int* p…