创建一个表: 记录rowid的分区段并作为处理的日志表:

DROP TABLE DEAL_TABLE_EXTENT;

CREATE TABLE DEAL_TABLE_EXTENT
(seq             number,
 OWNER           VARCHAR2(30),
 TABLE_NAME      VARCHAR2(30),
 EXTENT_ID       NUMBER ,     
 FILE_ID         NUMBER  ,    
 BLOCK_ID        NUMBER  ,     
 BLOCKS          NUMBER  ,    
 RELATIVE_FNO    NUMBER  , 
 MIN_ROWID       ROWID,
 NEXT_ROWID      ROWID,
 DEAL_FLAG       NUMBER  ,
 DEAL_ROW        NUMBER  ,
 BEGIN_TIME      DATE,
 END_TIME        DATE,
 ERR_MSG         VARCHAR2(2000)
);
comment on column DEAL_TABLE_EXTENT.DEAL_FLAG is '处理标志:0 正在处理,1 处理完成,-1 ' ;
comment on column DEAL_TABLE_EXTENT.DEAL_ROW is '该extent已经处理的记录数' ;
 
insert into DEAL_TABLE_EXTENT
 ( seq ,
   OWNER,
   TABLE_NAME,
   EXTENT_ID,
   FILE_ID,
   BLOCK_ID,
   BLOCKS,
   RELATIVE_FNO,
   MIN_ROWID
 )
 select rownum,
        owner,
        segment_name,
        EXTENT_ID,
        FILE_ID,
        BLOCK_ID,
        BLOCKS,
        RELATIVE_FNO,
        dbms_rowid.rowid_create(1, OBJ_ID,FILE_ID,BLOCK_ID,0)
   from (select owner,
                segment_name,
                EXTENT_ID,
                FILE_ID,
                BLOCK_ID,
                BLOCKS,
                RELATIVE_FNO,
                (select object_id from dba_objects where object_name='PAIM_FILE_STORAGE' and owner='EPCISIMSDATA') OBJ_ID
           from dba_extents
          where segment_name = 'PAIM_FILE_STORAGE'
          order by file_id, block_id);
commit ;
 
 create index ix_DEAL_TABLE_EXTENT_seq on DEAL_TABLE_EXTENT(seq);
 
UPDATE  DEAL_TABLE_EXTENT ATE1
SET NEXT_ROWID=(SELECT MIN_ROWID FROM  DEAL_TABLE_EXTENT ATE2 WHERE ATE2.SEQ=ATE1.SEQ+1) ;
    
commit ;
-----------最后一个extent 特殊处理 ----------------------
UPDATE  DEAL_TABLE_EXTENT ATE1
SET NEXT_ROWID= (select dbms_rowid.rowid_create(1, object_id,FILE_ID,BLOCK_ID+Blocks,0)  from dba_objects where object_name='PAIM_FILE_STORAGE' and owner='EPCISIMSDATA') 
where  NEXT_ROWID is null   ;
commit ;

创建存储过程,按ROWID分段处理

create or replace procedure push_paim_file_storage_1
is
---- PAIM_FILE_STORAGE 搬数据脚本
l_min_rowid rowid  ;
l_next_rowid rowid ;

Begin
  for i in (select seq,min_rowid,next_rowid from DEAL_TABLE_EXTENT
   where seq<50000 AND (deal_flag<>'1' OR deal_flag is null) order by seq)
   loop
     begin
     update DEAL_TABLE_EXTENT set BEGIN_TIME=SYSDATE WHERE SEQ=I.SEQ;
     insert /*+ append */ into epcisimsdata.paim_file_storage
       select * from epcisimsdata.paim_file_storage@TOCOWEPCISBS where rowid>=i.min_rowid and rowid<i.next_rowid;
      update DEAL_TABLE_EXTENT set deal_flag='1',END_TIME=SYSDATE WHERE SEQ=I.SEQ;
      COMMIT;
      exception when others then
      update DEAL_TABLE_EXTENT set deal_flag='0',END_TIME=SYSDATE WHERE SEQ=I.SEQ;
      end ;
   end loop ;

End ;

注意事项:

select rowid rid
,dbms_rowid.rowid_object(rowid) object_id
,dbms_rowid.rowid_relative_fno(rowid) fno
,dbms_rowid.rowid_block_number(rowid) block_num
,dbms_rowid.rowid_row_number(rowid) row_num
,PROGRAM_INTERFACE_TRACE.*
from PROGRAM_INTERFACE_TRACE sample block (0.001) order by rowed

可以看到, rowed的排序与FILE_ID也有关的, extend_id FILE_ID没有关系

ROWID的字符排 ROWID 本身排序是两回事, 不能同一样处理

select rownum rn, a.* from (select ROWIDTOCHAR(rowid) rid
,dbms_rowid.rowid_object(rowid) object_id
,dbms_rowid.rowid_relative_fno(rowid) fno
,dbms_rowid.rowid_block_number(rowid) block_num
,dbms_rowid.rowid_row_number(rowid) row_num,
 a.* from AJ50.AJ_JOBS a ) a order by rid

使用ROWIDTOCHAR 或者 CHARtoROWID转换

使用EXTEND方式来分段处理大表的搬数据的更多相关文章

  1. Oracle 删除大表中部分数据

    需求: 项目中有一张表大概有7000多万条数据,造成表空间已满,需要清理部分数据,打算清理3000万. 2B 做法: delete from table_name where ID > '400 ...

  2. oracle 大表 已有大数据量 建索引防卡 nologging

    create index idx_th_user_info_fans_name on th_user_info(fans_name) nologging;

  3. MySQL高级知识(十六)——小表驱动大表

    前言:本来小表驱动大表的知识应该在前面就讲解的,但是由于之前并没有学习数据批量插入,因此将其放在这里.在查询的优化中永远小表驱动大表. 1.为什么要小表驱动大表呢 类似循环嵌套 for(int i=5 ...

  4. SQL Server从读写频繁的大表中删除大批量数据

    如果我们直接用delete from语句来删除读写频繁的大表中的数据,很有可能会因为where的条件是全表扫描从而导致整个表被锁住了.如果该表是读写频繁的生产库那简直就是一场灾难,所有的线上读写请求都 ...

  5. oracle表连接——处理连接过程中另外一张表没有相关数据不显示问题

    一个数据表基本上很难满足我们的查询要求,同时,将所有的数据都保存在一个表格中显然也不是一种好的数据库设计,为了避免数据的冗余,删除.更新异常,我们通常需要建立一张外键表,通过表连接,来获取我们自己想要 ...

  6. 小表驱动大表, 兼论exists和in

    给出两个表,A和B,A和B表的数据量, 当A小于B时,用exists select * from A where exists (select * from B where A.id=B.id) ex ...

  7. 详解MySQL大表优化方案( 转)

    当MySQL单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化: 单表优化 除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑.部署.运维的各种复杂度,一般以整型 ...

  8. MySQL 大表优化方案探讨

    当MySQL单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化: 单表优化 除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑.部署.运维的各种复杂度,一般以整型 ...

  9. MySQL 对于大表(千万级),要怎么优化呢?

    http://www.zhihu.com/question/19719997 提问:如何设计或优化千万级别的大表?此外无其他信息,个人觉得这个话题有点范,就只好简单说下该如何做,对于一个存储设计,必须 ...

随机推荐

  1. Hibernate映射1

    Hibernet映射 集合映射: 类的属性字段是集合的. set: <set name=”属性字段” table=“属性字段的表名”> <key 外键 column=“”> & ...

  2. 委托-异步调用-泛型委托-匿名方法-Lambda表达式-事件【转】

    1. 委托 From: http://www.cnblogs.com/daxnet/archive/2008/11/08/1687014.html 类是对象的抽象,而委托则可以看成是函数的抽象.一个委 ...

  3. Android_通过ContentObserver监听短信数据变化

    1.简单介绍 在小米等一些机型,无法接收系统发出的短信广播. 仅仅能通过观察者ContentObserver,去监听短信数据的变化 2.SMS数据介绍 content://sms/inbox     ...

  4. mysql insert中文乱码无法插入ERROR 1366 (HY000): Incorrect string value

    ERROR 1366 (HY000): Incorrect string value: '\xB1\xEA\xCC\xE2\xD5\xE2...' for column 'title' at row ...

  5. Linux学习1——首次登录

    一.写在前面 在本节将介绍首次登录Linux系统(本文中为CentOS)所需要了解的一些基本操作.二.完成目标 1.了解GNOME和KDE窗口管理程序 2.使用在线求助man和info 3.基本命令操 ...

  6. (原)前端知识杂烩(meta系列)

    更新于 20160831 1. meta 移动端头文件设置 (一般情况下,逐条复制放在头部就可以了) 1.1 强制让文档的宽度与设备的宽度保持1:1,并且文档最大的宽度比例是1.0,且不允许用户点击屏 ...

  7. python函数与方法装饰器

    之前用python简单写了一下斐波那契数列的递归实现(如下),发现运行速度很慢. def fib_direct(n): assert n > 0, 'invalid n' if n < 3 ...

  8. 关于ASP .Net Core 引用dll 一

    一:ASP.Net Core 引用dll文件,不可以直接引用,必须在NuGet中引用才行. 二:如果想引用自己的dll文件,则需要注册NeGet账号,获取到API Key 才行,还需要下载NuGet安 ...

  9. com.sun.jdi.InvocationException occurred invoking method.

    文章来源于网络, 自己也遇到同样的问题,也是采用这样的方式解决的.原文链接http://zuiyanwangyue.iteye.com/blog/470638 在 HibernateDaoSuppor ...

  10. jsp中添加弹窗口并且实现向后台双向传递数据

    思路:使用jquery-easyui框架实现弹出div,在jsp初始化时从后台获得数据初始化div中的form表单元素的value属性,从而获得后台数据.在点击确定按钮时使用ajax向后台发送数据. ...