SAP ABAP将大数据量排序后输入到内表
要向内表读入3百50万条数据,如果一次读入就会产生运行错误,错误提示为,没有内存对于扩展
内表。 我考虑使用SELECT...INTO TABLE...PACKAGE SIZE 和ENDSELECT来解决这个问题,每次比
如只让10000条数据读入。第二次再让10000条数据读入等等。 现在我有个问题,对于3百50万 条
数据最后输出是应该有顺序的。 但是每次SELECT和ENDSELECT之中只能对10000条数据进行排序,
第二次循环又有10000条新的,并且代替了老的10000,这样导致了只能对内表的10000条数据进行
排序。
You might do your sorting upon the database side.
Here are my two "forms" for your reference. If they don't work for you, mind letting
me take a look at your code here?
*&---------------------------------------------------------------------*
*& Form implicit_cursor
*&---------------------------------------------------------------------*
* text
*----------------------------------------------------------------------*
FORM implicit_cursor.
DATA lt_billing TYPE TABLE OF zbilling.
SELECT * FROM zbilling INTO TABLE lt_billing
PACKAGE SIZE pk_size
WHERE vbeln IN vbeln
AND aubel IN aubel
AND erfdate IN erfdate
AND fkdat IN fkdat
ORDER BY aubel aupos augrp erfdate DESCENDING erftime DESCENDING.
PERFORM process_data TABLES lt_billing.
ENDSELECT.
ENDFORM. "implicit_cursor
*&---------------------------------------------------------------------*
*& Form explicit_cursor
*&---------------------------------------------------------------------*
* text
*----------------------------------------------------------------------*
FORM explicit_cursor.
DATA a_cursor TYPE cursor.
DATA lt_billing TYPE TABLE OF zbilling.
OPEN CURSOR a_cursor FOR
SELECT * FROM zbilling
WHERE vbeln IN vbeln
AND aubel IN aubel
AND erfdate IN erfdate
AND fkdat IN fkdat
ORDER BY aubel aupos augrp erfdate DESCENDING erftime DESCENDING.
CHECK sy-subrc = 0.
DO.
FETCH NEXT CURSOR a_cursor INTO TABLE lt_billing
PACKAGE SIZE pk_size.
IF sy-subrc <> 0.
EXIT. " done Fetch
ENDIF.
PERFORM process_data TABLES lt_billing.
ENDDO.
CLOSE CURSOR a_cursor.
ENDFORM. "explicit_cursor
谢谢你的回复。请看我的部分代码:
loop at g_t_grid into wa_g_t_grid.
s_grid-y = wa_g_t_grid-y.
s_grid-x = wa_g_t_grid-x.
s_grid-data = wa_g_t_grid-data.
if s_grid-data(1) = m1. "删除冒号
shift s_grid-data.
endif.
INSERT INTO zubpgrid VALUES s_grid. "运行错误在这里,以前我是直接把3百50万
数据插入到内表,现在我想用一个数据库来代替.
endloop.
refresh g_t_grid.
CLEAR s_grid.
SELECT * FROM zubpgrid INTO TABLE ii_grid PACKAGE SIZE 10000."这里从数据库倒入到内
表,并且限制每次的数量.
SORT ii_grid BY y.
LOOP AT ii_grid.
at new y. "行号
refresh i_quellzeile.
endat. "new y
i_quellzeile-x = ii_grid-x.
i_quellzeile-data = ii_grid-data.
append i_quellzeile.
at end of y.
.....对属于同个行号的信息进行汇总.
ENDSELECT.
在这个案例中我觉得不需要cursor 和 fetch; 现在我需要整个内表都是有循序的,我想只要在
select后面加上order by y 就可以了.不只到是否正确.但是对于AT NEW y and AT END OF
y,应该在加入if语句,因为每次只要10000条数据进来,在下一次10000可能还有相同
Y 的信息.
请shaw1236帮我看看.谢谢.
==>在这个案例中我觉得不需要cursor 和 fetch; 现在我需要整个内表都是有循序的,我想只要
在select后面加上order by y 就可以了.不只到是否正确.
[Shaw1236] Yes. I think so. No explicit cursor is need.
I am not sure that you are able to loop table "ii_grid" by using "at new y" and "at
end of y" due to the package restriction. Can you simply use "on change of ii_grid-
y" after sorting(order by) data from the database?
下面是引用shaw1236于2008-4-7 19:20发表的回复::
==>在这个案例中我觉得不需要cursor 和 fetch; 现在我需要整个内表都是有循序的,我想只要
在select后面加上order by y 就可以了.不只到是否正确.
[Shaw1236] Yes. I think so. No explicit cursor is need.
I am not sure that you are able to loop table "ii_grid" by using "at new y" and "at
.......
What's the length of each row? I think you will be fine. Probably you need check the
table technical setting and monitor the table space.
Hi,
each row consists of x(int4 10), y( int4 10) and data(Char 73). I have set the
information about table technical Setting eg. Maximum data entries:
1,900,000 to 3,800,000
I am not sure if an error for inserting in Databank table occurs?
3500000 * (10 + 10 + 73) is roughly 310MB.
I think you will be fine. Ensure the table buffer is turned off. Just curious why
you save so much data into a z-table.
Maximum data entries: 1,900,000 to 3,800,000 is only a threshold number, which won't
absolutely block the size growing.
转自:http://11643599.blog.hexun.com/37289101_d.html
SAP ABAP将大数据量排序后输入到内表的更多相关文章
- [SAP ABAP开发技术总结]CLEAR、REFRESH、FREE内表清理区别
声明:原创作品,转载时请注明文章来自SAP师太技术博客( 博/客/园www.cnblogs.com):www.cnblogs.com/jiangzhengjun,并以超链接形式标明文章原始出处,否则将 ...
- SAP ABAP ALV构建动态输出列与构建动态内表(包留备用),包含操作abap元类型表及类
https://blog.csdn.net/zhongguomao/article/details/51095946
- MySQL数据库如何解决大数据量存储问题
利用MySQL数据库如何解决大数据量存储问题? 各位高手您们好,我最近接手公司里一个比较棘手的问题,关于如何利用MySQL存储大数据量的问题,主要是数据库中的两张历史数据表,一张模拟量历史数据和一张开 ...
- 利用MySQL数据库如何解决大数据量存储问题?
提问:如何设计或优化千万级别的大表?此外无其他信息,个人觉得这个话题有点范,就只好简单说下该如何做,对于一个存储设计,必须考虑业务特点,收集的信息如下:1.数据的容量:1-3年内会大概多少条数据,每条 ...
- MySQL数据库解决大数据量存储问题
转载自:https://www.cnblogs.com/ryanzheng/p/8334915.html 提问:如何设计或优化千万级别的大表?此外无其他信息,个人觉得这个话题有点范,就只好简单说下该如 ...
- jquery.datatable.js与CI整合 异步加载(大数据量处理)
http://blog.csdn.net/kingsix7/article/details/38928685 1.CI 控制器添加方法 $this->show_fields_array=arra ...
- php 大数据量及海量数据处理算法总结
下面的方法是我对海量数据的处理方法进行了一个一般性的总结,当然这些方法可能并不能完全覆盖所有的问题,但是这样的一些方法也基本可以处理绝大多数遇到的问题.下面的一些问题基本直接来源于公司的面试笔试题目, ...
- 【1】MySQL大数据量分页查询方法及其优化
---方法1: 直接使用数据库提供的SQL语句---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N---适应场景: 适用于数据量较少的情况(元组百/千 ...
- java大数据量调优
从总体上来看,对于大型网站,比如门户网站,在面对大量用户访问.高并发请求方面,基本的解决方案集中在这样几个环节:1.首先需要解决网络带宽和Web请求的高并发,需要合理的加大服务器和带宽的投入,并且需要 ...
随机推荐
- win10 svchost.exe (LocalSystemNetworkRestricted)大量读写数据
博主的笔记本联想Y50开机完毕后会不停滴读硬盘/写硬盘,导致开机后一段时间内无法正常使用电脑(硬盘读写高峰期).打开资源监视器发现是"svchost.exe (LocalSystemNetw ...
- Android基于mAppWidget实现手绘地图(十四)–在一个应用中使用多个地图
使用切图工具创建不同名称的地图资源.然后将这些资源放置到assert文件夹内. 像下面这样: 在代码中,根据不同的地图名称,查找地图. map = new MapWidget(this, " ...
- td中绝对定位div的垂直居中问题
一.需求 典型的注册页面设计一般是一个三列多行的表格,左列为表单项label,中列为文本框,右列为填写说明和验证提示.如下图 因为整个表单的视觉重心在左中两列,所以在考虑表单整体相对页面水平居中和注册 ...
- Git:错误:error:src refspec master does not match any
新建立了一个远程仓库,想着把项目放上去.于是在项目目录上: git init 然后就添加远程库 git remote add origin xxxx.git 然后就想push: git push -u ...
- nodejs学习笔记二——链接mongodb
a.安装mongoose库用来链接mongodb数据库 安装mongodb数据库参考mongodb安装 前言(怨言) 本来是想安装mongodb库来链接mongodb的,命令行到nodejs工程目录: ...
- 【原创】Django-ORM基础
概述 1.什么是ORM? ORM,即Object-Relational Mapping(对象关系映射),它的作用是在关系型数据库和业务实体对象之间作一个映射,这样,我们在具体的操作业务对象的时候,就不 ...
- Node.js系列基础学习-----回调函数,异步
Node.js基础学习 Node.js回调函数 Node.js异步编程的直接体现就是回调,异步编程依托回调来实现,但不是异步.回调函数在完成任务后就会被调用,Node有很多的回调函数,其所有的API都 ...
- js 模块化历程
作者:吕大豹 网址:http://www.cnblogs.com/lvdabao/p/js-modules-develop.html 这是一篇关于js模块化历程的长长的流水账,记录js模块化思想的诞生 ...
- C# 委托和事件(二):使用.Net框架中的EventArgs和EventHandler
前面一篇里提到事件是通过委托来进行关联的,而委托是可以带各种各样的参数的,其中就可以用事件参数(EventArgs),同时,也可以用.Net框架里边提供的一个委托EventHandler来Handle ...
- jQuery+CSS3实现404背景动画特效
效果:http://hovertree.com/texiao/jquery/74/ 源码下载:http://hovertree.com/h/bjaf/ko0gcgw5.htm 效果图如下: 代码如下: ...