oracle导出大数据
Sqluldr是什么:是一个oracle数据导出小工具。
Sqluldr作用介绍:Sqluldr可以快速导出oracle数据库中的数据。该小工具可以将数据库中的数据,导出多种不同的格式(如.txt、.csv等等,可按需选择)。
Sqluldr的使用背景:鉴于项目组经常会有遇到需要将数据库中的数据导出到excel中的情况,但是,PL/SQL Developer下,导出.csv格式的文件(这里指的就是将数据库中的数据导出,格式为excel的格式)的功能,在遇到大数据量的情况(如几十万,上百万),导出数据所花费的时间较长。而使用Sqluldr,导数速度大大提升,测试结果:每分钟约可以导出1G的数据。
配置工具包:
那么,该如何在windows系统下配置Sqluldr这个小工具呢?
详情如下:
1、先将下载好的程序包解压:

1、将1中蓝色圈圈中的文件copy到$ORACLE_HOME的bin目录中:
如何查找“$ORACLE_HOME的bin目录”,有个快捷的方法,直接到PL/SQL Developer-->Tools-->Preferences

直接将1中蓝色圈圈中的文件copy到以上红色线的bin目录中:

到这里,配置结束。(配置过程简单)
正式使用sqluldr:
配置好了,接下来,就直接使用,那么该如何使用呢?
详情如下:
1、打开cmd,输入sqluldr2.exe,若出现以下界面,则上述的配置过程,成功。

2、接下来,直接输入导出数据的命令即可:
sqluldr2.exe USER=dim/Hqyg_dw@oracle66 QUERY="select /*+ parallel(2) */ * from dim.dim_stocks" table=dim_stocks head=yes FILE=D:\sqluldr\test.csv
Cmd运行结果:


导出成功。
下面为一些小细节的补充介绍:
细节补充:
1、导出语句小剖析:导出语句比较简单,一般可以自己猜测出其中的意思,若不清楚,可以直接使用命令sqluldr2.exe,会有相关参数的介绍。
--(sqluldr2.exe USER=dim/Hqyg_dw@oracle66 QUERY="select /*+ parallel(2) */ * from dim.dim_stocks" table=dim_stocks head=yes FILE=D:\sqluldr\test.csv )

2、导出语句中,“table=dim_stocks”该部分可以省略。
--(sqluldr2.exe USER=dim/Hqyg_dw@oracle66 QUERY="select /*+ parallel(2) */ * from dim.dim_stocks" table=dim_stocks head=yes FILE=D:\sqluldr\test.csv )
3、由于cmd不识别换行的语句,所以,导出语句不要有换行情况。
4、sql的查询语句过长时,可以先将sql语句写到.txt的文件,然后再在导出语句中引用,详细如下:
sqluldr2.exe USER=dim/Hqyg_dw@oracle66 SQL=D:\sqluldr\ss.txt head=yes FILE=D:\sqluldr\test.csv (标红处为修改的地方)。
截图为写好的.txt的文件
sqluldr2.exe USER=fintest/asdfasdf@finace_db SQL=F:\test.txt head=yes FILE=F:\sqluldr\test.csv
参考来源:http://blog.itpub.net/26770925/viewspace-1379914/
oracle导出大数据的更多相关文章
- C#通过OLEDB导出大数据到Excel
C#导出数据到Excel,基本有两种方法,一种方法是通过Microsoft.Office.Interop.Excel.Application,一行一列的写入Excel中:另一种方法是通过OLEDB,利 ...
- Struts2 利用AJAX 导出大数据设置遮罩层
Struts2 利用AJAX 导出大数据设置遮罩层 需求背景: 每次我们导出excel的时候 ,如果数据量很大,导出花费的时间会很长,页面却有没人任何反应,这个时候用户会认为系统有问题,要么关了页面, ...
- 分享MSSQL、MySql、Oracle的大数据批量导入方法及编程手法细节
1:MSSQL SQL语法篇: BULK INSERT [ database_name . [ schema_name ] . | schema_name . ] [ table_name | vie ...
- phpmyadmin导入导出大数据文件的办法
在phpmyadmin的使用中,经常需要进行导入导出数据库的操作. 但是在导入导出大型数据库文件的时候经常会只是部分导出或者部分导入. 或者是导入导出不成功. 原因就是服务器和php.mysql限制了 ...
- oracle 有关大数据
一. oracle大数据量分区后查询效率低下的一些建议: 1 对于当前表tm_bus_realtime_log.查看它的索引,只有一个(索引名:INDEX_BUS_REALTIME 字段名:UPLOA ...
- oracle 导出导入数据
在window的运行中输出cmd,然后执行下面的一行代码, imp blmp/blmp@orcl full=y file=D:\blmp.dmp OK,问题解决.如果报找不到该blmp.dmp文件,就 ...
- 记录一笔关于PHPEXCEL导出大数据超时和内存溢出的问题
通过查阅资料可以找到PHPEXCEL本身已经有通过缓存来处理大数据的导出了.但是昨晚一直没有成功,这可捉急了.最后想来想去就替换了phpExcel的版本了.最后就成功了.话不多说,代码附上 <? ...
- mysql/oracle jdbc大数据量插入优化
10.10.6 大数据量插入优化 在很多涉及支付和金融相关的系统中,夜间会进行批处理,在批处理的一开始或最后一般需要将数据回库,因为应用和数据库通常部署在不同的服务器,而且应用所在的服务器一般也不会 ...
- php导出大数据scv
1.我系统要导出30w的数据,刚开始我使用的是: ini_set('memory_limit', '1024M');set_time_limit(0); header("Content-ty ...
随机推荐
- java框架之SpringBoot(6)-Restful风格的CRUD示例
准备 环境 IDE:Idea SpringBoot版本:1.5.19 UI:BootStrap 4 模板引擎:thymeleaf 3 效果:Restful 风格 CRUD 功能的 Demo 依赖 &l ...
- python 容器类型数据 (str list tuple set dict)
# ###容器类型数据(str list tuple set dict) var1 = "今天心情非常美丽" var2 = [1,2,3,4] var3 = ("黄将用& ...
- Mac系统下 PHP7安装Swoole扩展 教程
转载自 https://www.fujieace.com/php/php-extensions/swoole.html 今天我用的PHP版本是:PHP7.1 环境依赖: php-5.3.10 或更高版 ...
- expdp 字符集从ZHS16GBK到AL32UTF8
源oracle数据库是GBK字符集,目标库是UTF8字符集,现在需要将源库的一个表空间数据导入到目标库.我的解决方法有点繁琐,首先直接导出源库的表空间 expdp trmuser/trmpass sc ...
- python基础语法及知识点总结
本文转载于星过无痕的博客http://www.cnblogs.com/linxiangpeng/p/6403991.html 在此表达对原创作者的感激之情,多谢星过无痕的分享!谢谢! Python学习 ...
- #WEB安全基础 : HTTP协议 | 0x1 TCP/IP通信
TCP/IP是如何通信的呢? 请看图 用TCP/IP协议族通信时,会通过分层顺序与对方进行通信.发送端从应用层往下走,接受层从链路层往上走. 客户端为了浏览界面在应用层发送请求,为了方便传输在传输层的 ...
- phpcms网页替换验证码功能 及 搜索功能
在使用phpcms替换网页的时候,除了正常的替换栏目.内容页等,其他的什么验证码啦,提交表单了,搜索功能了,这些在替换的时候可能会对一些默认文件有一些小小 的改变 下面就是自己在失败中成功的过程,最后 ...
- mysql迁移到data下
http://www.jb51.net/article/47897.htm 由于yum安装mysql的时候,数据库的data目录默认是在/var/lib下,出于数据安全性的考虑需要把它挪到/data分 ...
- 记录Ok6410 sd 启动uboot
1\参考资料https://github.com/SeanXP/ARM-Tiny6410/tree/master/no-os/sd-no-os/u-boot 2\参考资料https://blog.cs ...
- numpy linalg模块
# 线性代数# numpy.linalg模块包含线性代数的函数.使用这个模块,可以计算逆矩阵.求特征值.解线性方程组以及求解行列式等. import numpy as np # 1. 计算逆矩阵# 创 ...