1. 介绍 PostgreSQL提供了一个copy命令的便利数据加载工具,copy命令源于PostgreSQL数据库,copy命令支持文件与表之间的数据加载和表对文件的数据卸载.pg_bulkload是一种用于PostgreSQL的高速数据加载工具,相比copy命令.最大的优势就是速度.优势在让我们跳过shared buffer,wal buffer.直接写文件.pg_bulkload的direct模式就是这种思路来实现的,它还包含了数据恢复功能,即导入失败的话,需要恢复. 2. pg_bulk

很久之前就使用过pg_bulkload来导入数据了,并做了对比试验,现在另一个项目又需要用了,这里做个记录: 1.rpm包比较老,下下来之后发现只支持到pg94,目前我用的是pg10,因此放弃. 2.下载源码安装: git clone https://github.com/ossc-db/pg_bulkload.git cd pg_bulkload make && make install --这里他会读取pg_config来获取pg的环境变量. 3.在要使用的数据库中执行: create

本文以Sqoop User Guide (v1.4.5)为主,对Sqoop-1.4.5的用户手册进行翻译,同时会结合一些实际操作中的注意事项一并写入.由于原文档很长,本文首先会以实际使用到的部分为主,逐步进行完善. 1.Introduction Sqoop是一个用于在Hadoop和关系型数据库之间流转数据的一个工具.可以使用Sqoop将数据从关系型数据库系统(RDBMS)比如MySQL或者Oracle导入到Hadoop分布式文件系统(HDFS)上,然后数据在Hadoop MapReduce上转换

--direct 只支持mysql 5.0 + 和postgresql 8.3+(只是import) jdbc的jar包需要放在$SQOOP_HOME/lib目录下 mysql zeroDateTimeBehavior mysql允许DATE列使用'0000-00-00\' 如果不处理sqoop默认给转换为null 当然你也可以自己指定为 round,自动转换为('0001-01-01\') $ sqoop import --table foo \ --connect jdbc:mysql://

hexdump -C 数据表文件 -- 查看表文件中数据. pg_stat_statements pgcompacttable -- 在减少锁的情况下,清理表和索引的老空间. pg_repack--PostgreSQL中的表可能会由于MVCC特性而导致碎片化和膨胀,或者是因为大量的行被删除.这不仅会导致表中的空闲空间被占用,而且还会导致执行的sql语句效率不高.pg_repack是通过最流行的重新组织和打包表的办法来解决这个问题的. pgaudit--PostgreSQL有一个基础的语句日志功能

上篇写到用pg_bulkload来导入数据,但是实际的环境是solaris,pg_bulkload还不支持,于是用copy的方式,下面附上脚本 -bash-4.1$ cat copy.sh #!/bin/sh #$1 data fil ename file=$1 if [ ! -f $file ] then echo "File is not exist" exit 1 fi echo "--------------------------------------------

    安装   1.安装准备工作:   下载的sqoop安装包 http://mirrors.hust.edu.cn/apache/sqoop/1.99.6/sqoop-1.99.6.tar.gz   2.解压文件到工作目录:   hadoop@hadoopMaster:$ sudo tar -xvf /opt/hn/hadoop_family/sqoop-1.99.6-bin-hadoop200.tar.gz   hadoop@hadoopMaster:mv /opt/hn/hadoop_f