一、COPY命令简单实用

1、copy在postgres与GreenPlum介绍

1.1 postgres
postgres的COPY命令可以快速的导出/导入数据到postgresql数据库中,支持常用的文件格式,如:txt、sql、csv、压缩文件、二进制格式等。特别适合批量导出和导入数据,速度比较快。
COPY TO把一个表的所有内容都拷贝到一个文件;
COPY FROM从一个文件里拷贝数据到一个表里(把数据附加到表中已经存在的内容里)。
注意:
COPY只能用于表,不能用于视图。
1.2 GreenPlum
对于数据的加载,GreenPlum数据库也提供了copy工具(源于PostgreSQL数据库),使用方法同postgres数据库的copy命令。copy命令支持文件与表之间的数据的导入和导出。
注意:
使用copy命令进行数据导入时,数据需要经过Master节点分发到Segment节点;同样使用copy命令进行数据卸载,数据也需要由Segment发送到Master节点,由Master节点汇总后再写入外部文件。这样就限制了数据加载与卸载的效率,但是数据量较小的情况下,copy命令就非常方便。
当数据量比较大时可以考虑使用GreenPlum的gpload工具来导入。

2. 使用copy命令导出/导入数据的步骤

COPY aa_test  FROM '/tmp/data/test.csv'  csv HEADER NULL '';

通常使用psql工具来进行数据的导出和导入。
2.1 准备工作
(1) 创建用于存放导出文件(或待导入文件)的目录,并赋予权限;
注意:
使用root用户
# 创建目录
[root@node8 /]# mkdir /tmp/data
# 赋予权限
[root@node8 /]# chmod 777 /tmp/data/
12345
(2) 进入psql并切换数据库
注意:
如果是postgres数据库,则切换到postgres用户;
如果是GreenPlum的MPP,则切换到gpadmin用户;
# 由于我使用的是GreenPlum的MPP,所以切换gpadmin用户
# ---------------------------------------------------------
[root@node8 ~]# su - gpadmin
# 进入psql
[gpadmin@node8 ~]$ psql
# 使用`\c`命令切换数据库,切换到要导出或导入数据的数据库
# ---------------------------------------------------------
postgres=# \c resdata
You are now connected to database "resdata" as user "gpadmin".
1234567891011
3. 开始使用copy命令导出或导入数据
# 使用 copy 命令将 resdata 库下的 aa_test 表中的数据导出到 /tmp/data/test.csv 文件中
# ---------------------------------------------------------
resdata=# COPY aa_test TO '/tmp/data/test.csv' WITH csv;
COPY 2
# 使用 copy 命令将 /tmp/data/test.csv 文件中内容导入到 resdata 库下的 aa_test 表中
# ---------------------------------------------------------
resdata=# COPY aa_test  FROM '/tmp/data/test.csv' WITH csv;
COPY 2
123456789
COPY TO还能拷贝SELECT查询的结果。如果声明了一个字段列表,COPY将只在文件和表之间拷贝已声明字段的数据。 如果表中有任何不在字段列表里的字段,那么COPY FROM将为那些字段插入缺省值。
# 使用select命令
---------------------
 

二、copy命令详细介绍

1、Copy的基本语法

Copy的作用是复制数据在数据表和文件之间。
Copy在PostgreSql中的语法是(来自文档):
1)  将文件中的数据复制到表中:
COPY table_name [ ( column_name [, ...] ) ]
   FROM { 'filename' | PROGRAM 'command' | STDIN }
[ [ WITH ] ( option [, ...] ) ]
2)将表中的数据复制到文件中:
COPY { table_name [ ( column_name [, ...] )] | ( query ) }
    TO{ 'filename' | PROGRAM 'command' | STDOUT }
    [[ WITH ] ( option [, ...] ) ]
其中option的设置的参数如下:
   FORMAT format_name
   OIDS [ boolean ]
   FREEZE [ boolean ]
   DELIMITER 'delimiter_character'
   NULL 'null_string'
   HEADER [ boolean ]
   QUOTE 'quote_character'
   ESCAPE 'escape_character'
   FORCE_QUOTE { ( column_name [, ...] ) | * }
   FORCE_NOT_NULL ( column_name [, ...] )
   ENCODING 'encoding_name'

2、Copy的参数解释和示例

     FORMAT:指复制到文件的文件类型,如:CSV,TEXT。
       OIDS  :指复制到文件时带上oid,但是当某个表没有oid时就会出错。
       FREEZE :冻结数据,然后执行VACUUM FREEZE。
       DELIMITER:指在导出文件时的分隔符指定需要用单引号。在TEXT时默认为tab,CSV文件默认是逗号。不支持binary文件格式。
      HEADER:指在复制到文件时带上表字段名称。
       NULL:指定null值,默认为\N。
       ENCODING:指定文件的编码,如果没有指定就默认使用客户端的字符集。
       STDIN:指的是客户端程序的输入流。
STDOUT:指向是客户端的输出流。
 
  在执行COPY FROM时table_name就需要实际存在的表,其中字段是可以自选的,如:
1.         COPYemp(ename) FROM “E://emp.txt”
需要注意的是字段类型要匹配并且文件也只要一个字段的值。
2.         COPYemp FROM “E://emp.txt”
文件中需要包含emp表中的字段的值,或tab,或‘,’等分割开的数据
  在执行COPY TO时的一些注意,解释和示例:
1.         COPYemp TO STDOUT (DELIMITER ‘|’)
指的是输出在客户端并且以‘|’为分隔符
2.         COPY (select* from emp) TO ‘E://emp.csv’ (FORMAT ‘CSV’,DELIMITER ‘|’,HEADER true,NULL ‘’’’’’)
Table_name是可以为动态视图的,并且在后面的括号中参数可以包含多个,多个参数以逗号分隔开。HERDER的值可以使true,false,1,0,on,off,需要注意的是HERDER参数只有在FORMAT为CSV时生效。
3.         COPY empTO PROGRAM ‘zip > E://emp.zip’
参数PROGRAM指的是使用操作系统内部的程序对输出文件进行加工,上面的作用是将emp导出并且压缩。
 
转载自:
原文:https://blog.csdn.net/chuan_day/article/details/44099859 
原文:https://blog.csdn.net/lijingjingchn/article/details/83055550

GreenPlum/postgres copy命令导出/导入数据的更多相关文章

  1. mysql命令导出导入数据和结构

    在命令行下mysql的数据导出有个很好用命令mysqldump,它的参数有一大把,可以这样查看: mysqldump 最常用的: mysqldump -uroot -pmysql databasefo ...

  2. MySQL使用命令导出/导入数据

    导出数据库文件 常用命令 mysqldump -uroot -pMyPassword databaseName tableName1 tableName2 > /home/foo.sql mys ...

  3. 数据仓库之抽取数据:通过bcp命令行导入数据

    原文:数据仓库之抽取数据:通过bcp命令行导入数据 在做数据仓库时,最重要的就是ETL的开发,而在ETL开发中的第一步,就是要从原OLTP系统中抽取数据到过渡区中,再对这个过渡区中的数据进行转换,最后 ...

  4. Postgres copy命令导入导出数据

    最近有需要对数据进行迁移的需求,由于postgres性能的关系,单表3000W的数据量查询起来有一些慢,需要对大表进行切割,拆成若干个子表,涉及到原有数据要迁移到子表的需求.起初的想法是使用存储过程, ...

  5. docker postgres 导出导入数据

    导出 -s  选项用来只导出表结构,而不会导出表中的数据 -t   选项用来指定要导出的数据库表 格式:docker exec -ti 容器名 pg_dump -U 用户名 -s -t table_n ...

  6. Mysql 用命令行导出导入数据方法

    方法一: 导出参考:https://www.cnblogs.com/activiti/p/6700044.html 用mysqldump可以导出整个数据库里的表和数据,不单单是只导出某个表的数据 命令 ...

  7. mysql 命令行导出导入数据

    导出数据库(sql脚本)  mysqldump -u 用户名 -p 数据库名 > 导出的文件名mysqldump -u root -p --databases db_name > test ...

  8. 使用BCP导出导入数据

    bcp 实用工具可以在 Microsoft SQL Server 实例和用户指定格式的数据文件间大容量复制数据. 使用 bcp 实用工具可以将大量新行导入 SQL Server 表,或将表数据导出到数 ...

  9. oracle 导出导入数据

    在window的运行中输出cmd,然后执行下面的一行代码, imp blmp/blmp@orcl full=y file=D:\blmp.dmp OK,问题解决.如果报找不到该blmp.dmp文件,就 ...

随机推荐

  1. fputcsv 导出excel,解决内存、性能、乱码、科学计数法问题

    在PHP的日常开发中,时常会需要导出 excel ,一般我们会使用 PHPExcel ,性能强大,但是在数据量大的时候,phpexcel 性能差.内存溢出等各种不可控问题就会出现.因此,如果对导出样式 ...

  2. python数据库基础

    1.数据类型:(使用原则:够用就行,尽量使用范围小的) 整数:int,bit 小数:decimal 字符串:varchar(可变长度),char(固定长度字符串) 日期时间:date,time,dat ...

  3. WUSTOJ 1311: 开心的金明(Java)动态规划-01背包

    题目链接:

  4. 在vue中使用swiper组件

    第一步:在终端的项目根目录下载安装swiper: cnpm/npm install vue-awesome-swiper --save; 第二步:在程序入口文件main.js中引用: import V ...

  5. gulp做的前端代码压缩报错,揭示具体错误 信息

    用gulp做的前端代码压缩,今天在打包的时候发现打包出错了.报的错误是--unable to minify JavaScript.但是至于为什么会不能打包,表示很困惑,然后通过一番搜索,最后得出了问题 ...

  6. PAT-1111 Online Map (30分) 最短路+dfs

    明天就要考PAT,为了应付期末已经好久没有刷题了啊啊啊啊,今天开了一道最短路,状态不是很好 1.没有读清题目要求,或者说没有读完题目,明天一定要注意 2.vis初始化的时候从1初始化到n,应该从0开始 ...

  7. python之闭包、装饰器

    一.学习Python的时候发现函数内部,还可以写函数,并且可以返回函数.觉得挺新奇的,主要是在探索装饰器(有点像Java的注解)的时候,发现这个理解还是很主要的,所以这里记录一下. 二.闭包 1)首先 ...

  8. sqlserver2008+日志收缩sql语句命令

    USE[master] GO ALTER DATABASE 数据库 SET RECOVERY SIMPLE WITH NO_WAIT GO ALTER DATABASE 数据库 SET RECOVER ...

  9. Docker 镜像 && 容器的基本操作

    镜像 && 容器 docker 镜像好比操作系统的镜像(iso) docker 容器好比是已安装运行的操作系统 所以说 docker 镜像文件运行起来之后,就是我们所说的 docker ...

  10. 【转载】 Asp.Net MVC网站提交富文本HTML标签内容抛出异常

    今天开发一个ASP.NET MVC网站时,有个页面使用到了FCKEditor富文本编辑器,通过Post方式提交内容时候抛出异常,仔细分析后得出应该是服务器阻止了带有HTML标签内容的提交操作,ASP. ...