GreenPlum 大数据平台--非并行备份(六)
一,非并行备份(pg_dump)
1) GP依然支持常规的PostgreSQL备份命令pg_dump和pg_dumpall
2) 备份将在Master主机上创建一个包含所有Segment数据的大的备份文件
3) 不适合于全部数据备份,适用于小部分数据的迁移或备份
pg_dump是用于备份数据库的标准PostgreSQL实用程序,在Greenplum数据库中也受支持。它创建一个(非并行)转储文件。对于Greenplum数据库的常规备份,最好使用Greenplum Database备份实用程序gpcrondump以获得最佳性能。
如果要将数据迁移到其他数据库供应商的系统,或者使用具有不同段配置的另一个Greenplum
Database系统(例如,如果要迁移到的系统具有更多或更少的段实例),请使用pg_dump。要还原,必须使用相应的pg_restore实用程序(如果转储文件采用存档格式),或者可以使用客户端程序(如psql)(如果转储文件采用纯文本格式)。
由于pg_dump与常规PostgreSQL兼容,因此可用于将数据迁移到Greenplum数据库。 Greenplum数据库中的pg_dump实用程序与PostgreSQL pg_dump实用程序非常相似,但有以下例外和限制:
如果使用pg_dump备份Greenplum数据库数据库,请记住,对于非常大的数据库,转储操作可能需要很长时间(几个小时)。此外,您必须确保有足够的磁盘空间来创建转储文件。
如果要将数据从一个Greenplum数据库系统迁移到另一个,请使用--gp-syntax命令行选项在CREATE
TABLE语句中包含DISTRIBUTED BY子句。这可确保Greenplum Database表数据在还原时与正确的分发键列一起分发。
即使同时使用数据库,pg_dump也会进行一致的备份。 pg_dump不会阻止访问数据库的其他用户(读者或编写者)。
当与其中一种存档文件格式一起使用并与pg_restore结合使用时,pg_dump提供了灵活的存档和传输机制。
pg_dump可用于备份整个数据库,然后pg_restore可用于检查存档和/或选择要还原数据库的哪些部分。最灵活的输出文件格式是自定义格式(-Fc)。它允许选择和重新排序所有已归档项目,并在默认情况下进行压缩。
tar格式(-Ft)未压缩,加载时无法重新排序数据,但在其他方面非常灵活。它可以使用标准的UNIX工具(如tar)进行操作
参数:
[gpadmin@greenplum01 ~]$ pg_dump --help
pg_dump dumps a database as a text file or to other formats. Usage:
pg_dump [OPTION]... [DBNAME] General options:
-f, --file=FILENAME output file name
-F, --format=c|t|p output file format (custom, tar, plain text)
-i, --ignore-version proceed even when server version mismatches
pg_dump version
-v, --verbose verbose mode
-Z, --compress=- compression level for compressed formats
--help show this help, then exit
--version output version information, then exit Options controlling the output content:
-a, --data-only dump only the data, not the schema
-b, --blobs include large objects in dump
-c, --clean clean (drop) schema prior to create
-C, --create include commands to create database in dump
-d, --inserts dump data as INSERT, rather than COPY, commands
-D, --column-inserts dump data as INSERT commands with column names
-E, --encoding=ENCODING dump the data in encoding ENCODING
-n, --schema=SCHEMA dump the named schema(s) only
-N, --exclude-schema=SCHEMA do NOT dump the named schema(s)
-o, --oids include OIDs in dump
-O, --no-owner skip restoration of object ownership
in plain text format
-s, --schema-only dump only the schema, no data
-S, --superuser=NAME specify the superuser user name to use in
plain text format
-t, --table=TABLE dump only matching table(s) (or views or sequences)
-T, --exclude-table=TABLE do NOT dump matching table(s) (or views or sequences)
-x, --no-privileges do not dump privileges (grant/revoke)
--disable-dollar-quoting disable dollar quoting, use SQL standard quoting
--disable-triggers disable triggers during data-only restore
--use-set-session-authorization
use SESSION AUTHORIZATION commands instead of
ALTER OWNER commands to set ownership
--gp-syntax dump with Greenplum Database syntax (default if gpdb)
--no-gp-syntax dump without Greenplum Database syntax (default if postgresql)
--function-oids dump only function(s) of given list of oids
--relation-oids dump only relation(s) of given list of oids Connection options:
-h, --host=HOSTNAME database server host or socket directory
-p, --port=PORT database server port number
-U, --username=NAME connect as specified database user
-W, --password force password prompt (should happen automatically) If no database name is supplied, then the PGDATABASE environment
variable value is used. Report bugs to <bugs@greenplum.org>.
实例:
. 只导出postgres数据库的数据,不包括模式 -s pg_dump -U gpadmin -f /postgres.sql -s postgres(数据库名) . 导出postgres数据库(包括数据) pg_dump -U gpadmin -f /postgres.sql postgres(数据库名) . 导出postgres数据库中表test01的数据 create database "test1" with owner="gpadmin" encoding='utf-8';(单引号,双引号不能错) pg_dump -U gpadmin -f /postgres.sql -t test1 postgres(数据库名) . 导出postgres数据库中表test1的数据,以insert语句的形式 pg_dump -U gpadmin -f /postgres.sql -t test1 --column-inserts postgres(数据库名) . 恢复数据到gpdb数据库 psql -U gpadmin -f /postgres.sql gpdb
二,操作指南
备份1:
[gpadmin@greenplum01 ~]$ pg_dump -U gpadmin -F t -f /gpbackup/back2/gpdb.tar gpdb
[gpadmin@greenplum01 ~]$
恢复:
[gpadmin@greenplum01 ~]$ pg_restore -U gpadmin -d gpdb /gpdb.tar
[gpadmin@greenplum01 ~]$
备份2:
[gpadmin@greenplum01 ~]$ pg_dump -U gpadmin -F c -f /gpbackup/back2/gpdb.tar gpdb
备份压缩1:
[gpadmin@greenplum01 ~]$ pg_dump -U gpadmin gpdb | gzip > /gpbackup/back2/gpdb.gz
[gpadmin@greenplum01 ~]$
恢复
gunzip -c /gpdb.gz | psql -U gpadmin postgres
cat /gpdb.gz | gunzip | psql -U gpadmin postgres
备份切割:
pg_dump -U gpadmin -d gpdb | split -b 100k - gpback/gpb
恢复:
cat /gpback/gpb* | psql -U gpadmin postgres
GreenPlum 大数据平台--非并行备份(六)的更多相关文章
- GreenPlum 大数据平台--并行备份(四)
01,并行备份(gp_dump) 1) GP同时备份Master和所有活动的Segment实例 2) 备份消耗的时间与系统中实例的数量没有关系 3) 在Master主机上备份所有DDL文件和GP相关的 ...
- GreenPlum 大数据平台--监控
数据库状态监控活动 活动 过程 纠正措施 列出当前状态为down的Segment.如果有任何行被返回,就会生成一个警告或者告警. 推荐频率:每5到10分钟 重要度: IMPORTANT 在postgr ...
- GreenPlum 大数据平台--介绍
一,GreenPlum 01,介绍: Greenplum是一种基于PostgreSQL的分布式数据库,其采用shared-nothing架构,主机.操作系统.内存.存储都是自我控制的,不存在共享. 官 ...
- GreenPlum 大数据平台--外部表(三)
一,外部表介绍 Greenplum 在数据加载上有一个明显的优势,就是支持数据的并发加载,gpfdisk是并发加载的工具,数据库中对应的就是外部表 所谓外部表,就是在数据库中只有表定义.没有数据,数据 ...
- GreenPlum 大数据平台--备份-邮件配置-gpcrondump & gpdbrestore(五)
01,备份 生成备份数据库 [gpadmin@greenplum01 ~]$ gpcrondump -l /gpbackup/back2/gpcorndump.log -x postgres -v [ ...
- GreenPlum 大数据平台--运维(三)
一,操作命令 01,启动gpstart 参数说明 COMMAND NAME: gpstart Starts a Greenplum Database system. ***************** ...
- GreenPlum 大数据平台--常用命令
gpstate 命令 参数 作用 gpstate -b => 显示简要状态 gpstate -c => 显示主镜像映射 gpstart -d => 指定数据目录(默认值:$MASTE ...
- GreenPlum 大数据平台--基础使用(一)
一,操作语法 01,创建数据库 --创建用户-- [gpadmin@greenplum01 ~]$ export PGDATABASE=testDB --指定数据库名字 [gpadmin@greenp ...
- GreenPlum 大数据平台--安装
1. 环境准备 01, 安装包准备: Greenplum : >>>>链接地址 Pgadmin客户端 : >>>链接地址 greenplum-cc-web ...
随机推荐
- SharePoint 2013报错之“指定的文件不是有效的电子表格或者没有包含要导入的数据”
当你尝试用SharePoint 2013中的“导入电子表格”功能时,可能会遇到报错“指定的文件不是有效的电子表格或者没有包含要导入的数据” 解决方法:只需要将你的SharePoint网址添加到浏览器的 ...
- rsync实时备份备份服务搭建和使用指南
一.Rsync企业工作场景说明: 1.利用定时任务+rsync方式实现数据同步 对于网站内部技术人员创建的数据,可以采取定时任务的方式 2.利用实时任务+rsync方式实现数据同步 对于网站外部访问用 ...
- char *p="abc" 与 char p[]="abc" 的区别
本文来源于网络 出处:点我 有这样一段代码: #include "stdio.h" char *get_string_1() { char p[] = "hello wo ...
- css 引入的方式有哪些, link和@import的区别是什么
有四种形式: 1.链入外部样式表,就是把样式表保存为一个样式表文件,然后在页面中用<link rel = "stylesheet" type="text/css&q ...
- 从HDU1004来看C++<map>
最近做题有点浮躁~于是从HDU第一题开始刷,刷到1004题的时候突发奇想来复习一发很久没有用到过的map 题意是给你n个气球,每个气球有一种颜色,让你求出数量最多的气球颜色 因为颜色是气球数量的识别关 ...
- 八大排序算法的python实现(七)基数排序
代码: #coding:utf-8 #author:徐卜灵 import math #print math.ceil(3.2) 向上取整4.0 #print math.floor(3.2) 向下取整3 ...
- 自已的sql server练习小记
print getdate(); print datediff(year,'1987-09-13',getdate()) select * from CallRecords select top 5 ...
- 获取select text 值 得获取选中的option
$("#magSeaTypeSelect option:selected").text();
- JavaWeb学习笔记(七)—— JSP
一.什么是JSP JSP全名是Java Server Pages,它是建立在Servlet规范之上的动态网页开发技术.在JSP文件中,HTML代码与Java代码共同存在,其中,HTML代码用来实现网页 ...
- yum国内镜像配置
yum默认链接的还是国外的镜像,速度相对不理想,配置成国内的镜像会快很多,这里以阿里镜像为例进行配置: CentOS系统更换软件安装源 #base源#第一步:备份你的原镜像文件,以免出错后可以恢复.m ...