开发有需求,说需要对一张地区表进行递归查询,Postgres中有个 with recursive的查询方式,可以满足递归查询(一般>=2层). 测试如下: create table tb(id varchar(3) , pid varchar(3) , name varchar(10)); insert into tb values('002' , 0 , '浙江省'); insert into tb values('001' , 0 , '广东省'); insert into tb value

Confluent作为国际数据“流”处理技术领先者,提供实时数据处理解决方案,在市场上拥有大量企业客户,帮助企业轻松访问各类数据.DataPipeline作为国内首家原生支持Kafka解决方案的“iPaaS+AI”一站式大数据融合服务提供商,在零售.金融.互联网和制造等行业拥有着丰富实践经验和解决方案能力. 此次上海DataPipeline & Confluent Kafka Meetup,我们邀请到了Confluent流数据处理系统架构师和技术负责人王国璋.DataPipeline架构师吕鹏.

之前有两位朋友碰到过在对greenplum的系统构架更改后,出现全量恢复gprecoverseg -F也无法正常执行的情况. 报错信息为Unable to connect to database. Retrying 1 gprecoverseg failed. (Reason='Unable to connect to database and start transaction') exiting... 有幸拷得一份虚拟机上的所有文件.对其进行分析. 发现事实上出现这个问题仅仅须要改动pg_c

Greenplum 源码安装教程 作者:Arthur_Qin 禾众 Greenplum 主体以及orca ( 新一代优化器 ) 的代码以可以从 Github 上下载.如果不打算查看代码,想下载编译好的二进制版可以访问其母公司 pivotal 官网 下载,具体配置安装流程可以参考<Greenplum 安装>. 正文由此开始: [TOC] 1 Greenplum 介绍 Greenplum is built on PostgreSQL and operates as a data warehouse

1.实验环境 1.1.硬件环境 Oracle VM VirtualBox虚拟机软件:三台Linux虚拟机:Centos 6.5:数据库:greenplum-db-4.3.9.1-build-1-rhel5-x86_64.zip. 1.2网卡设置 1.3.虚拟机配置 1.3.1.基本信息配置 节点 IP 内存 硬盘 master 192.168.30.180 2048M 50G slave1 192.168.30.181 1024M 50G slave2 192.168.30.182 1024M

  目标架构如上图   一.硬件评估 cpu主频,核数推荐CPU核数与磁盘数的比例在12:12以上Instance上执行时只能利用一个CPU核资源进行计算,推荐高主频 内存容量 网络带宽重分布操作 Raid性能条带宽度设置回写特性 二.操作系统   1.在SUSE或者RedHat上使用xfs(操作系统使用ext3)    在Solaris上使用zfs(操作系统使用ufs) 2.系统包 出现如下界面,按照下面的说明进行勾选,之后一直[Next]到开始安装. -->[Desktop Environm

首先说一下,无论是CentOS/RedHat还是Ubuntu都可以按源码方式.安装包方式编译安装. 1.   规划 192.168.4.93(h93)       1个主master  2个主segment.2个镜像segment 192.168.4.94(h94)       1个备master  2个主segment.2个镜像segment 都安装在/home/wslu/gp/gpsql目录. 2.   安装依赖 在h93和h94安装以下依赖: 2.1.  Ubuntu apt-get in

一.环境配置 1.地址分配 192.168.1.201 mdw master 192.168.1.202 sdw1 segment1 192.168.1.203 sdw2 segment2 2.创建用户及用户组 $ groupadd -g gpadmin $ useradd gpadmin -u -g gpadmin $ passwd gpadmin 3.系统配置 在/etc/sysctl.conf 文件中加入有关共享内存与网络参数配置;执行 sysctl -p;使之生效 kernel.shmm

配置greenplum客户端认证 配置pg_hba.conf cd /home/gpadmin/gpdbdata/master/gpseg- vim pg_hba.conf 增加 host all gpadmin trust [gpadmin@ gpseg-]$ export PGDATA=/home/gpadmin/gpdbdata/master/gpseg- [gpadmin@ gpseg-]$ pg_ctl reload -D $PGDATA server signaled 使用Psyco

  最近在看GP,在安装集群的时候遇到了很多问题,在此记录下来. 目录 1 安装环境及软件版本 2 安装准备工作 2.1 修改hosts(所有机器) 2.2 修改系统内核配置(所有机器) 2.3 关闭防火墙 (所有机器) 2.4 创建用户和用户组(所有机器) 3 安装和分发 3.1 依赖包 (所有机器) 3.2 解压代码编译安装 3.3 分发 4 初始化和创建数据库 4.1 配置 .bash_profile 环境变量(所有机器) 4.2 编写数据库启动参数文件 4.3 初始化 5 参考资料 彩蛋

参考文章:在linux系统上安装Greenplum数据库  https://blog.csdn.net/mingli_a/article/details/78779189 Greenplum安装步骤  https://blog.csdn.net/u013181216/article/details/72605362 Greenplum安装  https://www.cnblogs.com/renlipeng/p/5685432.html 1. 下载地址:https://network.pivot

greenplum是基于postgresql开发的分布式数据库,里面大部分的数据字典是一样的.我们在维护gp的时候对gp的数据字典比较熟悉,特此分享给大家.在这里不会详细介绍每个字典的内容,只会介绍常见的应用以及一些已经封装好了的函数.具体的介绍大家可以去看postgresql的中文文档(附件),里面有详细的解释. 1.postgresql中,所有数据库的对象都是用oid连接在一起的. 这样子会造成我们在理解数据字典的时候有一些不知所云.下面介绍几个函数,可以简化很多的操作. 名字 引用 描述

第一章    文档概述 本文描述适用于Greenplum4.0以上版本的安装操作.所涉及到的操作系统相关参数调整,主要针对Redhat Linux操作系统. 第二章    安装介质 操作系统:CentOS release 6.5 (Final). Greenplum安装版本:greenplum-db-4.3.8.1-build-2-RHEL5-x86_64.zip 第三章    安装前准备 3.1.网络规划 建议在Greenplum数据库系统安装之前,把网络配置规划好 3.2.存储空间规划 首先

基本环境: server IP MDW 172.16.16.31 SDW1 172.16.16.34 SDW2 172.16.16.35 1:检查操作系统是否符合要求,以及系统设置. 我这里使用的系统是CentOS ,操作系统要求CentOS64-bit 6.x or 7.x,CentOS最好是7以上版本. 然后关闭selinux,iptables cat /etc/selinux/config SELINUX=disabled 查看状态: [root@16-31 mail]# sestatus

集群组成: 一台主机,一台从节点. 系统环境: 操作系统:CentOS 7,64位,7.4.1708(/etc/redhat-release中查看) CPU:AMD Fx-8300 8核 内存:8GB 硬盘:120GB GNOME:3.22.2 安装版本: GPDB:V5.4.1 GPORCA:V2.53.11 经验参考: http://www.jishux.com/plus/view-683368-1.html https://www.cnblogs.com/arthurqin/p/58493

在部署了的GreenPlum集群中进行数据查询时,发现数据量一旦大了,查询一跑就中断,提示某个segment中断了连接. ERROR 58M01 "Error on receive from seg0 slice1 192.168.110.84:6000 pid=xxx: server closed the connection unexpectedly" This probably means the server terminated abnormally before or wh

一,操作命令 01,启动gpstart 参数说明 COMMAND NAME: gpstart Starts a Greenplum Database system. ***************************************************** SYNOPSIS ***************************************************** gpstart [-d <master_data_directory>] [-B <para

一,非并行备份(pg_dump) 1) GP依然支持常规的PostgreSQL备份命令pg_dump和pg_dumpall 2) 备份将在Master主机上创建一个包含所有Segment数据的大的备份文件 3) 不适合于全部数据备份,适用于小部分数据的迁移或备份 pg_dump是用于备份数据库的标准PostgreSQL实用程序,在Greenplum数据库中也受支持.它创建一个(非并行)转储文件.对于Greenplum数据库的常规备份,最好使用Greenplum Database备份实用程序gpc

01,并行备份(gp_dump) 1) GP同时备份Master和所有活动的Segment实例 2) 备份消耗的时间与系统中实例的数量没有关系 3) 在Master主机上备份所有DDL文件和GP相关的数据字典表 4) 每个Segment备份各自的数据 5) 所有备份文件组成一个完整的备份集合,通过唯一14位数字的时间戳来识别 gp_dump dumps a database as a text file or to other formats. Usage: gp_dump [OPTION]..

1. 环境准备 01, 安装包准备: Greenplum :  >>>>链接地址 Pgadmin客户端 :  >>>链接地址 greenplum-cc-web监控: >>>>链接地址 02,节点说明 服务器ip 主机名 角色 系统版本 192.168.0.221 greenplum01 master centos7 192.168.0.222 greenplum02 Segment/standby centos7 192.168.0.223

一.问题现象 20180201:15:06:25:028653 gpinitsystem:sdw1-2:gpadmin-[INFO]:---------------------------------------- 20180201:15:06:25:028653 gpinitsystem:sdw1-2:gpadmin-[INFO]:-Greenplum Primary Segment Configuration 20180201:15:06:25:028653 gpinitsystem:sdw