Greenplum支持原有主机扩展Segment个数.新增主机.和混合扩展 本文以在已有机器上扩展节点为例 1.可按照hostname:address:port:fselocation:dbid:content:preferred_role:replication_port来配置扩展文件 [gpadmin@hadoop-test1 conf]# vi /home/sdk/gpadmin/conf/new_segments #hostname:address:port:fselocation:db…

Gpexpand是Greenplum数据库的扩容工具,可以为集群增加新节点从而可以存储更多的数据,提供更高的计算能力.Greenplum 5及之前,集群扩容需要停机增加新节点,然后对表数据做重分布.因为集群大小已经改变,所以重分布之前要先将所有哈希分布表改成随机分布,然后再按照新的集群大小重新计算哈希值并重新分布. 所以,旧的扩容技术存在如下几个问题: 1. 需要停机,集群无法在扩容期间提供服务. 2. 数据重分布过程集群性能差.随机分布表因为不能确定数据分布规律,无法对查询做优化. 3. 虽然…

一.问题描述 使用gpfdist往集群中导入大量数据, 一段时间后连接退出,集群无法连接 二.问题定位 使用如下命令查看: gpstate -s mdw-:gpadmin-[INFO]:- Segment Info mdw-:gpadmin-[INFO]:- Hostname = sdw- mdw-:gpadmin-[INFO]:- Address = sdw- mdw-:gpadmin-[INFO]:- Datadir = /home/mirror/gpseg2 mdw-:gpadmin-[I…

一.Greenplum背景 时间回到2002年,互联网行业经过近10年的发展,数据量正处于快速增长期: 1.传统的主机计算模式在海量数据面前,除了造价昂贵外,在CPU计算和IO吞吐上不能满足海量数据的计算需求: 2.传统数据库大多基于SMP架,纵向扩容(scale-up)模式遇到了瓶颈. 3.分布式存储和分布式计算理论刚刚被提出来,Google的两篇著名论文关于GFS分布式文件系统和关于MapReduce 并行计算框架的理论引起业界的关注,分布式计算模式在互联网行业特别是收索引擎和分词检索等方面…

周金可,就职于听云,维护MySQL和GreenPlum的正常运行,以及调研适合听云业务场景的数据库技术方案. 听云周金可 9月24日,周金可将参加在北京举办的线下活动,并做主题为<GreenPlum在听云大数据实时分析的实践>的分享.值此,他分享了PG.工作上的一些经历和经验. 免费报名链接:http://click.aliyun.com/m/6101/ 正文: 周金可刚参加工作时是做系统运维的,后来慢慢接触了各种数据库,开始对数据库感兴趣,经过一段时间的积累后转向了DBA. “在我加入听云时…

一.前言 在一次对比oracle和greenplum查询性能过程中,由于greenplum查询性能不理想,因此进行定位分析,提升greenplum的查询性能 二.环境信息 初始情况下,搭建一个小的集群,进行性能测试 磁盘 SAS 交换机 千兆 集群大小 4segment 数据量 3亿 数据文件大小 68G 表类型 Heap 行表 字段类型 所有列为varchar 列宽 41列 索引 无 查询语句 select count(*) from xxx where gjdqdm = 'CHN' and…

Deepgreen分布式安装文档 环境准备 1.安装VMware虚拟机软件,然后在VMware安装三台Linux虚拟机(使用centos7版本) 2.使用的虚拟机如下: 192.168.136.155  mdw 192.168.136.156  sdw1 192.168.136.157  sdw2 2.1三台虚拟机分别修改主机名为:mdw/sdw1/sdw2 [root@localhost ~]# hostnamectl set-hostname mdw 2.2三台虚拟机分别添加主机名和ip对应…

5月4日-5月24日.断断续续折腾了三个星期的Greenplum,总算告一段落了:扩容,发现扩不成容.仅仅好升级.升级,发现一堆错误,仅仅好暂停修复数据库:修好了,继续升级.升完级,发现错误.修啊修啊修好了:最后,最终完毕了扩容. 这个过程里写了8篇博文把实施过程和问题解决都记录下来了.这里把整个过程总结一下.本来早就要写了,可家里外头一堆事儿,拖到今天才找个空来落笔. 最開始的起因.是GP集群的计算能力和存储能力都快到极限了,所以要扩容segment host.当时的集群里包含两种硬件HP D…

Pivotal Greenplum 6.0 新特性介绍   在1月12日举办的Greenplum开源有道智数未来技术研讨会上,Pivotal中国研发中心Greenplum 产品经理李阳向大家介绍了Pivotal Greenplum 6.0 新特性. Greenplum是Pivotal公司投入研发十多年,基于开源PostgreSQL数据库开发的一款Share-Nothing架构的分布式MPP数据库,具备高并发.高可用和高灵活等多种特性,可以对大任务.复杂任务进行快速高效计算,恰到好处地满足并行数据…

背景 Greenplum的日常监控点.评判标准,日常维护任务. 展示图层 由于一台主机可能跑多个实例,建议分层展示. 另外,即使是ON ECS虚拟机(一个虚拟机一个实例一对一的形态)的产品形态,实际上也建议分层展示,以示通用性. 主机级图层 1.全局 2.以集群分组 展示图形 1.饼图(正常.警告.严重错误.不可用,占比,数量) 2.热力图(每台主机一个点,颜色描绘正常.警告.严重错误.不可用) 3.列表(正常.警告.严重错误.不可用倒排,TOP 主机) 实例级图层 1.全局 2.以集群分组 展…