一.问题描述 使用gpfdist往集群中导入大量数据, 一段时间后连接退出,集群无法连接 二.问题定位 使用如下命令查看: gpstate -s mdw-:gpadmin-[INFO]:- Segment Info mdw-:gpadmin-[INFO]:- Hostname = sdw- mdw-:gpadmin-[INFO]:- Address = sdw- mdw-:gpadmin-[INFO]:- Datadir = /home/mirror/gpseg2 mdw-:gpadmin-[I

案例说明: 在通过sys_archivecleanup工具手工清理wal日志时,在control文件中查询的检查点对应的wal日志是"000000010000000000000008",但是在执行清理时,误将"000000010000000000000009"以前的wal日志都被清理,在启动数据库时,无法读取checkpoint所在的wal日志,导致数据库启动失败. 数据库版本: test=# select version; version ------------

背景 Greenplum的日常监控点.评判标准,日常维护任务. 展示图层 由于一台主机可能跑多个实例,建议分层展示. 另外,即使是ON ECS虚拟机(一个虚拟机一个实例一对一的形态)的产品形态,实际上也建议分层展示,以示通用性. 主机级图层 1.全局 2.以集群分组 展示图形 1.饼图(正常.警告.严重错误.不可用,占比,数量) 2.热力图(每台主机一个点,颜色描绘正常.警告.严重错误.不可用) 3.列表(正常.警告.严重错误.不可用倒排,TOP 主机) 实例级图层 1.全局 2.以集群分组 展

本文来自于腾讯bugly开发者社区,未经作者同意,请勿转载,原文地址:http://dev.qq.com/topic/581c2c46bef1702a2db3ae53 Dev Club 是一个交流移动开发技术,结交朋友,扩展人脉的社群,成员都是经过审核的移动开发工程师.每周都会举行嘉宾分享,话题讨论等活动. 本期,我们邀请了 腾讯 WXG Android 高级工程师"闫国跃",为大家分享<微信mars 的高性能日志模块 xlog>. 大家好 我是来自腾讯微信的闫国跃,很荣幸

本文来自于腾讯bugly开发者社区,非经作者同意,请勿转载,原文地址:http://dev.qq.com/topic/57ff5932cde42f1f03de29b1 本文来源: 微信客户端开发团队 前言 mars 是微信官方的终端基础组件,是一个使用 C++ 编写的业务性无关,平台性无关的基础组件.目前已接入微信 Android.iOS.Mac.Windows.WP 等客户端.现正在筹备开源中,它主要包括以下几个部分: comm:可以独立使用的公共库,包括 socket.线程.消息队列等 xl

  目标架构如上图   一.硬件评估 cpu主频,核数推荐CPU核数与磁盘数的比例在12:12以上Instance上执行时只能利用一个CPU核资源进行计算,推荐高主频 内存容量 网络带宽重分布操作 Raid性能条带宽度设置回写特性 二.操作系统   1.在SUSE或者RedHat上使用xfs(操作系统使用ext3)    在Solaris上使用zfs(操作系统使用ufs) 2.系统包 出现如下界面,按照下面的说明进行勾选,之后一直[Next]到开始安装. -->[Desktop Environm

gpdbrestore命令是对gp_restore命令的一个包装,提供了更灵活的选项,比如,使用gpcrondump自动备份的文件来恢复.使用gpdbrestore恢复必须具备: 1. 存在gpcrondump操作生成的备份文件.2. GPDB系统正在运行.3. 当前恢复的GPDB系统与使用gp_dump备份时的GPDB系统具有相同数量的Instance.   gpdbrestore常用参数解释 -a (do not prompt) Do not prompt the user for conf

一.编译环境 Linux version 3.10.0-327.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.3 20140911 (Red Hat 4.8.3-9) (GCC) ) greenplum 5.3.0 二.编译过程 2.1.下载greenplum源码 可从该位置下载需要的版本:https://github.com/greenplum-db/gpdb/releases/(此处使用5.3.0) 2.2.解压

1. 数据库启动:gpstart常用可参数: -a : 直接启动,不提示终端用户输入确认-m:只启动master 实例,主要在故障处理时使用2. 数据库停止:gpstop:常用可参数:-a:直接停止,不提示终端用户输入确认-m:只停止master 实例,与gpstart –m 对应使用-M fast:停止数据库,中断所有数据库连接,回滚正在运行的事务-u:不停止数据库,只加载pg_hba.conf 和postgresql.conf中运行时参数,当改动参数配置时候使用.评:-a用在shell里,最

1.       数据库启动:gpstart 常用可选参数: -a : 直接启动,不提示终端用户输入确认 -m:只启动master 实例,主要在故障处理时使用 2.       数据库停止:gpstop: 常用可选参数:-a:直接停止,不提示终端用户输入确认 -m:只停止master 实例,与gpstart –m 对应使用 -M fast:停止数据库,中断所有数据库连接,回滚正在运 行的事务 -u:不停止数据库,只加载pg_hba.conf 和postgresql.conf中运行时参数,当改动参

集群组成: 一台主机,一台从节点. 系统环境: 操作系统:CentOS 7,64位,7.4.1708(/etc/redhat-release中查看) CPU:AMD Fx-8300 8核 内存:8GB 硬盘:120GB GNOME:3.22.2 安装版本: GPDB:V5.4.1 GPORCA:V2.53.11 经验参考: http://www.jishux.com/plus/view-683368-1.html https://www.cnblogs.com/arthurqin/p/58493

在部署了的GreenPlum集群中进行数据查询时,发现数据量一旦大了,查询一跑就中断,提示某个segment中断了连接. ERROR 58M01 "Error on receive from seg0 slice1 192.168.110.84:6000 pid=xxx: server closed the connection unexpectedly" This probably means the server terminated abnormally before or wh

之前有两位朋友碰到过在对greenplum的系统构架更改后,出现全量恢复gprecoverseg -F也无法正常执行的情况. 报错信息为Unable to connect to database. Retrying 1 gprecoverseg failed. (Reason='Unable to connect to database and start transaction') exiting... 有幸拷得一份虚拟机上的所有文件.对其进行分析. 发现事实上出现这个问题仅仅须要改动pg_c

一.问题现象 20180201:15:06:25:028653 gpinitsystem:sdw1-2:gpadmin-[INFO]:---------------------------------------- 20180201:15:06:25:028653 gpinitsystem:sdw1-2:gpadmin-[INFO]:-Greenplum Primary Segment Configuration 20180201:15:06:25:028653 gpinitsystem:sdw

1.创建资源队列语法 Command:     CREATE RESOURCE QUEUEDescription: create a new resource queue for workload managementSyntax:CREATE RESOURCE QUEUE name WITH (queue_attribute=value [, ... ]) where queue_attribute is:   ACTIVE_STATEMENTS=integer        [ MAX_CO

数据库状态监控活动 活动 过程 纠正措施 列出当前状态为down的Segment.如果有任何行被返回,就会生成一个警告或者告警. 推荐频率:每5到10分钟 重要度: IMPORTANT 在postgres数据库中运行下例查询: SELECT * FROM gp_segment_configuration WHERE status <> 'u'; 如果该查询返回任何行,按照这些步骤来纠正问题: 验证宕机的Segment所在的主机是有响应的. 如果主机没有问题,检查宕机的Segment的主Segm

Gpexpand是Greenplum数据库的扩容工具,可以为集群增加新节点从而可以存储更多的数据,提供更高的计算能力.Greenplum 5及之前,集群扩容需要停机增加新节点,然后对表数据做重分布.因为集群大小已经改变,所以重分布之前要先将所有哈希分布表改成随机分布,然后再按照新的集群大小重新计算哈希值并重新分布. 所以,旧的扩容技术存在如下几个问题: 1. 需要停机,集群无法在扩容期间提供服务. 2. 数据重分布过程集群性能差.随机分布表因为不能确定数据分布规律,无法对查询做优化. 3. 虽然

1.创建资源队列语法 Command:     CREATE RESOURCE QUEUEDescription: create a new resource queue for workload managementSyntax:CREATE RESOURCE QUEUE name WITH (queue_attribute=value [, ... ]) where queue_attribute is:   ACTIVE_STATEMENTS=integer        [ MAX_CO

Greenplum: 基于PostgreSQL的分布式数据库内核揭秘(下篇) http://www.postgres.cn/v2/news/viewone/1/454 原作者:姚延栋 创作时间:2019-05-08 17:25:25+08   采编:wangliyun 发布时间:2019-05-09 08:25:28 欢迎大家踊跃投稿,投稿信箱:press@postgres.cn 评论:0    浏览:1620 作者介绍 姚延栋,山东大学本科,中科院软件所研究生.PostgreSQL中文社区委员

1. 数据库启动:gpstart 常用可选参数: -a : 直接启动,不提示终端用户输入确认 -m:只启动master 实例,主要在故障处理时使用 2. 数据库停止:gpstop: 常用可选参数:-a:直接停止,不提示终端用户输入确认 -m:只停止master 实例,与gpstart –m 对应使用 -M fast:停止数据库,中断所有数据库连接,回滚正在运 行的事务 -u:不停止数据库,只加载pg_hba.conf 和postgresql.conf中运行时参数,当改动参数配置时候使用. 评:-