postgresql cstore_fdw安装与性能测试
据介绍,cstore_fdw实现了 PostgreSQL 数据库的列式存储。列存储非常适合用于数据分析的场景,数据分析的场景下数据是批量加载的。
这个扩展使用了Optimized Row Columnar (ORC)数据存储格式,ORC改进了Facebook的RCFile格式,带来如下好处:
压缩:将内存和磁盘中数据大小削减到2到4倍。可以扩展以支持不同压缩算法。
列投影:只提取和查询相关的列数据。提升IO敏感查询的性能。
跳过索引:为行组存储最大最小统计值,并利用它们跳过无关的行。
其实官方自测性能也最多就提升了1倍,大多数在10%到50%之间(这里也有一个测试:http://blog.chinaunix.net/uid-20726500-id-4325901.html,不过LZ是根据实际生产场景进行的)。趁着假期对比各基于SQL的数据库平台,顺带测一下。
注:pg目前本身没有列式存储特性(只有基于pg的纯粹列式模式pg),倒是有提交的patch,可以参考https://yq.aliyun.com/articles/691878,但是没有被合并。
安装
从https://github.com/citusdata/cstore_fdw下载最新版本,例如cstore_fdw v1.6.1,支持pg 11.5。
安装protobuf-c,如下:
yum install protobuf-c-devel
一开始某台测试机器因为不能访问外网,下载了protobuf-c-compiler和protobuf源码进行安装。好不容易安装好了,但是最后安装cstore_fdw本身时,遇到Unrecognized syntax identifier "proto3". This parser only recognizes "proto2"(这里有个未经验证的解决方法:https://blog.csdn.net/AmbitiousRuralDog/article/details/80774518),罢了,最后仍然回去使用yum安装了。
然后编译cstore_fdw即可。如下:
postgresql.conf中增加shared_preload_libraries 配置,如下:
shared_preload_libraries = 'cstore_fdw' # (change requires restart)
测试:
-- load extension first time after install
CREATE EXTENSION cstore_fdw; -- create server object
CREATE SERVER cstore_server FOREIGN DATA WRAPPER cstore_fdw; -- 创建测试表,具体可以参考github官网
CREATE FOREIGN TABLE xxx_FDW
(
-- 字段列表
)
SERVER cstore_server
OPTIONS(filename '/disk01/cstore/xxx_FDW.cstore',compression 'pglz');
-- 执行SQL(多表关联,只有一张大表是cstore,其他都是普通pg表)
最后效果比greenplum和postgresql都慢了N倍(不管是否压缩,10/11均如此),可能不太适合我们的场景(官网的场景和上面网上的都是单表统计)。
附protobuf-c源码安装过程:
https://github.com/protocolbuffers/protobuf
下载2.6.0,然后正常编译。
tar zxvf protobuf-2.6..tar.gz
cd protobuf-2.6.
./configure --prefix=/usr/ #必须在/usr下,不能/usr/local,否则最后install会提示必须要以/usr/lib结尾
make
sudo make install
在/etc/ld.so.conf 中添加一行: /usr/lib,保存退出
/sbin/ldconfig -v
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig #这一步不执行会提示找不到protobuf
https://github.com/protobuf-c/protobuf-c/releases
下载1.2.1,大多数要求protobuf 2.6.0以上。
./configure --prefix=/usr/local
make & make install
这样就安装完成了,只是最后报了上面的错误。
除了CSTORE外,还有HDFS\oss_fdw外置接口(这样存储就天然具备了HA特性),参见https://github.com/EnterpriseDB/hdfs_fdw、https://www.alibabacloud.com/help/zh/doc-detail/44461.htm。
postgresql cstore_fdw安装与性能测试的更多相关文章
- 给CentOS6.3 + PHP5.3 安装PHP性能测试工具 XHProf-0.9.2
一.什么是XHProf XHProf官网:http://pecl.php.net/package/xhprof XHProf是一个分层PHP性能分析工具.它报告函数级别的请求次数和各种指标,包括 阻塞 ...
- Mac 下 PostgreSQL 的安装与使用
在 mac 下,可以利用 homebrew 直接安装 PostgreSQL: 1 brew install postgresql -v 稍等片刻,PostgreSQL 就安装完成.接下来就是初始数据库 ...
- 给Windows + Apache 2.2 + PHP 5.3 安装PHP性能测试工具 xhprof_0.10.3_php53_vc9.dll
1.下载XHProf 到这里 http://dev.freshsite.pl/php-extensions/xhprof.html 下载Windows版本的XHProf,我这里选择下载 XHProf ...
- Linux下的PostgreSQL简单安装手册
1. 安装环境 linux版本: CentOS release 6.2 (Final) pg版本 : postgresql-9.5.0 2. pg数据库下载地址 --http ...
- CentOS 6.3下PostgreSQL 的安装与配置
一.简介 PostgreSQL 是一种非常复杂的对象-关系型数据库管理系统(ORDBMS),也是目前功能最强大,特性最丰富和最复杂的自由软件数据库系统.有些特性甚至连商业数据库都不具备.这个起源于伯克 ...
- postgresql编译安装与调试(二)
接前文postgresql编译安装与调试(一),继续说说postgresql的编译安装与调试. 上一篇已经详细说明了如何在Linux系统上编译安装postgresql,这次我们在此基础上简单讲讲如何在 ...
- [转] Mac 下 PostgreSQL 的安装与使用
在 mac 下,可以利用 homebrew 直接安装 PostgreSQL: 1 brew install postgresql -v 稍等片刻,PostgreSQL 就安装完成.接下来就是初始数据库 ...
- postgresql数据库安装及简单操作
自从MySQL被Oracle收购以后,PostgreSQL逐渐成为开源关系型数据库的首选. 本文介绍PostgreSQL的安装和基本用法,供初次使用者上手.以下内容基于Debian操作系统,其他操作系 ...
- PostgreSQL+PostGIS安装以及使用
安装,参照: https://www.cnblogs.com/ytwy/p/6817179.html 创建企业级地理文件数据库时报错," You must copy the lates ...
随机推荐
- SQLI-LABS LESS 1-LESS 22
SQLI-LABS LESS 1-LESS 22 0x01:前言 因为最近感觉手注快忘光了,所以玩一遍sqli-labs巩固一下. sql注入,基于从服务器接收到的响应分类为 : ▲基于错误的SQL注 ...
- Android 8.0编译过程
Android编译系统中的Android.bp.Blueprint与Soonghttp://note.qidong.name/2017/08/android-blueprint/ 工具链关系 Andr ...
- socket系统化入门
1.简单socket完成消息发送与接收 服务端: package com.wfd360.com.socket; import java.io.*; import java.net.ServerSock ...
- oracle-常用sql语句和函数
1.求字符串长度 --计算字符串长度的函数 select length('你好世界!') len from dual; 2.常用函数 -- dbms_random.value(1,7) 获取(1,7) ...
- Spark-Bench 测试教程
Spark-Bench 教程 本文原始地址:https://sitoi.cn/posts/19752.html 系统环境配置 操作系统:centos7 环境要求:安装 JDK, Hadoop, Spa ...
- 基于SCRUM方法实践的西油计科党建设计与实现-个人实践流程清单
基于SCRUM方法实践的西油计科党建设计与实现 个人实践流程清单 一.Alpha版本冲刺个人在SCRUM团队任务清单: 时间 我这个三天做了什么 实际解决燃尽图项目数量 我遇到了什么问题 我下一个三天 ...
- 如何测试Web服务.1
一.什么是web服务 web服务在简单术语中可被定义为通过安装了特定设备或服务器到另一装置或客户端应用程序通过WWW彼此通信后的应用程序(万维网)提供的服务. Web服务通常在计算机网络的应用层上使 ...
- Beta 冲刺总结
作业要求 这个作业属于哪个课程 软件工程1916-W(福州大学) 这个作业要求在哪里 项目Beta冲刺总结 团队名称 基于云的胜利冲锋队 项目名称 云评:高校学生成绩综合评估及可视化分析平台 这个作业 ...
- Nuxt项目中通过ESlint命令行修复格式问题
在package.json文件中, 往往会有个类似于 "lint": "eslint --ext .js,.vue --ignore-path .gitignore .& ...
- form设计批量赋值
data: { list:[], cards: { cardname: "", cardtitle: "", cardtel: "", ca ...